Page: 14 / 101

Faiss-node + LangChainでEmbeddingしたベクトルデータをAmazon S3に保存・ロードする

FAISSを使用することで、Embeddingしたベクトルデータをローカルファイルとして保存・読み込みができるようになります。しかし、ファイル保存先をAmazon S3に置きたいという要望があります。この記事では、S3にFAISSのインデックスを配置する方法を試行錯誤しながらまとめています。また、具体的な保存や読み込みの処理も提供されています。S3以外にもCloudflare WorkersやFirebaseなどでも利用可能です。

Published at: 2023/12/21

AI / ML JavaScript LangChain.js LLM Node.js

LangChain (Amazon Bedrock & Claude)で、文章から検索キーワードを抽出してみた

この記事はLangChain Advent Calendar 2023の22日目の記事です。LangChainやLLMを使ってデータを検索する仕組みを作る際、一般的にはベクターストアなどのRAGを利用することが多いですが、コストや案件規模によってはより簡素な仕組みでも十分です。この記事ではGoogle検索のような「文章で検索できる仕組み」を作る方法を紹介しています。具体的な処理方法やコードの実装例も掲載されています。

Published at: 2023/12/21

AI / ML JavaScript LangChain.js LLM Node.js

LangChainのRemoteLangChainRetrieverでREST APIを使う

この記事は「LangChain Advent Calendar 2023」21日目の記事で、LangChainを使った回答作成について説明しています。通常、外部データソースを使う場合はEmbeddingやベクターストアを使うことが一般的ですが、LangChainのドキュメントにはREST APIを使った実装もできることが書かれています。具体的な実装例として、RemoteLangChainRetrieverを使用したコードが紹介されています。また、Retriever向けのAPIを作成する際のポイントも解説されています。

Published at: 2023/12/21

AWS JavaScript

AWS SDK js v3 環境変数からアクセスキーなどを取得する方法

LangChainなどでAWS SDKを利用する際、process.envから環境変数を取得する必要がありましたが、JavaScript SDK(v3)では@aws-sdk/credential-provider-nodeというライブラリが利用できます。@aws-sdk/credential-provider-nodeをインストールし、defaultProviderを使ってアクセスキーやシークレットキーを取得することができます。また、任意のプロファイルを指定することも可能です。これにより、複数のAWSアカウントに接続することもできます。読み取り順序は環境変数、credentialsファイル、インスタンスメタデータとなっており、EC2やLambdaの明示的な指定にも利用できます。

Published at: 2023/12/20

AI / ML JavaScript LangChain.js LLM Node.js

Faiss-node + LangChainでEmbeddingしたベクトルデータをローカルファイルに保存・ロードする

LangChainでRAGを作る際、Embedding APIで作ったベクトルデータを保存する方法として、faissを試しました。Node.jsで動作するfaiss-nodeを使用し、FaissStoreを利用することでベクトルデータを生成し、保存できます。保存したデータを利用して検索する場合も、FaissStoreのloadメソッドを使用します。保存したファイルからベクトルデータを読み込むことができます。これにより、より手軽にRAGのデモやPoCを作成できるようになります。また、Amazon S3やCloudflare R2に保存することも検討しています。

Published at: 2023/12/19

AI / ML AWS JavaScript LLM

LangChainでAmazon Bedrockを利用する方法（JavaScript編）

この記事はLangChain Advent Calendar 2023の19日目の記事で、JavaScript版のLangChainを使用する方法について説明されています。記事では、LangChainからAmazon Bedrockモデルを利用する方法や、LLMsとChatモデルの違い、クレデンシャル情報を設定する方法などが説明されています。LLMとChatモデルの使い分けについても言及されており、詳細な情報や参考記事へのリンクも提供されています。

Published at: 2023/12/19

momento SaaS / FaaS

Momento (Node)でのAPIキーの設定方法

この記事は、「Momento Advent Calendar 2023」の19日目の記事です。Momentoを使う際には、CredentialProviderにAPIキーを渡す方法が2つあります。fromEnvironmentVariableは、SDKが環境変数を読み込むアプリケーションに適しており、fromStringはAPIキーの値そのものを渡す方法です。環境変数にAPIキーを保存している場合はfromEnvironmentVariableを、APIキーを暗号化して管理している場合はfromStringを使用すると良いです。また、MomentoではAPIキーのローテーションも可能です。

Published at: 2023/12/19

8cd163f6f37e7e7eaeab759f23d9d28f-20231211231929

AI / ML LLM SaaS / FaaS Stripe

AppFlowとAmazon Bedrockを利用してStripeの商品・料金情報についてのRAGを作ってみる

この記事は、Amazon Bedrock Advent Calendar 2023およびAWS Community Builders Advent Calendar 2023の18日目の記事です。記事では、Amazon BedrockとStripeを連携させる方法について紹介されています。具体的には、Amazon AppFlowを使用してStripeのデータをAmazon S3に取り込む方法や、Pineconeを使ってS3に保存したデータをBedrockのKnowledge baseに取り込む方法などが説明されています。また、データソースの選択やデータの更新頻度についても言及されています。詳細な設定方法やテスト方法については、別の記事を参照してください。

Published at: 2023/12/18

AI / ML AWS LLM

Model Evaluation on Amazon Bedrockを動かしてみた

この記事は2023年のAWS re:inventで発表されたBedrock関連の新機能、Model Evaluationについて触れた内容をまとめています。マネージメントコンソールからモデルの評価を行う方法や設定手順、結果の確認方法について説明されています。また、モデル評価の結果を詳細に解析することができ、提供されたデータセットに対するスコアや評価結果が判明することも紹介されています。Human evaluationを行う方法についても触れられていますが、データセットの用意には一部制約があるようです。Model Evaluationは複数のモデルに対して様々な尺度で評価を行うことができる機能であり、将来的にも取り上げる価値があるとのことです。

Published at: 2023/12/16

Event Stripe

JP_Stripes東京 Vol.17を開催＆登壇しました

2023年の最後のJP_Stripesが12月15日に東京で開催されました。登壇者たちはStripeの新機能や事例について紹介し、参加者はビジネスや開発の視点から話を聞くことができました。JP_StripesはBizとDevの両方が参加するコミュニティであり、DevRelの一環として、Devを通してBizにメッセージを届ける試みが行われています。2024年も様々なコミュニティでの登壇や会話を続けていく予定です。

Published at: 2023/12/16