Page: 22 / 103

AI / ML Cloudflare Hono / Sonik JavaScript LangChain.js LLM Node.js SaaS / FaaS

Cloudflare Workers / R2 / Hono / LangChain.jsを使ってRAGを作ってみる

この記事は、特定のアドベントカレンダーに関連しており、CloudflareとHonoの利用方法について説明されています。記事では、ベクターストアの作成や定期的なデータの取り込み処理などが紹介されています。また、自分のブログを参照したり、HonoでAPIを実装する方法やGUIアプリケーションの作成についても説明されています。しかしながら、Cloudflare Vectorizeの使用やFAISSの利用も検討する必要があると述べられています。

公開日: 2023/12/22

最終更新日: 2023/12/22

WordPress

カスタムブロックでサーバー側の処理を走らせるようにする覚書

「registerBlockType」関数を使用する際、保存時の処理をサーバー側で実行するために「save」を外す必要があります。また、「attributes」に「source」を追加するとデータの受け渡しがうまくいかないことが分かりました。これはおそらく、「save」を使用する際に利用される（例えば、imgタグのsrcを取得するなど）ものだと解釈しています。描画には「render」でPHPファイルのパスを指定します。また、render.phpでは、テーマのテンプレートパーツのように使用できます。get_block_wrapper_attributes()を使用してクラス名などを取得することができます。また、「$attributes」には、block.jsonで設定したattributeが連想配列形式で入ってきます。ビジュアルエディタブロックの作成方法やregisterBlockType、block.jsonの書き方、render.phpで利用できる関数について理解するのに苦労する可能性があります。しかし、そこを乗り越えれば、WordPressのPHPの書き方に馴染むこともできるでしょう。

公開日: 2023/12/21

最終更新日: 2023/12/22

JavaScript LangChain.js Node.js

Faiss-node + LangChainでEmbeddingしたベクトルデータをAmazon S3に保存・ロードする

FAISSを使用することで、Embeddingしたベクトルデータをローカルファイルとして保存・読み込みができるようになります。しかし、ファイル保存先をAmazon S3に置きたいという要望があります。この記事では、S3にFAISSのインデックスを配置する方法を試行錯誤しながらまとめています。また、具体的な保存や読み込みの処理も提供されています。S3以外にもCloudflare WorkersやFirebaseなどでも利用可能です。

公開日: 2023/12/21

最終更新日: 2023/12/21

AI / ML JavaScript LangChain.js LLM Node.js

LangChain (Amazon Bedrock & Claude)で、文章から検索キーワードを抽出してみた

この記事はLangChain Advent Calendar 2023の22日目の記事です。LangChainやLLMを使ってデータを検索する仕組みを作る際、一般的にはベクターストアなどのRAGを利用することが多いですが、コストや案件規模によってはより簡素な仕組みでも十分です。この記事ではGoogle検索のような「文章で検索できる仕組み」を作る方法を紹介しています。具体的な処理方法やコードの実装例も掲載されています。

公開日: 2023/12/21

最終更新日: 2023/12/21

AI / ML JavaScript LangChain.js LLM Node.js

LangChainのRemoteLangChainRetrieverでREST APIを使う

この記事は「LangChain Advent Calendar 2023」21日目の記事で、LangChainを使った回答作成について説明しています。通常、外部データソースを使う場合はEmbeddingやベクターストアを使うことが一般的ですが、LangChainのドキュメントにはREST APIを使った実装もできることが書かれています。具体的な実装例として、RemoteLangChainRetrieverを使用したコードが紹介されています。また、Retriever向けのAPIを作成する際のポイントも解説されています。

公開日: 2023/12/21

最終更新日: 2023/12/21

AWS JavaScript

AWS SDK js v3 環境変数からアクセスキーなどを取得する方法

LangChainなどでAWS SDKを利用する際、process.envから環境変数を取得する必要がありましたが、JavaScript SDK(v3)では@aws-sdk/credential-provider-nodeというライブラリが利用できます。@aws-sdk/credential-provider-nodeをインストールし、defaultProviderを使ってアクセスキーやシークレットキーを取得することができます。また、任意のプロファイルを指定することも可能です。これにより、複数のAWSアカウントに接続することもできます。読み取り順序は環境変数、credentialsファイル、インスタンスメタデータとなっており、EC2やLambdaの明示的な指定にも利用できます。

公開日: 2023/12/20

最終更新日: 2023/12/20

AI / ML JavaScript LangChain.js LLM Node.js

Faiss-node + LangChainでEmbeddingしたベクトルデータをローカルファイルに保存・ロードする

LangChainでRAGを作る際、Embedding APIで作ったベクトルデータを保存する方法として、faissを試しました。Node.jsで動作するfaiss-nodeを使用し、FaissStoreを利用することでベクトルデータを生成し、保存できます。保存したデータを利用して検索する場合も、FaissStoreのloadメソッドを使用します。保存したファイルからベクトルデータを読み込むことができます。これにより、より手軽にRAGのデモやPoCを作成できるようになります。また、Amazon S3やCloudflare R2に保存することも検討しています。

公開日: 2023/12/19

最終更新日: 2023/12/20

AI / ML AWS JavaScript LLM

LangChainでAmazon Bedrockを利用する方法（JavaScript編）

この記事はLangChain Advent Calendar 2023の19日目の記事で、JavaScript版のLangChainを使用する方法について説明されています。記事では、LangChainからAmazon Bedrockモデルを利用する方法や、LLMsとChatモデルの違い、クレデンシャル情報を設定する方法などが説明されています。LLMとChatモデルの使い分けについても言及されており、詳細な情報や参考記事へのリンクも提供されています。

公開日: 2023/12/19

最終更新日: 2023/12/19

momento SaaS / FaaS

Momento (Node)でのAPIキーの設定方法

この記事は、「Momento Advent Calendar 2023」の19日目の記事です。Momentoを使う際には、CredentialProviderにAPIキーを渡す方法が2つあります。fromEnvironmentVariableは、SDKが環境変数を読み込むアプリケーションに適しており、fromStringはAPIキーの値そのものを渡す方法です。環境変数にAPIキーを保存している場合はfromEnvironmentVariableを、APIキーを暗号化して管理している場合はfromStringを使用すると良いです。また、MomentoではAPIキーのローテーションも可能です。

公開日: 2023/12/19

最終更新日: 2023/12/19

AI / ML AWS LLM

Model Evaluation on Amazon Bedrockを動かしてみた

この記事は2023年のAWS re:inventで発表されたBedrock関連の新機能、Model Evaluationについて触れた内容をまとめています。マネージメントコンソールからモデルの評価を行う方法や設定手順、結果の確認方法について説明されています。また、モデル評価の結果を詳細に解析することができ、提供されたデータセットに対するスコアや評価結果が判明することも紹介されています。Human evaluationを行う方法についても触れられていますが、データセットの用意には一部制約があるようです。Model Evaluationは複数のモデルに対して様々な尺度で評価を行うことができる機能であり、将来的にも取り上げる価値があるとのことです。

公開日: 2023/12/16

最終更新日: 2023/12/16