Recent post
CloudflareHono / SonikJavaScript未分類
HonoでCloudflare Pagesを作りつつ、wrangler.tomlを使ってVectorizeをよびだしてみた
2024年春のDeveloepr WeekでCloudflare Pagesがwrangler.tomlをサポート開始。Cloudflare Pagesプロジェクト作成からVectorizeの追加、Workers AIの有効化まで手順を解説。Vectorizeのデプロイ成功後、API追加し動作を確認。wrangler.tomlを更新しLangChain.js使用を試みるも、エラー発生。Node.js互換フラグの設定やcryptoモジュールの取り扱いについて解説。Cloudflare Pagesを使用したVectorizeの有効活用が可能となる手順を詳細に記載している。
Okamoto HidetakaAI / MLJavaScriptLangChain.jsLLMNode.js
外部APIを利用したRAGをLangChain.jsのLCELだけで作る2 – 部分的なベクトル検索を採用する
LangChain.jsを使用して、RAGやテキスト生成機能を実装するシリーズが続いています。前回はWordPressのREST APIを使用して、RAGの検索部分に挑戦しました。今回はエラーが発生した記事本文や複数記事をLLMに渡す試みについて説明されています。MemoryVectorStoreを利用することで、記事の関連性の高い文章を取得し、記事の検索結果をさらに深掘りする方法も紹介されています。WordPressから取得した記事情報の検索結果をMemoryVectorStoreに保存する方法や、RAGのインデックスと検索処理を実装する手順も示されています。Cloudflare Workers AIを使用して生成された日本語の回答に関する内容や、AWS Lambdaのアプリケーションをアップデートする手順についても触れられています。LLMのトークン数上限に対処する方法や、回答を生成する際に必要な文章の抽出方法についても言及されています。ベクターインデックスを利用した検索についての知見が共有されています。
Okamoto HidetakaAI / MLCloudflareJavaScriptLangChain.jsLLMNode.jsSaaS / FaaS
[LangChain.jsでいろんなRAGを作る]Cloudflare Workers AIで作ったRAGに翻訳機能を追加してみた
Cloudflareを使用してRAGを構築する際、モデルやプロンプトに関連して回答が英語になる可能性があることが挙げられます。そのため、特定の言語で回答を生成するために翻訳ステップを追加することが有効です。これにより、複数のChainをつなぎ合わせて、質問に対して検索を行い、結果を元に日本語で回答生成する流れを完成させることができます。多言語サポートが必要な場合は、翻訳処理を追加して検索精度を向上させることが可能です。
Okamoto HidetakaAI / MLCloudflareJavaScriptLangChain.jsLLMNode.jsSaaS / FaaS
LangChain.jsでCloudflare Workers AIの翻訳モデルを利用する
LangChain.jsを使用すると、Cloudflare Workers AIを簡単に活用できます。Text GenerationやText Embeddingsのモデルは問題なく利用できますが、Translationモデルなど一部のモデルは対応していない。LangChain.jsでは新たな実装が必要な場合、自身で処理を実装しChainに組み込むことができます。RunnableLambdaを使用すれば、テキスト生成以外のモデルもLangChain.jsで活用可能。Cloudflare Workers AIを効果的に使用していくためには、適切な実装が必要です。
Okamoto Hidetaka