Page: 10 / 98

LangChain.jsのRecursiveUrlLoaderを使って、EmbeddingのためにWebページをスクレイピングする

RAG（Red, Amber, Green）を作る際には、通常はSQLやREST/GraphQLのAPI、またはAmazon S3などのファイルを読み込む方法でデータを取得すると思われますが、場合によってはスクレイピングが必要になることもあります。RecursiveUrlLoaderを使用してデータをスクレイピングする方法についてまとめました。ライブラリの追加や実装方法なども詳しく説明されています。また、スクレイピングするページを制御したり、除外したりする方法も紹介されています。REST API等が利用可能な場合はそちらの方が簡単ですが、スクレイピングが必要な場合にはこの方法を検討する価値があるかもしれません。

Published at: 2023/12/26

Cloudflare JavaScript LangChain.js Node.js SaaS / FaaS

Cloudflare VectorizeとLangChain＆OpenAIを組み合わせてRAGを作ってみた

Cloudflareのベクターストアを利用するためには、Workersを有料プランに変更する必要があります。月5ドルの基本料金で、リクエストが発生すればすぐにマネタイズできるため、気軽に利用できます。Vectorizeを使用してインデックスを作成し、Wranglerで設定値を追加します。また、VectorizeとOpenAIのAPIキーをHonoのBindingsに設定し、LangChainを使用して処理を書きます。最後に、Vectorizeのインデックスを削除する際にはWranglerコマンドを使用します。

Published at: 2023/12/25

JavaScript LangChain.js Node.js

Langchain JSONToolkitでpackage-lock.jsonやtsconfig.jsonを読ませてみた

LangChainのToolkitやAgentを使って、JSONのデータを読んで回答を生成する方法を研究しています。JSONToolkitを試した結果、期待した結果を得られなかったが、結果を記事として残すことにしました。具体的には、package-lock.jsonのデータを読んでプロジェクトの依存関係を調べることを試しましたが、トークン数のエラーが発生しました。tsconfig.jsonを使用する場合も同様の問題があります。JSONToolkitは、JSONの中の情報を取り出して回答を生成するために使用することがおすすめです。JSONLoaderとRAG系のChainを使用すると、JSONの内容に対するコメントのリクエストに適していると思われます。

Published at: 2023/12/25

AI / ML JavaScript LangChain.js LLM Node.js

LangChain.js + OpenAI API(GPT-4)で、ベクターストアを使わずに擬似RAGを作ってみた

この記事は「LangChain Advent Calendar 2023」25日目の記事です。ベクターストア無しでRAG（retrieval augmented generation）を作成する方法について紹介しています。具体的には、Embeddingを使わずにベクトルデータを生成し、WordPressのAPIを用いて投稿を検索する方法を解説しています。また、RemoteLangChainRetrieverをカスタマイ

Published at: 2023/12/25

Hono / Sonik JavaScript

HonoをVercelで動かしてみた（API / SSR HTML編）

HonoはVercelで動作すると聞いていたが、実際に試したことはなかった。Vercel向けにHonoをセットアップする方法と、Vercelでホストするためのファイルの生成方法が説明されている。Vercelにデプロイすると、Honoからのレスポンスが返ってくることが確認できた。さらに、静的HTMLの配信やHonoでSSRした結果の配信も試した。ただし、ワイルドカード（’*’）を利用する場合は注意が必要で、設定の順番によって動作が変わることがある。

Published at: 2023/12/25

Event Stripe Stripe

#JP_Stripes 広島 vol.6 Re:bootで、Stripeの紹介やデモをしてきました

広島でのJP_Stripes初参加についてまとめました。JP_Stripesは自分の本職であるStripeを使用するユーザーコミュニティで、オンライン・オフラインイベントを開催しています。イベントでは基本的な製品紹介や3Dセキュア関連のお知らせなどがありました。また、Stripe Connectの組み込みについてのLive QAも行われ、実装について考える機会となりました。参加者からも好評で、勉強になる時間でした。

Published at: 2023/12/25

AI / ML AWS JavaScript LangChain.js LLM Node.js SaaS / FaaS

LangChainからAmazon Bedrock Knowledge Baseでインデックスを生成したPineconeインデックスにアクセスする

以前BerdockのKnowledge Baseを使ってEmbeddingしたデータのインデックスを作っていた。Pineconeをベクターストアに使用し、LangChainから利用することに興味があったため、実験を行った。結果は成功し、S3のデータを取得できた。次にはRAGのようなものを作成するために、BedrockのSDKを追加し、Chainを組んでいく予定。また、BedrockChatモデルを使った場合も試してみたが、調整が必要であることがわかった。

Published at: 2023/12/25

AI / ML JavaScript LangChain.js LLM Node.js

LangChain.jsで作成済みのChainをToolとして登録する方法

この記事は「LangChain Advent Calendar 2023」の24日目の記事です。ToolsとChainを組み合わせて使うことで、LangChainがサポートしていない任意のAPIを呼び出して結果を生成することができます。ただし、Toolsを使う場合はChainではなくAgentExecutorを使う必要があります。ChainをCustom Toolsとして登録するのがベストプラクティスです。具体的な使い方や実装方法については記事で詳しく解説されています。

Published at: 2023/12/24

AI / ML JavaScript LangChain.js LLM Node.js

LangChainでファイルの拡張子ごとにSplitterを変える

LangChainのSplitterは、プログラム言語に対応したEmbedding生成ドキュメントの分割をサポートしています。GitHubから読み込んだファイルに対して、拡張子に基づいてSplitterを変更するコードが示されています。さらに、CartProviderをカスタマイズする方法も解説されています。プロパティを設定することで、CartProviderの動作をカスタマイズすることができます。ただし、いくつかの問題点も指摘されています。

Published at: 2023/12/24

AI / ML JavaScript LangChain.js LLM Node.js

LangChain.jsのToolsを使って、WordPressのAPIを呼び出すCustom toolsを作ってみた

この記事では、「LangChain Advent Calendar 2023」の23日目の記事として、LangChainで外部データを検索する方法としてToolsの使用方法について紹介しています。具体的には、WordPressのデータソースを利用する方法を例として挙げています。また、動作を確認するためのサンプルコードとその実行結果も示しています。さらに、WordPressのREST APIを呼び出すToolを作成し、LangChainに組み込む方法についても説明しています。

Published at: 2023/12/23