Category: AWS

Bedrock Knowledge baseのデータをAWS SDK JS v3で更新する方法

Bedrock Knowledge Baseを使用すると、RAGのベースとなるベクターストアを簡単に準備できます。ただし、CMSやECサイトなどでは定期的なデータ更新が必要です。AWS SDKを使用してデータの更新/同期を行う方法を調査しました。データの取り込みはIngestionJobと呼ばれ、StartIngestionJob APIを使用して実行できます。データ量によって取り込みに時間がかかる場合は、ListIngestionJobs APIを使用してIngestion Jobの履歴を取得できます。また、個別のジョブについて詳細を確認するにはGetIngestionJob APIを使用します。データソースはS3に保存されているため、シンプルにジョブを実行できます。App FlowやEventBridge / Step Functionsと組み合わせることでさまざまなことができます。

Published at: 2023/12/30

AI / ML AWS LLM

Amazon Bedrockのモデル実行結果をStreamで受け取る方法

LLMを使用したアプリの開発では、ユーザーの待ち時間内にインタラクションを作成するために、Streamを使ってレスポンスを処理するのが一般的です。Amazon Bedrockでホストされているモデルを呼び出す際に、Streamでレスポンスを受け取る方法について調査しました。Bedrock Runtime ClientのInvokeModelWithResponseStreamを使用することで、Streamでの受け取りが可能です。ただし、必須項目としてmax_tokens_to_sampleを指定する必要があります。また、Claudeを使用する場合には、「Assistant:」で終わらせる必要があります。

Published at: 2023/12/29

AWS JavaScript LangChain.js Node.js

Amazon DynamoDBを利用して、LangChain.jsでの会話履歴を保存する

AlexaやLex / LINEなどのチャットボットは、ステートレスに作られており、過去の入力と返答は保存する必要があります。この記事では、Amazon DynamoDBを会話履歴DBとして使用する方法について調査しました。会話のセッションIDをキーとして、DynamoDBのテーブルを作成し、LangChain.jsを使用してDynamoDBを呼び出す方法を紹介しています。また、実際に会話データがDynamoDBに保存される構造と、セッションを復元する方法も説明されています。ただし、データの維持には注意が必要であり、Momentoなどのデータストアを検討することも推奨されています。

Published at: 2023/12/28

AWS JavaScript Next.js React

Amazon DynamoDBとCognito User Pools + Next.jsで、簡単なブックマークシステムを実装する

このテキストは、特定のユーザーによって利用される有料のブックマーク機能についての説明です。DynamoDBとCognitoを使用して構築されており、APIの作成やデータの管理方法などが簡単にまとめられています。ブックマークの追加、削除、取得のための関数も提供されています。また、UIの作成にはReactとAmplify UIが使用されています。

Published at: 2023/12/27

AI / ML AWS JavaScript LangChain.js LLM Node.js SaaS / FaaS

LangChainからAmazon Bedrock Knowledge Baseでインデックスを生成したPineconeインデックスにアクセスする

以前BerdockのKnowledge Baseを使ってEmbeddingしたデータのインデックスを作っていた。Pineconeをベクターストアに使用し、LangChainから利用することに興味があったため、実験を行った。結果は成功し、S3のデータを取得できた。次にはRAGのようなものを作成するために、BedrockのSDKを追加し、Chainを組んでいく予定。また、BedrockChatモデルを使った場合も試してみたが、調整が必要であることがわかった。

Published at: 2023/12/25

AWS JavaScript

AWS SDK js v3 環境変数からアクセスキーなどを取得する方法

LangChainなどでAWS SDKを利用する際、process.envから環境変数を取得する必要がありましたが、JavaScript SDK(v3)では@aws-sdk/credential-provider-nodeというライブラリが利用できます。@aws-sdk/credential-provider-nodeをインストールし、defaultProviderを使ってアクセスキーやシークレットキーを取得することができます。また、任意のプロファイルを指定することも可能です。これにより、複数のAWSアカウントに接続することもできます。読み取り順序は環境変数、credentialsファイル、インスタンスメタデータとなっており、EC2やLambdaの明示的な指定にも利用できます。

Published at: 2023/12/20

AI / ML AWS JavaScript LLM

LangChainでAmazon Bedrockを利用する方法（JavaScript編）

この記事はLangChain Advent Calendar 2023の19日目の記事で、JavaScript版のLangChainを使用する方法について説明されています。記事では、LangChainからAmazon Bedrockモデルを利用する方法や、LLMsとChatモデルの違い、クレデンシャル情報を設定する方法などが説明されています。LLMとChatモデルの使い分けについても言及されており、詳細な情報や参考記事へのリンクも提供されています。

Published at: 2023/12/19

AI / ML AWS LLM

Model Evaluation on Amazon Bedrockを動かしてみた

この記事は2023年のAWS re:inventで発表されたBedrock関連の新機能、Model Evaluationについて触れた内容をまとめています。マネージメントコンソールからモデルの評価を行う方法や設定手順、結果の確認方法について説明されています。また、モデル評価の結果を詳細に解析することができ、提供されたデータセットに対するスコアや評価結果が判明することも紹介されています。Human evaluationを行う方法についても触れられていますが、データセットの用意には一部制約があるようです。Model Evaluationは複数のモデルに対して様々な尺度で評価を行うことができる機能であり、将来的にも取り上げる価値があるとのことです。

Published at: 2023/12/16

7baf09b23b75f575c34ff330c3e9d9ce-20231209223145

AWS

EC2でWordPressをホストするときにやっておくと便利な設定: バックアップ編

この記事は、AWS Community Builders Advent Calendar 2023の13日目の記事です。WordPressのサーバーをEC2で運用している場合、壊れてもすぐに復旧できるようにバックアップを自動で作成する仕組みが重要です。Amazon Data Lifecycle Managerを使用すると、ノーコードでEC2のバックアップ管理が可能です。Data Lifecycle Managerでは、バックアップのスケジュールやモニタリングも設定できます。また、Amazon EventBridgeと連携させることで、バックアップ作成状況を通知できます。EC2を使いながらも、サーバーレス的な運用保守が可能です。

Published at: 2023/12/13

1c0da41b8ba61f9e6595626c89e35e82-20231130155343

AI / ML Amazon Bedrock AWS LLM

Agents for Amazon Bedrockで、作成済みのKnowledge baseを元にしたエージェントを作成してみた

この記事は、2023年のAWS re:inventでのAmazon Bedrockのアップデートについての内容です。Bedrockを使用してKnowledge baseを作成し、作成したKnowledge baseやモデルを使用してAgentを作成する方法について詳しく説明されています。Agentの作成手順やテスト方法、さらにAWS SDKを使用してAgentを実行する方法についても示されています。記事では、Bedrock Agentsの機能や利点についても触れており、今後のワークフローの改善に期待が寄せられています。

Published at: 2023/12/05