RAGでS3 Vectorを使おう

所属：株式会社クレスコ好きなサービス：Amazon Neptune 年次：２年目経歴: 2024年4月株式会社クレスコ入社 2024年7月ビジネスソリューション事業部配属 2025年6月
2025 Japan AWS Jr.Champion 名前：八雲慎之助

• 埋め込みを利用 • 自然言語を機械が理解しやすい数値の羅列に変換 • ベクトルとして保存する https://aws.amazon.com/jp/what-is/embeddings-in-machine-learning/

https://aws.amazon.com/jp/blogs/aws/introducing-amazon-s3-vectors-first-cloud-storage-with- native-vector-support-at-scale/

• S3 Vector bucket • S3 Vector index

•ディメンション •距離メトリック •コサイン •ユークリッド

•ディメンション利用する埋め込みモデルに合わせる必要あり「Amazon Titan Text Embedding V2」だと 1024となる高次元・・・精度が高いが、コスト高、処理に時間
低次元・・・処理は軽いが、情報量が減り正確性も不安

•距離メトリック •コサイン →ベクトルの「傾き」の近さを見る意味ベースでの検索に強い •ユークリッド →ベクトルの距離を見るデータのばらつきがないと安定した比較ができる

• 圧倒的なコスト削減 →約90%削減 →コストは基本的にS3ベース.. 課金されるのはストレージくらい • Amazon OpenSearch Service との連携
→S3 Vectorからエクスポートが可能 →検索速度はOpenSearch Service の方が有利 S3 Vector 1秒程度 OpenSearch Service 数ミリ秒で完了

正確性忠実性有用性完全性

① ②

• S3 Vector は圧倒的コスパナレッジベース！ • 約9割削減 • RAG評価もそこまで悪くない！ • OpenSearch
Serverlssとの使い分け • コスト重視、たまにしか参照しない • 頻繁に参照、レスポンスも重視したい • S3 VectorからOpenSearch Serverlssへの移行も可能

RAGでS3 Vectorを使おう

RAGでS3 Vectorを使おう

やくも

More Decks by やくも

Featured

Transcript