RAGでS3 Vectorを使おう

【満員御礼】JAWS-UG 栃木 オフライン #3

Transcript

1. RAGでS3 Vectorを使おう
2. 所属：株式会社クレスコ 好きなサービス：Amazon Neptune 年次：２年目 経歴: 2024年4月 株式会社クレスコ入社 2024年7月 ビジネスソリューション事業部配属 2025年6月 2025 Japan AWS Jr.Champion 名前：八雲 慎之助
7. • 埋め込みを利用 • 自然言語を機械が理解しやすい数値の羅列に変換 • ベクトルとして保存する https://aws.amazon.com/jp/what-is/embeddings-in-machine-learning/
11. https://aws.amazon.com/jp/blogs/aws/introducing-amazon-s3-vectors-first-cloud-storage-with- native-vector-support-at-scale/
12. • S3 Vector bucket • S3 Vector index
14. •ディメンション •距離メトリック •コサイン •ユークリッド
15. •ディメンション 利用する埋め込みモデルに合わせる必要あり 「Amazon Titan Text Embedding V2」だと 1024となる 高次元・・・精度が高いが、コスト高、 処理に時間 低次元・・・処理は軽いが、情報量が 減り正確性も不安
16. •距離メトリック •コサイン →ベクトルの「傾き」の近さを見る 意味ベースでの検索に強い •ユークリッド →ベクトルの距離を見る データのばらつきがないと 安定した比較ができる
18. • 圧倒的なコスト削減 →約90%削減 →コストは基本的にS3ベース.. 課金されるのはストレージくらい • Amazon OpenSearch Service との連携 →S3 Vectorからエクスポートが可能 →検索速度はOpenSearch Service の方が有利 S3 Vector 1秒程度 OpenSearch Service 数ミリ秒で完了
19. 正確性 忠実性 有用性 完全性
20. 正確性 忠実性 有用性 完全性
21. ① ②
25. • S3 Vector は圧倒的コスパナレッジベース！ • 約9割削減 • RAG評価もそこまで悪くない！ • OpenSearch Serverlssとの使い分け • コスト重視、たまにしか参照しない • 頻繁に参照、レスポンスも重視したい • S3 VectorからOpenSearch Serverlssへの移行も可能