Bedrock素人がKnowledgeBaseでRAGを構築するまで

第32回 JAWS-UG札幌 勉強会 登壇資料
https://jawsug-sapporo.doorkeeper.jp/events/165768

Transcript

1. Bedrock素人が KnowledgeBaseでRAGを 構築するまで 第32回 JAWS-UG札幌 勉強会 KDDIアジャイル開発センター 若松剛志
2. Who am I ? 若松 剛志 AWS ﾁｮｯﾄﾃﾞｷﾙ エンジニア @t_wkm2
3. re:Inventに自費で参加してきた
4. re:Inventの思い出
5. ハワイ最高だった
6. ハワイ最高だった • 照りつける太陽 • 初めてのサーフィン • ビーチバーでサンセットを見ながら煽る ゴールデンエール
7. ラスベガスとちゃうんかい！
8. トランジットです
9. 時差ボケが無くてほんと最高です 約7時間 約6時間
10. 時差ボケが無くてほんと最高です 羽田 11/23(木) 20:05 ホノルル 11/23(木) 8:05 ホノルル 11/23(木) 23:30 ラスベガス 11/24(金) 7:15 トランジット 15時間！！ 飛行機で寝て 朝着く 飛行機で寝て 朝着く！！
11. 実はこれ2回目
12. 昨年のJAWS-UG札幌のお品書き ほんとはここで話すは ずだった
13. 登壇者全員コロナ感染
14. 今回は無事生還しました！
15. 改めてre:Inventのお話
16. 改めてre:Inventのお話 参加人数6万人、日本からは1700人 ラスベガスのホテル6つを会場にセッションを展開 現地でした味わえないGameDayへの参加や参加者との交流、EBCでの開発者との ディスカッション
17. Keynoteの振り返りを少しだけ
18. Peter DeSantis （Monday Night Live） • Amazon Aurora Limitless Database • Amazon ElastiCache Serverless
19. Adam Selipsky • Amazon S3 Express One Zone • Bedrock関連 ◦ Knowledge Base ◦ Fine-tuning and Continued Pre-training ◦ Agents ◦ Guardrails • Amazon Q • Zero-ETL ◦ Redshift ◦ DynamoDB ◦ OpenSearch Service
20. Swami Sivasubramanian • Bedrock ◦ Anthropic Claude 2.1 ◦ Meta Llama 2 70B ◦ Amazon Titan ▪ Multimodal Embedding ▪ Titan Text Lite ▪ Titan Text Express ▪ Titan Image Generator • Vector search engine ◦ OpenSearch Service Serverless ◦ DocumentDB ◦ Amazon DynamoDB ◦ MemoryDB • Amazon Q ◦ Redshift ◦ AWS Glue
21. Dr. Werner Vogels • The Frugal Architecture ◦ https://thefrugalarchitect.com/ • AWS Management Console myApplications • CloudWatch Application Signals • Application Composer in VS Code • Inspector CI/CD Container Scanning
22. 本題
23. Bedrock素人がKnowledgeBaseで RAGを構築するまで
24. Amazon Bedrockとは AWSが提供する生成AIのサービス。 Bedrockそのものはモデルではなく、様々なモデルをサーバーレスにかつセキュアに運 用できるサービスとなっている。 使用できるモデルは以下（本日現在） • AI21 Labs - Jurassic-2（Text）※ • Amazon - Titan（Text/Embedding） • Anthropic - Claude（Text） • Cohere - Command/Embed（Text/Embedding）※ • Stability AI - Stable Diffusion XL（Image）※ ※東京リージョン未対応
25. KnowledgeBaseとは 正式には KnowledgeBase for Bedrock Bedrockを用いてRAGを簡単に構築するサービス Bedrockで使える基礎モデルベースに、ベクトルデータベースの検索を使って拡張する
26. RAGとは 社内情報などの外部データソースを検索し、結果をプロンプトに含めて基礎モデルに投 げ込むことで、基礎モデルが知らない知識を回答させることができる 元々はハルシネーション（生成AIがもっともらしいウソを回答する）を防ぐことが目的だっ たが、ファインチューニングの代わりにも使用されるようになった 検索にはベクトルデータベースが用いられ、検索ワードに意味が近いものを返すセマン ティック検索が可能になる。
27. RAGとは ベクトル データベース RAGアプリ 基礎モデル プロンプトのワードをベ クトル化してセマンティッ ク検索 検索結果をプロンプトに 含めて生成AIへ投げて 回答を得る
28. KnowledgeBaseの場合 Cloudev2 OpenSearch Serverless Vector Store KnowledgeBase for Bedrock S3 外部知識を 置いておく Amazon Titan Embededing で ベクトル化して OpenSearchへ 同期
29. ほんとにできるか検証してみる
30. KnowledgeBase検証 S3に外部知識を置く
31. KnowledgeBase検証 モデル有効化
32. KnowledgeBase検証 KnowledgeBase作成
33. KnowledgeBase検証 S3指定
34. KnowledgeBase検証 ベクトルデータベース指定
35. 5分くらい待つ
36. KnowledgeBase検証
37. あまりにも簡単にできちゃった
38. まとめ • KnowledgeBaseはRAGを構成するのに面倒なと ころを解消してくれる • ベクトルデータベースにOpenSearch Severless が立つのに注意