AWSでRAGを作る法方

【connpass】
福岡LLM勉強会
https://connpass.com/event/324157/

Transcript

1. ©Fusic Co., Ltd. 1 AWSでRAGを作る⽅法 2024.7.19 苑⽥ 朝彰 @sonoda_mj 福岡LLM勉強会
2. ©Fusic Co., Ltd. 2 苑⽥ 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級） コメント 明⽇滝⾏してきます ⾃⼰紹介 はじめに 株式会社Fusic
3. ©Fusic Co., Ltd. 3 苑⽥ 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級） コメント 明⽇滝⾏してきます ⾃⼰紹介 はじめに 株式会社Fusic
4. ©Fusic Co., Ltd. 4 CONTENTS ⽬次 1. 検索拡張⽣成（RAG）とは 2. Amazon Bedrockとは 3. AWSでRAGを作る⽅法 4. Knowledge Base for Amazon Bedrockを使い倒す 5. まとめ
5. ©Fusic Co., Ltd. 5 検索拡張⽣成（RAG）とは 1
6. ©Fusic Co., Ltd. 6 Retrieval Augmented Generation（RAG） ⽣成系の⾔語 AI モデルに外部メモリをつけるというコンセプトのことを指す 検索拡張⽣成(RAG)とは Vector Database LLM 質問 検索 返答 検索結果 引用：https://github.com/aws-samples/jp-rag-sample
7. ©Fusic Co., Ltd. 7 事前に学習したデータに関しては返答することができる 検索拡張⽣成(RAG)とは LLM AWSについて教えて AWSってのはな
8. ©Fusic Co., Ltd. 8 しかし、プライベート情報や新しい情報など、学習していない内容に関しては答 えられない 検索拡張⽣成(RAG)とは 苑⽥について教えて 私の知識はxxxx年まででぇ LLM
9. ©Fusic Co., Ltd. 9 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥について教えて
10. ©Fusic Co., Ltd. 10 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥について教えて
11. ©Fusic Co., Ltd. 11 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 検索結果を返す
12. ©Fusic Co., Ltd. 12 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に 関する回答を⽣成することができる 検索拡張⽣成(RAG)とは Vector Database 苑⽥ってのは…
13. ©Fusic Co., Ltd. 13 Fusicの公開情報から構成されるRAG Fusic-RAG メンバー紹介 ニュース 開発事例 その他
14. ©Fusic Co., Ltd. 14 Amazon Bedrockとは 2
15. ©Fusic Co., Ltd. 15 AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazon などの⼤⼿ AI 企業が提供する⾼性能な基盤モ デル (FM) を単⼀の API で選択できるフルマネージド型サービス Amazon Bedrock 引⽤： https://aws.amazon.com/jp/bedrock/
16. ©Fusic Co., Ltd. 16 Amazon Bedrockの機能 • モデルカスタム • インポートモデル（プレビュー） • ガードレール • ウォーターマーク検出 • ナレッジベース • エージェント • プロンプトマネジメント（プレビュー） • プロンプトフロー （プレビュー） • モデル評価
17. ©Fusic Co., Ltd. 17 Amazon Bedrockの機能 • モデルカスタム • インポートモデル（プレビュー） • ガードレール • ウォーターマーク検出 • ナレッジベース • エージェント • プロンプトマネジメント（プレビュー） • プロンプトフロー （プレビュー） • モデル評価
18. ©Fusic Co., Ltd. 18 Amazon Bedrock 内から基盤モデルをデータソースに接続して、検索拡張⽣成 (RAG) を⾏うことができる。 Knowledge Base for Amazon Bedrock Bedrock LLM Bedrock Embedding Model Vector DB Data Source or or or S3 様々なデータを⼊れる .txt, .md, .html, .doc/docx .csv, .xls/.xlsx, .pdf OpenSearch Serverless Aurora
19. ©Fusic Co., Ltd. 19 Amazon Bedrock 内から基盤モデルをデータソースに接続して、検索拡張⽣成 (RAG) を⾏うことができる。 Knowledge Base for Amazon Bedrock Bedrock LLM Bedrock Embedding Model Vector DB Data Source or or or S3 様々なデータを⼊れる .txt, .md, .html, .doc/docx .csv, .xls/.xlsx, .pdf OpenSearch Serverless Aurora
20. ©Fusic Co., Ltd. 20 データの前処理 • ドキュメントを管理しやすいチャンクに分割し、効率的に取得できるようにする • ドキュメントをEmbedding Modelを使⽤してベクトル化する • Vector DBに格納する Cohere Amazon Titan Text Embeddings 引⽤：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html
21. ©Fusic Co., Ltd. 21 ランタイム実⾏ • ユーザーのクエリをベクトル化する • ドキュメントのベクトルと⽐較し、意味的に類似したチャンクが検索される • 取得されたチャンクからの追加のコンテキストで拡張される 引⽤：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html Cohere Amazon Titan Text Embeddings Claude系
22. ©Fusic Co., Ltd. 22 AWSでRAGを作る⽅法 3
23. ©Fusic Co., Ltd. 23 AWSでRAGを作る⽅法 • Amazon Kendra + Amazon Bedrock • Vector DB + Amazon Bedrock • Knowledge Base for Amazon Bedrock
24. ©Fusic Co., Ltd. 24 Amazon Kendraを使⽤する場合のRAG エンタープライズ検索サービス
25. ©Fusic Co., Ltd. 25 VectorDB(Pinecone)を使⽤する場合のRAG
26. ©Fusic Co., Ltd. 26 Knowledge Base for Amazon Bedrockを使⽤する場合のRAG
27. ©Fusic Co., Ltd. 27 検証として使⽤したい場合はPineconeとBedrock組み合わせを使った⽅が安く済む データソースの種類が多く、すぐに構築したいならKendra 構築がめんどくさく、料⾦もそこそこ払えるならKnowledge Base for Amazon Bedrock KendraとPineconeの使い分けのまとめ Kendra + Bedrock Pinecone + Bedrock Knowledge Base for Amazon Bedrock ドキュメント ◎ 多様な形式に対応 △ 標準的な形式 ◯ 最近コネクション増加 値段 × かなり⾼コスト ◎ ⽐較的安価 ◯ Kendraよりは安い 実装の容易さと柔軟性 ◯ 導⼊が容易 △ ⼀部専⾨知識必要 ◯ 導⼊が容易 ◎：とても良い ◯：良い △：普通 ×：悪い
28. ©Fusic Co., Ltd. 28 検証として使⽤したい場合はPineconeとBedrock組み合わせを使った⽅が安く済む データソースの種類が多く、すぐに構築したいならKendra 構築がめんどくさく、料⾦もそこそこ払えるならKnowledge Base for Amazon Bedrock KendraとPineconeの使い分けのまとめ Kendra + Bedrock Pinecone + Bedrock Knowledge Base for Amazon Bedrock ドキュメント ◎ 多様な形式に対応 △ 標準的な形式 ◯ 最近コネクション増加 値段 × かなり⾼コスト ◎ ⽐較的安価 ◯ Kendraよりは安い 実装の容易さと柔軟性 ◯ 導⼊が容易 △ ⼀部専⾨知識必要 ◯ 導⼊が容易 ◎：とても良い ◯：良い △：普通 ×：悪い
29. ©Fusic Co., Ltd. 29 Knowledge Base for Amazon Bedrockを使い倒す 4
30. ©Fusic Co., Ltd. 30 セマンティック検索とキーワード検索を組み合わせた検索⼿法 複数の検索アルゴリズムの⻑所を活かし、それぞれの得意領域を組み合わせて検索結果の適合性を向上させる ハイブリッド検索 引⽤：https://aws.amazon.com/jp/blogs/news/knowledge-bases-for-amazon-bedrock-now-supports-hybrid-search/ ハイブリット検索 セマンティック検索
31. ©Fusic Co., Ltd. 31 ⾮構造化または半構造化ドキュメントから意味のある情報を分析して抽出するプロセス 基盤モデル (FM)を使⽤して複雑なドキュメントを解析する ⾼度な解析
32. ©Fusic Co., Ltd. 33 ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って チャンク分割 ドキュメント ベクトル化 OpenSearchに登録 Amazon Titan Text Embeddings OpenSearch Serverless
33. ©Fusic Co., Ltd. 34 Amazon Titan Text Embeddings ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って チャンク分割 ドキュメント ベクトル化 データのまとまりがない OpenSearchに登録 OpenSearch Serverless
34. ©Fusic Co., Ltd. 35 ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って チャンク分割 ドキュメント ベクトル化 内容を重複させる Amazon Titan Text Embeddings OpenSearchに登録 OpenSearch Serverless
35. ©Fusic Co., Ltd. 36 データをセマンティックな意味に基づいてセグメント化し、関連情報が論理的なチャンクにまとめる。コンテキスト関係 を維持することで、RAG モデルはより関連性の⾼い⼀貫性のある結果を取得できる。 ⾼度なデータチャンクオプション（セマンティックチャンキング） ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って 似たような意味を持つチャンクに分ける 分けた⽂章をベクトル化して、類似していたら まとめる
36. ©Fusic Co., Ltd. 37 データをセマンティックな意味に基づいてセグメント化し、関連情報が論理的なチャンクにまとめる。コンテキスト関係 を維持することで、RAG モデルはより関連性の⾼い⼀貫性のある結果を取得できる。 ⾼度なデータチャンクオプション（セマンティックチャンキング） ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って 似たような意味を持つチャンクに分ける
37. ©Fusic Co., Ltd. 38 ⾼度なデータチャンクオプション（セマンティックチャンキング） パラメータ名 詳細 周囲の⽂をグループ化するための最⼤バッファサイズ 意味的類似性を評価するときにグループ化する⽂の数。 バッファ サイズに 1 を選択すると、⽂をグループ化する ときに、前の⽂、対象の⽂、次の⽂が含まれる チャンクの最⼤トークン テキスト チャンクに含めることができるトークンの最⼤数 ⽂グループ間の類似性のブレークポイントしきい値 ⽂グループを意味的に⽐較したときに、⽂グループがどの 程度類似しているかを (パーセンテージしきい値で) 指定す る
38. ©Fusic Co., Ltd. 39 ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って ⾼度なデータチャンクオプション（階層的チャンキング） ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って 親チャンク ⼦チャンク① ⼦チャンク② ⼦チャンク③ データを階層構造に整理し、データ内の固有の関係に基づいて、より詳細かつ効率的な取得を可能にする。 （複雑な書式設定とネストされたテーブルを持つ技術マニュアル、法律⽂書、学術論⽂など、ネストされた構造または階 層構造を持つ複雑なドキュメントに最適）
39. ©Fusic Co., Ltd. 40 ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って ⾼度なデータチャンクオプション（階層的チャンキング） ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って 親チャンク ⼦チャンク① ⼦チャンク② ⼦チャンク③ データを階層構造に整理し、データ内の固有の関係に基づいて、より詳細かつ効率的な取得を可能にする。 （複雑な書式設定とネストされたテーブルを持つ技術マニュアル、法律⽂書、学術論⽂など、ネストされた構造または階 層構造を持つ複雑なドキュメントに最適） ⼦チャンクに対して セマンティック検索を⾏う
40. ©Fusic Co., Ltd. 41 ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って ⾼度なデータチャンクオプション（階層的チャンキング） ドキュメント # AWSでインフラを構築する⽅法 CDKを使⽤して、hogehoge… # AWS環境の説明 データベースはDynamoDBを使⽤ 理由はhogehoge… # ローカルでの開発⽅法 Docker使ってhogehoge… あとはやる気で頑張って 親チャンク ⼦チャンク① ⼦チャンク③ データを階層構造に整理し、データ内の固有の関係に基づいて、より詳細かつ効率的な取得を可能にする。 （複雑な書式設定とネストされたテーブルを持つ技術マニュアル、法律⽂書、学術論⽂など、ネストされた構造または階 層構造を持つ複雑なドキュメントに最適） ヒットした⼦チャンクの 親チャンクをFMに返す
41. ©Fusic Co., Ltd. 42 ⾼度なデータチャンクオプション（階層的チャンキング） パラメータ名 詳細 親トークンの最⼤サイズ 親チャンクに含めることができるトークンの最⼤数 ⼦トークンの最⼤サイズ トークンに含めることができるトークンの最⼤数 チャンク間のトークンの重複 ⼦チャンク間の重複のパーセンテージ
42. ©Fusic Co., Ltd. 43 チャンク化プロセスをカスタマイズして、RAG アプリケーションの固有の要件に合わせて処理できる Lambda関数を使⽤したカスタム処理 DataSource チャンクを カスタマイズ OpenSearch 処理後ファイル⽤S3 Sync
43. ©Fusic Co., Ltd. 44 複雑な質問を複数の単純なサブクエリに分割し、それぞれで関連情報を検索することで、RAGアプリケーションの精度と 応答品質を向上させる（Bedrockのlogから確認できる） クエリの再定式化（Query reformulation） • 苑⽥の経歴や背景について • 苑⽥とは誰で、ドイツ⼈を怒らせたエピソード は何ですか? • 苑⽥がドイツ⼈を怒らせた具体的なエピソード は何ですか? クエリを分割
44. ©Fusic Co., Ltd. 45 もしAmazon Bedrockについてもっと知りたくなったら これに全部書いてる リンク：https://www.amazon.co.jp/dp/4815626448
45. ©Fusic Co., Ltd. 46 まとめ 5
46. ©Fusic Co., Ltd. 47 まとめ Amazon Bedrockは単⼀のAPI で選択できるフルマネージド型サービス Point 01 Knowledge Base for Amazon Bedrockは簡単にRAGを構築することができる Point 02
47. ©Fusic Co., Ltd. 48 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴ありがとうございました！