AWSでRAGを実現する上で感じた3つの大事なこと

ARI TechSummit ～AI・生成AI～（2025/02/06実施）LT登壇資料

Transcript

1. 前野 佑宜 アイレット株式会社 DX開発事業部 モダンエンジニアリングセクション ビジネスデザインG AWSでRAGを実現する上で 感じた3つの大事なこと ARI TechSummit ～AI・生成AI～
2. はじめに〜 LTの要点〜 本LTでお伝えしないこと • RAGの基本的な概念の解説 • 具体的な実装→Qiitaブログで解説しております • AWSでRAGを実現する上で学んだ教訓 ◦ RAGを実現する上で直面した課題、解決策 本LTでお伝えすること
3. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
4. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
5. 前野 佑宜 2023年新卒入社/入社2年目 2024 Japan AWS Jr. Champions選出 アイレット株式会社 ま　え　の ゆ　う　き 経歴 DX開発事業部/モダンエンジニアリングS/ビジネスデザインG 担当業務 Python/Laravelを使ったバックエンド開発を主に担当 現在はAWSの生成AIサービス/RAGを組み合わせたPoC（概 念実証）に従事 関心のある領域 AWS× AI/MLの領域（Amazon Bedrock/ Amazon SageMakerなど）
6. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
7. 02.AWSでRAGを実現する手段を整理 AWSにおけるRAG構成パターン（代表例） Kendra+Bedrock Knowledge Base
8. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
9. 03.実際に直面した課題 /解決策 「RAG」実現にあたって直面した課題 ①Kendraで同期できないデータがある ②検索性の問題 ③精度をどうやって評価する？
10. 03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある 同期に失敗 したファイル Document cannot be indexed since it contains no text to index and search on. Document must contain some text 文字情報が 存在しないと index化不可
11. 03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある →Amazon Bedrock（Claude Haiku 3)によるテキスト化であ る程度解決 ※書き起こし精度は 元々のドキュメントに 依存 「可能な限りテキスト化して」
12. 03.実際に直面した課題 /解決策 ②検索性の問題 データソースのファイル数増 →「ユーザーが本当に必要としている情報」⇔「実際表示される検索結果」 検証期間は残り 2週間。 なんとか結果を出さねば・・
13. 03.実際に直面した課題 /解決策 ②検索性の問題 →メタデータによるフィルタリングで解決！ RAG の精度を向上させる Advanced RAG on AWS の道標 (AWS Blog)より引用 
 短い期間でも 改善可能と判断
14. 03.実際に直面した課題 /解決策 ②検索性の問題 メタデータによるフィルタリングのイメージ
15. 03.実際に直面した課題 /解決策 ③精度をどう評価する？ RAGのパフォーマンスをどのように評価するか？が課題だった ・検証フェーズは約 1ヶ月。 ・RAG評価ツールに関する知見もあまりない （RAGAS やRAGChecker はちょっと聞いたことある、程度）
16. 03.実際に直面した課題 /解決策 ③精度をどう評価する？ →評価項目を定義し、 RAGの結果を定量化 「どんな質問をすることを想定？」 「どんな回答が返ってきたら満足度高い？」 「RAGにおいて何を重視している？」 お客様 「質問内容に近いドキュメントが返却される」 　ことが大事
17. 03.実際に直面した課題 /解決策 ③精度をどう評価する？ →事前のすり合わせに基づいて、評価スコアを定義・評価 →可視化 最終評価するのはお客様。 →事前にすり合わせを行うことで 最終評価の参考にできる
18. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
19. 04.RAGを実現する上で学んだ教訓 AWSのRAGにおいて大事だと思ったこと ①データソースの質を担保する重要性 ②前段の”検索”の仕組みの改善 ③精度評価 →「お客様と対話し、現場のニーズを把握」
20. 01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ
21. RAG=「銀の弾丸」ではない！ 地道な改善 /ニーズの把握 こそが成果につながる！
22. ご清聴ありがとうございました
23. 参照文献 • 関連ブログ ◦ AWSでRAGを実装する上で感じた3つの大事なこと (Qiitaブログ) ◦ RAG の精度を向上させる Advanced RAG on AWS の道標 (AWS)