前野 佑宜 アイレット株式会社 DX開発事業部 モダンエンジニアリングセクション ビジネスデザインG AWSでRAGを実現する上で 感じた3つの大事なこと ARI TechSummit ～AI・生成AI～

はじめに〜 LTの要点〜 本LTでお伝えしないこと ● RAGの基本的な概念の解説 ● 具体的な実装→Qiitaブログで解説しております ● AWSでRAGを実現する上で学んだ教訓 ○ RAGを実現する上で直面した課題、解決策 本LTでお伝えすること

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

前野 佑宜 2023年新卒入社/入社2年目 2024 Japan AWS Jr. Champions選出 アイレット株式会社 ま　え　の ゆ　う　き 経歴 DX開発事業部/モダンエンジニアリングS/ビジネスデザインG 担当業務 Python/Laravelを使ったバックエンド開発を主に担当 現在はAWSの生成AIサービス/RAGを組み合わせたPoC（概 念実証）に従事 関心のある領域 AWS× AI/MLの領域（Amazon Bedrock/ Amazon SageMakerなど）

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

02.AWSでRAGを実現する手段を整理 AWSにおけるRAG構成パターン（代表例） Kendra+Bedrock Knowledge Base

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

03.実際に直面した課題 /解決策 「RAG」実現にあたって直面した課題 ①Kendraで同期できないデータがある ②検索性の問題 ③精度をどうやって評価する？

03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある 同期に失敗 したファイル Document cannot be indexed since it contains no text to index and search on. Document must contain some text 文字情報が 存在しないと index化不可

03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある →Amazon Bedrock（Claude Haiku 3)によるテキスト化であ る程度解決 ※書き起こし精度は 元々のドキュメントに 依存 「可能な限りテキスト化して」

03.実際に直面した課題 /解決策 ②検索性の問題 データソースのファイル数増 →「ユーザーが本当に必要としている情報」⇔「実際表示される検索結果」 検証期間は残り 2週間。 なんとか結果を出さねば・・

03.実際に直面した課題 /解決策 ②検索性の問題 →メタデータによるフィルタリングで解決！ RAG の精度を向上させる Advanced RAG on AWS の道標 (AWS Blog)より引用 
 短い期間でも 改善可能と判断

03.実際に直面した課題 /解決策 ②検索性の問題 メタデータによるフィルタリングのイメージ

03.実際に直面した課題 /解決策 ③精度をどう評価する？ RAGのパフォーマンスをどのように評価するか？が課題だった ・検証フェーズは約 1ヶ月。 ・RAG評価ツールに関する知見もあまりない （RAGAS やRAGChecker はちょっと聞いたことある、程度）

03.実際に直面した課題 /解決策 ③精度をどう評価する？ →評価項目を定義し、 RAGの結果を定量化 「どんな質問をすることを想定？」 「どんな回答が返ってきたら満足度高い？」 「RAGにおいて何を重視している？」 お客様 「質問内容に近いドキュメントが返却される」 　ことが大事

03.実際に直面した課題 /解決策 ③精度をどう評価する？ →事前のすり合わせに基づいて、評価スコアを定義・評価 →可視化 最終評価するのはお客様。 →事前にすり合わせを行うことで 最終評価の参考にできる

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

04.RAGを実現する上で学んだ教訓 AWSのRAGにおいて大事だと思ったこと ①データソースの質を担保する重要性 ②前段の”検索”の仕組みの改善 ③精度評価 →「お客様と対話し、現場のニーズを把握」

01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓 05 まとめ

RAG=「銀の弾丸」ではない！ 地道な改善 /ニーズの把握 こそが成果につながる！

ご清聴ありがとうございました

参照文献 • 関連ブログ ○ AWSでRAGを実装する上で感じた3つの大事なこと (Qiitaブログ) ○ RAG の精度を向上させる Advanced RAG on AWS の道標 (AWS)