RAGの有用性について改めて考えてみる

AI/ML分科会 Meetup #8「年納大LT大会」

Transcript

1. 田村 直樹 DX開発事業部 モダンエンジニアリンング S フルスタックG RAGの有用性について 改めて考えてみる AI/ML分科会 Meetup #8「年納大LT大会」
2. 自己紹介
3. 田村 直樹 ・2023年4月にアイレット入社し、開発エンジニアとしてGCの案件を担当 ・2024年にAWSとGoogle Cloudの認定資格を全冠 ・Google Cloud Partner Top Engineer 2025 アイレット株式会社 た　む　ら な　お　き 来歴 DX開発事業部 モダンエンジニアリングセクション フルスタックグループ ・初めてのバイクをお迎えしました 最近あったこと
4. 目次
5. 01 02 03 04 目次 RAGの有用性への問題提起 比較検証 所感 まとめ
6. RAGの有用性への問題提起
7. RAGの有用性への問題提起 RAG • RAGはLLMによるテキスト生成を行う際に、外部情報への検索を組み合わせなが ら信頼できる回答を生成する技術 • 用途： ◦ 社内文書検索 ◦ Q&Aなどの問い合わせ対応 ◦ AIチャットボット
8. RAGの有用性への問題提起 ロングコンテキスト LLM • LLMの中でも特に大きいコンテキストウィンドウを持つLLM • Google CloudのGemini 1.5 Proモデルは現在200万トークンまで対応 ◦ 数あるLLMの中でも圧倒的なサイズ ◦ 1年前のPaLM2モデルだと32000トークン（85頁分のドキュメント） ※用語 コンテキストウィンドウ：モデルが一度に処理できるトークン数 トークン数：単語や画像、動画の一部などモデルが扱う最小の構成要素
9. RAGの有用性への問題提起 Geminiで大量のトークン数を扱えるなら 単純なRAG検索は不要なのではないか？？ →少しだけ検証してみる
10. 比較検証
11. 比較検証 LLMとRAGのそれぞれで文書検索を実行 • 使うサービス ◦ Vertex AI Studioの自由形式（GCコンソールから利用する方） ◦ Agent Builder 検索アプリ（Document Search） • 使うデータ（合計 10万弱トークン） ◦ デジタル社会推進標準ガイドライン（デジタル庁掲出） 
 ◦ モデル就業規則（厚生労働省掲出）
12. 比較検証 質問1 セキュリティバイデザインの基本方針について 教えてください。
13. 比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
14. 比較検証 LLMで文書検索 ほぼ規約のそのままだが 観点は合っている
15. 比較検証 質問2 有給休暇の注意事項はありますか
16. 比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
17. 比較検証 LLMで文書検索 観点は合っており、他の回答 内容も概ね相違なし
18. 所感
19. 所感 • 単純な文書検索においてはLLMで実行した場合においても、回答精度に大幅に 劣る点というのはなかった ように感じた • LLMで実行する場合は実行時間が割とかかる （今回で約40秒ほど） • 回答時に関係のない文書を読み込んでノイズが増えるため、重要な情報を見逃し てしまう可能性は拭えない ◦ 不要な情報を読み込むため当然コストがかかる • 該当箇所を表示させようとするとハルシネーションがみられた
20. 所感 ベンチマーク結果 引用元：Retrieval Augmented Generation or Long-Context LLMs?A Comprehensive Study and Hybrid Approach
21. 所感 • RAG ◦ LLMのコンテキストウィンドウを超えるデータからの検索が得意 ◦ ただし、チャンクごとにデータを分割する都合上、複雑な文脈や推論の際に効 果的に活用しきれない • LLM ◦ 大規模なデータセットにおいても文書検索は可能 ◦ 特にRAGと違って文書全体を把握するため文脈を理解した回答ができる ◦ ただし、計算コストがかかる点や処理速度などに懸念が残る ここまでの内容から
22. 一歩進んで
23. 一歩進んで SELF-ROUTE • RAGとLLMのメリットを組み合わせたハイブリッドのアプローチ ◦ RAGのコスト効率性とLLMの文書検索性能の両立 • クエリ結果に応じて動的に処理方法を選択する ◦ RAG-and-Route：RAG検索で回答可能な場合 ◦ long-context prediction：RAG検索では足りず長文を理解した検索が必要な 場合
24. 一歩進んで SELF-ROUTE ①RAG-and-Route ② long-context prediction
25. まとめ • RAGとLLMでの文書検索を比較してみると、同じような精度で回答を返す • ロングコンテキストLLMの方がより高精度の回答を返すケースもあるが、実行速度 やコスト効率で懸念がある • RAGとロングコンテキストLLMを組み合わせた「Self-Route」という手法ではコスト 効率と回答可能性を共存できる Self-Route
26. 参考文献 RAGとLLMの性能比較を行った論文 タイトル：Retrieval Augmented Generation or Long-Context LLMs? 　　　　　 A Comprehensive Study and Hybrid Approach 著者：Google DeepMind, University of Michigan 文献URL：https://arxiv.org/pdf/2407.16833
27. ご清聴ありがとうございました