Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
RAGの有用性について改めて考えてみる
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
田村直樹
November 25, 2024
Technology
16
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
RAGの有用性について改めて考えてみる
AI/ML分科会 Meetup #8「年納大LT大会」
田村直樹
November 25, 2024
More Decks by 田村直樹
See All by 田村直樹
アイレットブログ隊が行く! エンジニアの成長と情報発信
naokitamura
0
49
今すぐ実践できる!? 社内のAI導入事例や取り組みをご紹介!
naokitamura
0
17
楽しみながら学ぶGoogle Cloud資格学習
naokitamura
0
18
知識の線を作る 私なりの認定資格取得
naokitamura
0
18
ノーコードで始める AIチャットボット開発
naokitamura
0
29
資格取得から考える マルチクラウド戦略
naokitamura
0
27
Cloud Runの最新アップデートや 機能の活用例をご紹介!
naokitamura
0
26
Slackで始めるらくらくRAG開発
naokitamura
0
25
Google Cloud Next’24 より イチオシのアップデートをご紹介!
naokitamura
0
18
Other Decks in Technology
See All in Technology
[re:Invent2026事前勉強会(有志開催)]続きは、ラスベガスの廊下で / continue-in-the-vegas-hallway
sh_fk2
0
500
kintoneで在庫管理システムを作るときの要件定義・設計ポイント
kai0707
0
230
FinOpsを導入してマルチプロダクトのコスト最適化を実現する
kworkdev
PRO
0
120
複雑な業務システムを高速でつくるため、チーム全員をつくれる人へ
ayakurabuchi
0
120
自律的なチームを作るためにTechPMがやらないこと
ny7760
0
500
eBPF 簡介 2026 版
shunghsiyu
0
170
E2Eってつらくないですか?E2Eの管理コストを下げる手段とその実践
akaboshinit
6
3k
"計画的無茶振り"を通してAIネイティブ世代の新人を育てる
subroh0508
1
150
In-Context Learning再入門。ICLの勾配降下的解釈の研究動向を追ってみる。
dai08srhg
0
110
攻撃 3 時間 vs 復旧 10 時間。アクセスキー流出の非対称性を体感するために CTF を作った話
kazzpapa3
1
140
クラウドエージェントの先駆け Devin。今も最先端を走る、他との違い
kinopeee
2
560
[General] 개발자로 해외 기업에서 일하기
skydoves
1
290
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
600
Organizational Design Perspectives: An Ontology of Organizational Design Elements
kimpetersen
PRO
1
870
Are puppies a ranking factor?
jonoalderson
2
4.1k
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
670
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
chikuwait
0
920
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
650
Stewardship and Sustainability of Urban and Community Forests
pwiseman
0
580
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
1
3.7k
Transcript
田村 直樹 DX開発事業部 モダンエンジニアリンング S フルスタックG RAGの有用性について 改めて考えてみる AI/ML分科会 Meetup
#8「年納大LT大会」
自己紹介
田村 直樹 ・2023年4月にアイレット入社し、開発エンジニアとしてGCの案件を担当 ・2024年にAWSとGoogle Cloudの認定資格を全冠 ・Google Cloud Partner Top Engineer
2025 アイレット株式会社 た む ら な お き 来歴 DX開発事業部 モダンエンジニアリングセクション フルスタックグループ ・初めてのバイクをお迎えしました 最近あったこと
目次
01 02 03 04 目次 RAGの有用性への問題提起 比較検証 所感 まとめ
RAGの有用性への問題提起
RAGの有用性への問題提起 RAG • RAGはLLMによるテキスト生成を行う際に、外部情報への検索を組み合わせなが ら信頼できる回答を生成する技術 • 用途: ◦ 社内文書検索 ◦
Q&Aなどの問い合わせ対応 ◦ AIチャットボット
RAGの有用性への問題提起 ロングコンテキスト LLM • LLMの中でも特に大きいコンテキストウィンドウを持つLLM • Google CloudのGemini 1.5 Proモデルは現在200万トークンまで対応
◦ 数あるLLMの中でも圧倒的なサイズ ◦ 1年前のPaLM2モデルだと32000トークン(85頁分のドキュメント) ※用語 コンテキストウィンドウ:モデルが一度に処理できるトークン数 トークン数:単語や画像、動画の一部などモデルが扱う最小の構成要素
RAGの有用性への問題提起 Geminiで大量のトークン数を扱えるなら 単純なRAG検索は不要なのではないか?? →少しだけ検証してみる
比較検証
比較検証 LLMとRAGのそれぞれで文書検索を実行 • 使うサービス ◦ Vertex AI Studioの自由形式(GCコンソールから利用する方) ◦ Agent
Builder 検索アプリ(Document Search) • 使うデータ(合計 10万弱トークン) ◦ デジタル社会推進標準ガイドライン(デジタル庁掲出) ◦ モデル就業規則(厚生労働省掲出)
比較検証 質問1 セキュリティバイデザインの基本方針について 教えてください。
比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
比較検証 LLMで文書検索 ほぼ規約のそのままだが 観点は合っている
比較検証 質問2 有給休暇の注意事項はありますか
比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
比較検証 LLMで文書検索 観点は合っており、他の回答 内容も概ね相違なし
所感
所感 • 単純な文書検索においてはLLMで実行した場合においても、回答精度に大幅に 劣る点というのはなかった ように感じた • LLMで実行する場合は実行時間が割とかかる (今回で約40秒ほど) • 回答時に関係のない文書を読み込んでノイズが増えるため、重要な情報を見逃し
てしまう可能性は拭えない ◦ 不要な情報を読み込むため当然コストがかかる • 該当箇所を表示させようとするとハルシネーションがみられた
所感 ベンチマーク結果 引用元:Retrieval Augmented Generation or Long-Context LLMs?A Comprehensive Study
and Hybrid Approach
所感 • RAG ◦ LLMのコンテキストウィンドウを超えるデータからの検索が得意 ◦ ただし、チャンクごとにデータを分割する都合上、複雑な文脈や推論の際に効 果的に活用しきれない • LLM
◦ 大規模なデータセットにおいても文書検索は可能 ◦ 特にRAGと違って文書全体を把握するため文脈を理解した回答ができる ◦ ただし、計算コストがかかる点や処理速度などに懸念が残る ここまでの内容から
一歩進んで
一歩進んで SELF-ROUTE • RAGとLLMのメリットを組み合わせたハイブリッドのアプローチ ◦ RAGのコスト効率性とLLMの文書検索性能の両立 • クエリ結果に応じて動的に処理方法を選択する ◦ RAG-and-Route:RAG検索で回答可能な場合
◦ long-context prediction:RAG検索では足りず長文を理解した検索が必要な 場合
一歩進んで SELF-ROUTE ①RAG-and-Route ② long-context prediction
まとめ • RAGとLLMでの文書検索を比較してみると、同じような精度で回答を返す • ロングコンテキストLLMの方がより高精度の回答を返すケースもあるが、実行速度 やコスト効率で懸念がある • RAGとロングコンテキストLLMを組み合わせた「Self-Route」という手法ではコスト 効率と回答可能性を共存できる Self-Route
参考文献 RAGとLLMの性能比較を行った論文 タイトル:Retrieval Augmented Generation or Long-Context LLMs? A
Comprehensive Study and Hybrid Approach 著者:Google DeepMind, University of Michigan 文献URL:https://arxiv.org/pdf/2407.16833
ご清聴ありがとうございました