Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
RAGの有用性について改めて考えてみる
Search
田村直樹
November 25, 2024
Technology
17
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
RAGの有用性について改めて考えてみる
AI/ML分科会 Meetup #8「年納大LT大会」
田村直樹
November 25, 2024
Transcript
27 slides
田村 直樹 DX開発事業部 モダンエンジニアリンング S フルスタックG RAGの有用性について 改めて考えてみる AI/ML分科会 Meetup
#8「年納大LT大会」
自己紹介
田村 直樹 ・2023年4月にアイレット入社し、開発エンジニアとしてGCの案件を担当 ・2024年にAWSとGoogle Cloudの認定資格を全冠 ・Google Cloud Partner Top Engineer
2025 アイレット株式会社 た む ら な お き 来歴 DX開発事業部 モダンエンジニアリングセクション フルスタックグループ ・初めてのバイクをお迎えしました 最近あったこと
目次
01 02 03 04 目次 RAGの有用性への問題提起 比較検証 所感 まとめ
RAGの有用性への問題提起
RAGの有用性への問題提起 RAG • RAGはLLMによるテキスト生成を行う際に、外部情報への検索を組み合わせなが ら信頼できる回答を生成する技術 • 用途: ◦ 社内文書検索 ◦
Q&Aなどの問い合わせ対応 ◦ AIチャットボット
RAGの有用性への問題提起 ロングコンテキスト LLM • LLMの中でも特に大きいコンテキストウィンドウを持つLLM • Google CloudのGemini 1.5 Proモデルは現在200万トークンまで対応
◦ 数あるLLMの中でも圧倒的なサイズ ◦ 1年前のPaLM2モデルだと32000トークン(85頁分のドキュメント) ※用語 コンテキストウィンドウ:モデルが一度に処理できるトークン数 トークン数:単語や画像、動画の一部などモデルが扱う最小の構成要素
RAGの有用性への問題提起 Geminiで大量のトークン数を扱えるなら 単純なRAG検索は不要なのではないか?? →少しだけ検証してみる
比較検証
比較検証 LLMとRAGのそれぞれで文書検索を実行 • 使うサービス ◦ Vertex AI Studioの自由形式(GCコンソールから利用する方) ◦ Agent
Builder 検索アプリ(Document Search) • 使うデータ(合計 10万弱トークン) ◦ デジタル社会推進標準ガイドライン(デジタル庁掲出) ◦ モデル就業規則(厚生労働省掲出)
比較検証 質問1 セキュリティバイデザインの基本方針について 教えてください。
比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
比較検証 LLMで文書検索 ほぼ規約のそのままだが 観点は合っている
比較検証 質問2 有給休暇の注意事項はありますか
比較検証 RAGで文書検索 文章に落とし込んで 分かりやすくしてくれて いる
比較検証 LLMで文書検索 観点は合っており、他の回答 内容も概ね相違なし
所感
所感 • 単純な文書検索においてはLLMで実行した場合においても、回答精度に大幅に 劣る点というのはなかった ように感じた • LLMで実行する場合は実行時間が割とかかる (今回で約40秒ほど) • 回答時に関係のない文書を読み込んでノイズが増えるため、重要な情報を見逃し
てしまう可能性は拭えない ◦ 不要な情報を読み込むため当然コストがかかる • 該当箇所を表示させようとするとハルシネーションがみられた
所感 ベンチマーク結果 引用元:Retrieval Augmented Generation or Long-Context LLMs?A Comprehensive Study
and Hybrid Approach
所感 • RAG ◦ LLMのコンテキストウィンドウを超えるデータからの検索が得意 ◦ ただし、チャンクごとにデータを分割する都合上、複雑な文脈や推論の際に効 果的に活用しきれない • LLM
◦ 大規模なデータセットにおいても文書検索は可能 ◦ 特にRAGと違って文書全体を把握するため文脈を理解した回答ができる ◦ ただし、計算コストがかかる点や処理速度などに懸念が残る ここまでの内容から
一歩進んで
一歩進んで SELF-ROUTE • RAGとLLMのメリットを組み合わせたハイブリッドのアプローチ ◦ RAGのコスト効率性とLLMの文書検索性能の両立 • クエリ結果に応じて動的に処理方法を選択する ◦ RAG-and-Route:RAG検索で回答可能な場合
◦ long-context prediction:RAG検索では足りず長文を理解した検索が必要な 場合
一歩進んで SELF-ROUTE ①RAG-and-Route ② long-context prediction
まとめ • RAGとLLMでの文書検索を比較してみると、同じような精度で回答を返す • ロングコンテキストLLMの方がより高精度の回答を返すケースもあるが、実行速度 やコスト効率で懸念がある • RAGとロングコンテキストLLMを組み合わせた「Self-Route」という手法ではコスト 効率と回答可能性を共存できる Self-Route
参考文献 RAGとLLMの性能比較を行った論文 タイトル:Retrieval Augmented Generation or Long-Context LLMs? A
Comprehensive Study and Hybrid Approach 著者:Google DeepMind, University of Michigan 文献URL:https://arxiv.org/pdf/2407.16833
ご清聴ありがとうございました
More Decks by 田村直樹
See All by 田村直樹
アイレットブログ隊が行く! エンジニアの成長と情報発信
naokitamura
0
53
今すぐ実践できる!? 社内のAI導入事例や取り組みをご紹介!
naokitamura
0
18
楽しみながら学ぶGoogle Cloud資格学習
naokitamura
0
19
知識の線を作る 私なりの認定資格取得
naokitamura
0
19
ノーコードで始める AIチャットボット開発
naokitamura
0
31
資格取得から考える マルチクラウド戦略
naokitamura
0
28
Cloud Runの最新アップデートや 機能の活用例をご紹介!
naokitamura
0
27
Slackで始めるらくらくRAG開発
naokitamura
0
27
Google Cloud Next’24 より イチオシのアップデートをご紹介!
naokitamura
0
20
Other Decks in Technology
See All in Technology
人の努力に頼らないセキュリティをエンジニアリングする在り方 / An approach to engineering security that does not rely on human effort
carta_engineering
0
240
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
500
リリースしたで終わらない。 観測できるフロントエンド開発
yamakenji24
2
220
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
240
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
700
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
270
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
認知負荷の減らし方 ~開発にも日常業務にも活かせるノウハウ~
minorun365
PRO
17
10k
SBOM 生成ツールで 2026 Minimum Elements はどこまで満たせるのか
gokken
0
160
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
270
[DBRE Summit 26] DBRE はデータベース運用をどう変えたのか
_awache
0
130
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.4k
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
2.2k
Rails Girls Zürich Keynote
gr2m
96
14k
The Illustrated Children's Guide to Kubernetes
chrisshort
51
53k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
360
A better future with KSS
kneath
240
18k
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
640
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
3.1k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
tmiket
1
320
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
marcoroth
6
960