Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSでRAGを実現する上で感じた3つの大事なこと
Search
y-mae
February 06, 2025
Technology
3
1.6k
AWSでRAGを実現する上で感じた3つの大事なこと
ARI TechSummit ~AI・生成AI~(2025/02/06実施)LT登壇資料
y-mae
February 06, 2025
Tweet
Share
More Decks by y-mae
See All by y-mae
3/26 クラウド食堂LT #2 GenU案件を通して学んだ教訓 登壇資料
ymae
1
310
「genai-quickstart-pocs」を使ってお手軽に生成AIのPoCを始めよう!
ymae
3
240
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
4
1.1k
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile
hr01
0
67k
Getting to Know Your Legacy (System) with AI-Driven Software Archeology (WeAreDevelopers World Congress 2025)
feststelltaste
1
130
Yahoo!しごとカタログ 新しい境地を創るエンジニア募集!
lycorptech_jp
PRO
0
110
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
390
ビズリーチにおけるリアーキテクティング実践事例 / JJUG CCC 2025 Spring
visional_engineering_and_design
1
130
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
2
16k
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
440
Geminiとv0による高速プロトタイピング
shinya337
1
270
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
340
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
280
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
320
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
280
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
184
22k
Unsuck your backbone
ammeep
671
58k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Facilitating Awesome Meetings
lara
54
6.4k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
A Tale of Four Properties
chriscoyier
160
23k
Site-Speed That Sticks
csswizardry
10
690
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
300
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
A Modern Web Designer's Workflow
chriscoyier
695
190k
Transcript
前野 佑宜 アイレット株式会社 DX開発事業部 モダンエンジニアリングセクション ビジネスデザインG AWSでRAGを実現する上で 感じた3つの大事なこと ARI TechSummit
~AI・生成AI~
はじめに〜 LTの要点〜 本LTでお伝えしないこと • RAGの基本的な概念の解説 • 具体的な実装→Qiitaブログで解説しております • AWSでRAGを実現する上で学んだ教訓 ◦
RAGを実現する上で直面した課題、解決策 本LTでお伝えすること
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
前野 佑宜 2023年新卒入社/入社2年目 2024 Japan AWS Jr. Champions選出 アイレット株式会社 ま え の
ゆ う き 経歴 DX開発事業部/モダンエンジニアリングS/ビジネスデザインG 担当業務 Python/Laravelを使ったバックエンド開発を主に担当 現在はAWSの生成AIサービス/RAGを組み合わせたPoC(概 念実証)に従事 関心のある領域 AWS× AI/MLの領域(Amazon Bedrock/ Amazon SageMakerなど)
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
02.AWSでRAGを実現する手段を整理 AWSにおけるRAG構成パターン(代表例) Kendra+Bedrock Knowledge Base
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
03.実際に直面した課題 /解決策 「RAG」実現にあたって直面した課題 ①Kendraで同期できないデータがある ②検索性の問題 ③精度をどうやって評価する?
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある 同期に失敗 したファイル Document cannot be indexed since
it contains no text to index and search on. Document must contain some text 文字情報が 存在しないと index化不可
03.実際に直面した課題 /解決策 ①Kendraで同期できないデータがある →Amazon Bedrock(Claude Haiku 3)によるテキスト化であ る程度解決 ※書き起こし精度は 元々のドキュメントに
依存 「可能な限りテキスト化して」
03.実際に直面した課題 /解決策 ②検索性の問題 データソースのファイル数増 →「ユーザーが本当に必要としている情報」⇔「実際表示される検索結果」 検証期間は残り 2週間。 なんとか結果を出さねば・・
03.実際に直面した課題 /解決策 ②検索性の問題 →メタデータによるフィルタリングで解決! RAG の精度を向上させる Advanced RAG on AWS
の道標 (AWS Blog)より引用 短い期間でも 改善可能と判断
03.実際に直面した課題 /解決策 ②検索性の問題 メタデータによるフィルタリングのイメージ
03.実際に直面した課題 /解決策 ③精度をどう評価する? RAGのパフォーマンスをどのように評価するか?が課題だった ・検証フェーズは約 1ヶ月。 ・RAG評価ツールに関する知見もあまりない (RAGAS やRAGChecker はちょっと聞いたことある、程度)
03.実際に直面した課題 /解決策 ③精度をどう評価する? →評価項目を定義し、 RAGの結果を定量化 「どんな質問をすることを想定?」 「どんな回答が返ってきたら満足度高い?」 「RAGにおいて何を重視している?」 お客様 「質問内容に近いドキュメントが返却される」
ことが大事
03.実際に直面した課題 /解決策 ③精度をどう評価する? →事前のすり合わせに基づいて、評価スコアを定義・評価 →可視化 最終評価するのはお客様。 →事前にすり合わせを行うことで 最終評価の参考にできる
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
04.RAGを実現する上で学んだ教訓 AWSのRAGにおいて大事だと思ったこと ①データソースの質を担保する重要性 ②前段の”検索”の仕組みの改善 ③精度評価 →「お客様と対話し、現場のニーズを把握」
01 アジェンダ 自己紹介 02 AWSでRAGを実現する手段を整理 03 実際に直面した課題 /解決策 04 RAGを実現する上で学んだ教訓
05 まとめ
RAG=「銀の弾丸」ではない! 地道な改善 /ニーズの把握 こそが成果につながる!
ご清聴ありがとうございました
参照文献 • 関連ブログ ◦ AWSでRAGを実装する上で感じた3つの大事なこと (Qiitaブログ) ◦ RAG の精度を向上させる Advanced
RAG on AWS の道標 (AWS)