Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AzureのPrompt Flowを使ったRAG精度評価とつらみ
Search
id32h6kz
July 11, 2024
Technology
3
5.3k
AzureのPrompt Flowを使ったRAG精度評価とつらみ
現場で実践!RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策
https://findy.connpass.com/event/323129/
id32h6kz
July 11, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
allow_retry と Arel.sql / allow_retry and Arel.sql
euglena1215
1
160
なぜテストマネージャの視点が 必要なのか? 〜 一歩先へ進むために 〜
moritamasami
0
210
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
230
データアナリストからアナリティクスエンジニアになった話
hiyokko_data
2
440
Rustから学ぶ 非同期処理の仕組み
skanehira
1
130
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
210
サンドボックス技術でAI利活用を促進する
koh_naga
0
200
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
150
人工衛星のファームウェアをRustで書く理由
koba789
14
7.5k
【実演版】カンファレンス登壇者・スタッフにこそ知ってほしいマイクの使い方 / 大吉祥寺.pm 2025
arthur1
1
800
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
200
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
pei0804
1
170
Featured
See All Featured
Speed Design
sergeychernyshev
32
1.1k
Practical Orchestrator
shlominoach
190
11k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Making Projects Easy
brettharned
117
6.4k
Music & Morning Musume
bryan
46
6.8k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
Transcript
AzureͷPrompt FlowΛͬͨ RAGਫ਼ධՁͱͭΒΈ KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ 2024.07.11 Findy Lunch LT
ࣗݾհ • ͍ͰΈͭ • KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ • ۀɿੜAIΛར༻ͨ͠ΞϓϦέʔγϣϯ։ൃ •
͖ͳAzureαʔϏεɿDocument Intelligence
͓͠ͳ͕͖ • ͡Ίʹ • ΞʔΩςΫνϟհ • ࠓ͍͑ͨ͜ͱ • Prompt FlowͱRAGASͷհ
• ·ͱΊ
͡Ίʹ • ༷ʑͳυΩϡϝϯτΛRAGͱͯ͠ੜAIʹճͤ͞ΔαʔϏε • ·ͩ։ൃதͷͨΊɺϦϦʔε͍ͯ͠·ͤΜ • ਫ਼্ͦͷͷ·ͩ·ͩࡧத
ࠓճLTͷϕʔεͱͳΔγεςϜͷ ؆୯ͳΞʔΩςΫνϟհ ར༻ऀ υΩϡϝϯτ Azure App Service Document Intelligence AI
Search gpt-4o ᶃ ᶄ ᶅ ᶆ
ຊ͍͑ͨ͜ͱ
RAGͷਫ਼্ͬͯେมʂ
Ҋ͕݅ελʔτͨ͠λΠϛϯάͰPOͷํʹ ͜͏ݴΘΕ·ͨ͠
ࠓ·ͩճਫ਼͕͍
ճਫ਼80%Λࢦ͔͢Β
ࣗ༝ʹೖྗ͢Δ͜ͱͷͰ͖Δɺνϟοτ ϘοτͰճਫ਼80%ͬͯͲ͏͍͏͜ͱʁ
ͦͦճਫ਼͕ߴ͍/͍ͱײ͡Δͷ ײ֮ͳͷͰɺ࣮ࡍͲΕ͘Β͍ͳͷ͔ΛՄࢹ Խ͍ͨ͠
ͦ͜Ͱ·ͣਫ਼ධՁʹ͍ͭͯͲ͏͢Δ͖ ͔ݕ౼͠·ͨ͠
ਫ਼ධՁͷඞཁੑ • ճਫ਼ͷՄࢹԽ • ࠓޙͷվળͷࢦ • վળͷޮՌݕূ
ਫ਼ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠Λਓ͕ؒஅ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠ΛLLM͕அ͢Δ
ਫ਼ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠Λਓ͕ؒஅ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠ΛLLM͕அ͢Δ
ਫ਼ධՁʹ͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
ਫ਼ධՁʹ͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
Prompt Flowͷ֓ཁ • LLMΛ׆༻ͨ͠ΞϓϦέʔγϣϯͷ։ൃޮԽΛਤΔͨΊͷαʔ Ϗε • ࣭͔Βճ·ͰͷҰ࿈ͷFlowΛઃఆ࣮͠ߦ͢Δ͜ͱ͕Ͱ͖Δ • ֤FlowLLMΛͬͨςΩετੜϓϩϯϓτ࡞ɺPython ͷ࣮ߦ͕Մೳͱͳ͓ͬͯΓɺ͜ΕΒΛΈ߹Θͤͯશମͷϑϩʔ
Λ࡞͢Δ
Prompt FlowΛબΜͩཧ༝ • AzureΛར༻͍ͯͨͨ͠Ίɺಋೖϋʔυϧ͕͍ • RAGͷධՁ͚ͩͰͳ͘։ൃͷࣄલݕূʹར༻͢Δ͜ͱ͕Ͱ͖ Δ(promptΛमਖ਼͓ͯ͠ࢼ͠)
RAGASͱ • PythonͰ࡞ΒΕͨRAGධՁ༻ϑϨʔϜϫʔΫɺPrompt FlowʹΈࠐΉ͜ͱ͕Մೳ • 9ͭͷϝτϦΫεͰճΛධՁ͢Δ͜ͱ͕Մೳ • https://docs.ragas.io/en/stable/concepts/metrics/index.html
࣮ࡍʹPrompt FlowͱRAGASΛͬͯධ ՁΛͲͷΑ͏ʹߦ͏͔
Prompt FlowͱRAGASͷհ ඪ४ϑϩʔ(ΞϓϦέʔγϣϯΛ࠶ݱͨ͠ϑϩʔ)
Prompt FlowͱRAGASͷհ ධՁϑϩʔ(RAGASݺͿϑϩʔ)
Prompt FlowͱRAGASͷհ RAGASͷධՁ݁Ռ
Prompt FlowͱRAGASͷհ RAGASͷධՁ݁Ռ ճͷਖ਼֬͞ ίϯςΩετʹର͢Δճͷ࣮ ਖ਼ͱίϯςΩετͷؔ࿈ ࣭ٴͼਖ਼ʹର͢ΔίϯςΩετͷਫ਼
Prompt FlowͱRAGASΛ ͬͯྑ͔ͬͨ͜ͱ • ϒϥβ͔Β৮ΕΔͨΊɺΤϯδχΞ͚ͩͰͳ͘PO৮ΕΔ • ճਫ਼্ͷͨΊͷࢪࡦ͕ຊʹޮՌ͕͋ͬͨͷ͔Λ֬ೝ͢ Δ͜ͱ͕Ͱ͖Δ
Prompt Flow࠷ߴʂ
PO৮ͬͯ͘Εͯɺධ͍͍ʂ
Ͱʂ
Prompt Flowͷ͕ͭ͜͜Β͍ʂ • Prompt Flowͷιʔεߋ৽͕େม • ࣮ࡍͷΞϓϦέʔγϣϯͱPrompt Flowͷίʔυผ • ैྔ՝ۚͳͷͰɺىಈ͍͕ͨ͠VMͷىಈʹඇৗʹ͕࣌ؒ
͔͔Δ(5Ҏ্)
ͦΜͳதɺଟ͘ͷ՝
Visual Studio Codeͷ֦ுػೳPrompt Flow CLI toolΛ͏ͱղফͰ͖Δ
None
ͦͷଞͷ՝ • RAGASͰධՁ͢ΔͨΊͷQAσʔλͷ࡞͕͍͠ • ݱঢ়QAͷࣗಈੜ͋·Γਫ਼͕ग़ͳ͔ͬͨͨΊਓͷखͰ࡞ ͍ͯ͠Δɻ • େྔʹ࡞Δʹ͕͔͔࣌ؒΔͨΊɺܧଓతʹՃ͢Δӡ༻͕ ྑͦ͞͏
কདྷతʹࢦ͍ͨ͜͠ͱ • Prompt FlowͱGithub Actionsͷ࿈ܞ • LangFuseΛར༻ͨ͠feedbackऔಘ • ධՁ༻ͷQAσʔλΛ࡞͢Δͷݮ
·ͱΊ • RAGͷਫ਼্ʹධՁ͕ෆՄܽ • खಈͰͷධՁݱ࣮తͰͳ͘ɺͱͯେม • RAGճਫ਼ΛධՁ͢Δ͜ͱͰɺରࡦΛߟ͑Δ͜ͱ͕Ͱ͖Δ • ఆظతʹධՁΛ͢Δ͜ͱͰɺߦͳ͍ͬͯΔࢪࡦͷޮՌΛଌఆ͢Δ͜ͱ͕Ͱ͖ Δ
• QAϦετͷ࡞ʹ͕͔͔࣌ؒΔͷͰɺલͬͯ࣌ؒΛઃ͚࡞͢Δͷ͕ྑ͍
͋Γ͕ͱ͏͍͟͝·ͨ͠