Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon BedrockとOpenSearch Serviceでなんでも答えられる社内RA...
Search
とすり
July 31, 2024
Technology
0
280
Amazon BedrockとOpenSearch Serviceでなんでも答えられる社内RAGを作成する!!
とすり
July 31, 2024
Tweet
Share
More Decks by とすり
See All by とすり
Amazon BedrockでサーバレスなAIお料理ボットを作成する!!
tosuri13
0
130
React + TextAliveでカッコいいLyric Applicatioinを作ろう!!
tosuri13
0
380
Radix UI & shadcn/uiのススメ
tosuri13
0
87
Other Decks in Technology
See All in Technology
Creative UIs with Compose: DroidKaigi 2024
chrishorner
1
150
プロダクトエンジニアを支えるための開発生産性向上施策
tsukakei
0
130
React Aria で実現する次世代のアクセシビリティ
ryo_manba
4
1k
技術ブログや登壇資料を秒で作るコツ伝授します
minorun365
PRO
23
5.4k
JEP 480: Structured Concurrency
aya_ebata
0
120
LLMに日本語テキストを学習させる意義
ksaito
13
3.7k
Oracle Database Backup Service:サービス概要のご紹介
oracle4engineer
PRO
0
4.1k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
3.2k
効果的なオンコール対応と障害対応
ryuichi1208
4
2.4k
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
1
380
標準ライブラリの奥深アップデートを掘り下げよう!
logica0419
2
440
【Λ(らむだ)最近のアプデ情報 / RPALT20240904
lambda
0
180
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
334
56k
The Invisible Customer
myddelton
119
13k
Automating Front-end Workflow
addyosmani
1365
200k
YesSQL, Process and Tooling at Scale
rocio
167
14k
The Brand Is Dead. Long Live the Brand.
mthomps
53
37k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
123
18k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
166
48k
Optimising Largest Contentful Paint
csswizardry
29
2.8k
The Invisible Side of Design
smashingmag
295
50k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
The Illustrated Children's Guide to Kubernetes
chrisshort
47
48k
The Cult of Friendly URLs
andyhume
76
5.9k
Transcript
Am a zon BedrockͱOpenSe a rch Service ͰͳΜͰ͑ΒΕΔࣾRAGΛ࡞͢Δ!! @tosuri13
@tosuri13 ࣗݾհ ͱ͢Γ @tosuri13 MOTEXגࣜձࣾ ॴଐ 🐧 Μ͗Μ͕͖Ͱ͢
@tosuri13 ࠔ͍ͬͯͨ͜ͱ Γ͍ͨ͜ͱ͕ॻ͔Ε͍ͯΔࢿྉΛύοͱݟ͚ͭΒΕͳ͍!! ɹˠ طଘͷRAGιϦϡʔγϣϯϑϧϚωʔδυͳAWSαʔϏεɺυΩϡϝϯ τॲཧͷॊೈੑίετ໘Ͱؾܰʹࢼͮ͠Β͍… ɹˠ ࣗͨͪͰࣾͷυΩϡϝϯτΛݕࡧͯ͠AIʹճͯ͠Β͏ಠࣗͷRAGΞ ϓϦέʔγϣϯΛ࡞Ζ͏!!
@tosuri13 RAGͱ? RAG(Retriev a l Augmented Gener a tion)ͱɺ֎෦͔Βऔಘͨ͠ճͷࢀߟͱͳ ΔใΛLLMʹࢀরͤͯ͞ճΛੜ͢Δख๏Ͱ͢ɻ
RAGΛ͏͜ͱʹΑͬͯɺLLM͕ຊདྷΓಘͳ͍ใΛิͯ͠ճΛੜͤ͞ Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳΓ·͢!! ֎෦DB LLM AIΛ༻͍ͯݕࡧ ྨࣅ͢ΔใΛ͢ औಘͨ͠ใΛ ࢀরͯ͠ճ
@tosuri13 ϕΫτϧݕࡧʹ͍ͭͯ ·ͨɺࢀߟใͱ͍ͯͨ͠͠υΩϡϝϯτΛݕࡧ͢ΔͨΊʹɺϕΫτϧݕࡧ ͱ͍͏ख๏͕RAGγεςϜͰ͘࠾༻͞Ε͍ͯ·͢ɻϕΫτϧݕࡧʹΑΓࣗવ ݴޠΛ༻͍ͨυΩϡϝϯτͷݕࡧ͕Ͱ͖ΔΑ͏ʹͳΓ·͢!! ϕΫτϧετΞ [0.8, 0.3, 0.1 …
] [0.4, 0.4, 0.3 … ] [0.5, 0.7, 0.8 … ] େྔͷυΩϡϝϯτ ࣭ [0.8, 0.3, 0.2 … ] ࣭ϕΫτϧԽͯ͠ ࣅ͍ͯΔϕΫτϧΛݕࡧ͢Δ!! υΩϡϝϯτΛϕΫτϧԽͯ͠ ྨࣅ͢ΔจষΛ୳͘͢͢͠Δ!!
ૣRAGΞϓϦέʔγϣϯΛAWSͰ࡞ͬͯΈͨ!! @tosuri13
@tosuri13 ༻͢ΔAWSαʔϏεΛϐοΫΞοϓ!! ɾAm a zon Bedrock ɹˠ ճϕΫτϧͷੜʹ༻͠·͢ɻ༻͢Δج൫ϞσϧҎԼͷ2ͭͰ͢ɻ ɹɹ- Cl
a ude 3.5 Sonnet (ճੜ༻) ɹɹ- Tit a n Text Embedding v2 (ϕΫτϧੜ༻) ɾAm a zon OpenSe a rch Service ɹˠ ϕΫτϧΛ֨ೲͯ͠ηϚϯςΟοΫݕࡧΛߦ͏ϕΫτϧετΞͱͯ͠༻͠·͢ɻ ɾAm a zon S3 ɹˠ ݩͷυΩϡϝϯτͱࣝผࢠࢀরݩURLͳͲͷϝλσʔλΛอ͠·͢ɻ
@tosuri13 RAGΞϓϦέʔγϣϯͷAWSߏਤ νϟοτΞϓϦ ཧऀ API G a tew a y
L a mbd a SNS Bedrock L a mbd a OpenSe a rch L a mbd a S3 Bedrock ճ ͷ ฦ ৴ ճͷੜ ϕΫτϧετΞ υΩϡϝϯτཧ ϕΫτϧม ॳճԠ (λΠϜΞτରࡦ) WebhookͰ࣭Λૹ৴
@tosuri13 ԿͰฉ͚ΔΑ͏ʹͳͬͨ!! ࣮ࡍͷճΛ͓ݟͤ͢Δ͜ͱͰ͖·ͤΜ͕ɺνϟοτΞϓϦΛ༻ͯ͠ҎԼͷ Α͏ͳΠϝʔδͰճͯ͠Β͏͜ͱ͕Ͱ͖ΔΑ͏ʹͳΓ·ͨ͠!! RAGΞϓϦέʔγϣϯ ࠔ͍ͬͯΔࣾһ ͜ͷAPIͬͯͲ͏͍͏Ϩεϙϯε ฦ͢Μ͚ͩͬ… ઃܭࢿྉʹΑΔͱ͜ͷΑ͏ͳεΩʔϚͷ Ϩεϙϯε͕ฦ͞ΕϚεɻ
ɹ{JSONεΩʔϚ} ɾAPIઃܭࢿྉͷURL ɾAPIઃܭ࣌ͷMTGࢿྉͳͲͷURL νϟοτͰ࣭
ࡉ͔͍࣮ͨ͠ϙΠϯτ!! @tosuri13
@tosuri13 ᶃ νϟϯΫͷׂํ๏ νϟοτΞϓϦ ཧऀ API G a L a
SNS Bedrock L a OpenSe a rch L a mbd a S3 Bedrock ճ ͷ ฦ ৴ ճͷੜ ϕΫτϧDB υΩϡϝϯτཧ ϕΫτϧม ॳճԠ (λΠϜΞτରࡦ) WebhookͰ࣭Λૹ৴
@tosuri13 ᶃ νϟϯΫͷׂํ๏ ϕΫτϧΛੜ͢ΔݩͱͳΔจࣈྻɺա͗ͯա͗ͯճͷਫ਼͕ѱԽ ͯ͠͠·͏Մೳੑ͕͋Γ·͢ɻ ɾจࣈྻ͕ա͗Δ → LLMʹஅยతͳใ͔͠༩͑ΒΕͳ͍ ɾจࣈྻ͕ա͗Δ →
ॏཁͳจ຺͕΅͚ͯ͠·͍ɺਖ਼͘͠ݕࡧ͞Εͳ͍Մೳੑ͕ߴ·Δ ɹˠ దʹυΩϡϝϯτΛνϟϯΫׂͯ͠ϕΫτϧԽ͢Δඞཁ͕͋Δ!!
@tosuri13 ᶃ νϟϯΫͷׂํ๏ ͲͷυΩϡϝϯτ౷ҰతʹM a rkdownʹมΛߦ͍ɺH1H2λά͝ͱʹׂ͢ Δ͜ͱͰɺదͳαΠζ͔ͭจ຺Λอ࣋ͨ͠ঢ়ଶͰνϟϯΫׂΛ͍ͯ͠·͢ɻ htmlɾcsvɾtxtͳͲ M a
rkdown # ேྱMTGϝϞ ## ਐḿ֬ೝ ɹ- A͞Μ: ͍͢͝ਐΜͰΔɺେৎͦ͏ ɹ- B͞Μ: શવਐΜͰͳ͍ɺࠔͬͨ… ## ࠓͷλεΫ ɹ- Xࣾͱͷଧͪ߹Θͤ ɹ- ์ஔ͞Ε͍ͯΔίϯϑϦΫτΛमਖ਼͢Δ S3͔ΒͷΠϕϯτ௨Λड͚औͬͯ M a rkdownʹม!! ҎԼͷΑ͏ͳΠϝʔδͰνϟϯΫׂ!!
@tosuri13 ᶄ Tool useʹΑΔCit a tions νϟοτΞϓϦ ཧऀ API G
a L a SNS Bedrock L a mbd a OpenSe a rch L a S3 Bedrock ճ ͷ ฦ ৴ ճͷੜ ϕΫτϧDB υΩϡϝϯτཧ ϕΫτϧม ॳճԠ (λΠϜΞτରࡦ) WebhookͰ࣭Λૹ৴
@tosuri13 ᶄ Tool useʹΑΔCit a tions ϕΫτϧݕࡧʹΑΓऔಘͨ͠υΩϡϝϯτʹɺඞͣؔ͠࿈͢ΔใͷΈؚ͕ ·Ε͍ͯΔͱݶΓ·ͤΜɻͦͷͨΊɺҾ༻ݩͱͳΔURLΛฦ͢߹࣭ͱؔ ͷͳ͍URLؚ͕·Εͯ͠·͏ͳͲ͕͋Γ·͢ɻ RAGΞϓϦέʔγϣϯ
༗څͷਃํ๏Λڭ͑ͯ!! ͍͔ͭ͘ݟ͚͖ͭͯ·γλɻ ɾ{ܦඅਃํ๏ͷURL} ɾ{༗څਃํ๏ͷURL} ɾ{ೖୀࣨਃํ๏ͷURL} ٳΈ͍ͨࣾһ ؔͷͳ͍URL ճʹؚΊͯ΄͘͠ͳ͍
@tosuri13 ᶄ Tool useʹΑΔCit a tions LLM͕ࢀߟʹͨ͠༰ͷΈΛฦ͢ϓϩϯϓτΤϯδχΞϦϯάͷख๏ΛCit a tions ͱ͍͍ɺAm
a zon BedrockͷConverse APIʹࡌ͞Ε͍ͯΔTool use (Function C a lling)Λ༻࣮ͯ͠͠·ͨ͠ɻ Ϩεϙϯεͷܗࣜઆ໌Λهࡌͨ͠ πʔϧͷεΩʔϚΛఆٛͯ͢͠ εΩʔϚ LLM ߏԽ͞Εͨঢ়ଶͰʮԿΛࢀߟʹͨ͠ͷ͔?ʯΛड͚औΕΔ!!
@tosuri13 ᶄ Tool useʹΑΔCit a tions ·ͨɺఏڙ͞ΕͨπʔϧΛ͏͔൱͔LLM͕அͯ͠ϨεϙϯεΛฦͨ͢Ίɺ ࢀߟʹͳΔใ͕શ͘ͳ͔ͬͨ߹ͳͲʹϋϧγωʔγϣϯΛ͑ΔΑ͏ͳ͜ͱ Ͱ͖·͢!! RAGΞϓϦέʔγϣϯ
৯͍͠Μͳࣾһ େࡕपลͷඒຯ͍͠ ͓Έম͖ͷ͓ళΛڭ͑ͯ!! ͋ͳͨͷΦϑΟεʹʮܦඅਃʯ ͱ͍͏໊લͷ͓Έম͖͞Μ͕ ซઃ͞Ε͍ͯΔΑ͏σεɻ ɾ{ܦඅਃํ๏ͷURL} ࢀߟใΛݩʹӕͷ༰Λ ճ͢ΔΑ͏ͳ͜ͱΛ͛Δ!!
·ͱΊ @tosuri13
@tosuri13 ·ͱΊͱײ Am a zon BedrockͱOpenSe a rchΛ͏͜ͱͰɺؾܰʹRAGΞϓϦέʔγϣϯΛ ߏங͢Δ͜ͱ͕Ͱ͖·ͨ͠!!·ͨɺಠࣗͰRAGΛ࣮͢Δ͜ͱʹΑΓɺAIγεςϜ ͷࣝؔ࿈͢ΔAWSαʔϏεͷཧղ͕ਂ·Γ·ͨ͠!!
ࢲͷLTΛฉ͍ͯRAGʹڵຯΛ࣋ͬͨํ͕͍Εɺͥͻࣗ͝Ͱ࣮ͯ͠ࢼͯ͠Έ ͯ΄͍͠ͱࢥ͍·͢!!
@tosuri13 ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠!!