Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
KDDI DIGITAL GATEのLLM事例紹介
Search
sh-tsukamoto
November 06, 2023
Technology
3
660
KDDI DIGITAL GATEのLLM事例紹介
sh-tsukamoto
November 06, 2023
Tweet
Share
Other Decks in Technology
See All in Technology
Real World Type Puzzle and Code Generation
yukukotani
4
640
AWSの生成AI入門書を執筆しました🎉
minorun365
PRO
0
150
パフォーマンス最適化のベストプラクティス
databricksjapan
0
210
LINEヤフーのウェブアクセシビリティ
lycorptech_jp
PRO
2
190
OPENLOGI Company Profile for engineer
hr01
1
2.2k
知識と実践を紡ぐGenAI / Connecting Knowledge and experience with GenAI
aki_moon
2
180
日本が誇るイタリアのダンスミュージック!? ユーロビートって何??
minorun365
PRO
2
230
ハードウェアを動かすTypeScriptの世界
9wick
3
1.2k
汎用ポリシー言語Rego + OPAと認可・検証事例の紹介 / Introduction Rego & OPA for authorization and validation
mizutani
1
160
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
120
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
670
OPENLOGI Company Profile
hr01
0
46k
Featured
See All Featured
How to Ace a Technical Interview
jacobian
273
22k
Automating Front-end Workflow
addyosmani
1357
200k
Fireside Chat
paigeccino
22
2.7k
YesSQL, Process and Tooling at Scale
rocio
165
13k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
A Philosophy of Restraint
colly
197
16k
GraphQLとの向き合い方2022年版
quramy
33
13k
For a Future-Friendly Web
brad_frost
172
9k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Building Adaptive Systems
keathley
32
1.9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
Transcript
KDDI DIGITAL GATEͷ LLMࣄྫհ 2023/11/02 KDDIגࣜձࣾ ௩ຊ Ұ࿕
ࣗݾհ ௩ຊ Ұ࿕ KDDIגࣜձࣾ KDDI DIGITAL GATEॴଐ ιϑτΣΞΤϯδχΞ • ීஈWEB/ϞόΠϧΞϓϦ։ൃ͕த৺
• ࠷ۙLLMΛ׆༻ͨ͠։ൃଟ͍ͬͯ͘·͢ • ̍ϲ݄લɺAmazon Bedrockͷਖ਼ࣜϦϦʔεͱ΄΅ ಉ࣌͡ظʹ່͕ੜ͠·ͨ͠
KDDI DIGITAL GATEʹ͍ͭͯ σβΠϯࢥߟδϣϒཧΛ༻͍ͨαʔϏεσβΠϯ ΞδϟΠϧ։ൃʹΑΔϓϩμΫτ։ൃɾݕূ Λ௨ͯ͠๏ਓސ٬ͷDXࣄۀ্ཱͪ͛Λαϙʔτ͢Δ৫ ࠷ۙҎԼͷΑ͏ͳ׆ಈʹྗ • ੜAIΛ׆༻ͨ͠ϓϩμΫτ։ൃ •
ࣾ֎ͰͷੜAIษڧձ։࠵
DXਪਐΛ͞Ε͚ͨͲαʔϏεσβΠϯͬͯԿΛ͢Ε͍͍ͷʁͱ͍͏୲ऀ͕ αʔϏεσβΠϯख๏ΛήʔϜײ֮ͰֶΔ Amazon Bedrock࣮ΞϓϦ ʮϏδωεΛͭ͘Ζ͏ʂʯ ུͯ͠ʮϏδͭ͘ʂʯ ※Amazon Bedrock: AWS͕ఏڙ͢ΔੜܥAIαʔϏε
ઌAWSͷهऀձݟͰগ͚ͩ͠հ͞Ε·ͨ͠
Amazon Bedrock࣮ΞϓϦʮϏδͭ͘ʂʯ ࠷ॳʹاըςʔϚΛೖྗ͢Δ͚ͩͰ
Amazon Bedrock࣮ΞϓϦʮϏδͭ͘ʂʯ པ͍͠ϝϯόʔ(LLM)͕δϣϒཧʹ͓͚ΔδϣϒϏδωεΞΠσΞΛෳఏࣔͯ͘͠ΕΔ
Amazon Bedrock࣮ΞϓϦʮϏδͭ͘ʂʯ ఏࣔ͞ΕͨδϣϒϏδωεΞΠσΞΛબͯ͠ਐΊ͍ͯ͘ͱ
Amazon Bedrock࣮ΞϓϦʮϏδͭ͘ʂʯ ࠷ऴతʹΩϟονίϐʔ·Ͱੜͯ͘͠ΕͯɺاըҊͱͯ͠ར༻Մೳ
γεςϜΞʔΩςΫνϟ ϑϩϯτ όοΫΤϯυ AWSͰ݁ʂ Ϟσϧ Anthoropicࣾͷ Claude 2Λར༻
ϓϩϯϓταϯϓϧ """Human: ҎԼͷςʔϚʹ͍ͭͯɺδϣϒཧʹج͍ͮͯδϣϒͷྫΛ4ͭ࡞͠·͢ɻ࡞͢Δδϣϒҙ֎ੑͷ͋ΔྫΛؚΊɺ੍݅ʹ ैͬͯग़ྗ͠·͢ɻ ### ςʔϚ {theme} ### ϑΥʔϚοτ {format_instructions}
### ੍݅ ϑΥʔϚοτʹै͍ɺϑΥʔϚοτ෦ͷΈग़ྗɻ Assistant:"""
Bedrock(Claude 2)ͷྑ͍ͱ͜Ζ • ίετɺճ࣭ͱʹGPT3.5ͱGPT4ͷؒ͘Β͍ ➢ 3.5ͩͱճ࣭͕ෆ͚҆ͩͲɺ4ͩͱίετ͕ߴ͗͢Δͱ͍͏ʹधཁ͕͋Γͦ ͏ • ࠷େτʔΫϯ͕10ສτʔΫϯ ➢
ChatGPT࠷େ3.2ສτʔΫϯ • ଟ͘ͷΤϯδχΞ͕͍׳ΕͨAWSڥͰ݁ͯ͠ϓϩμΫτ։ൃ͕Ͱ͖Δ • LLMܥͷ։ൃͰศརͳLangChainͱΈ߹Θͤͯར༻Մೳ
Bedrock(Claude 2)Λͬͯۤ࿑ͨ͠ • ChatGPTʹ͓͚ΔFunction Callingػೳ͕ݱ࣌Ͱͳ͍ ➢ ΞϓϦʹΈࠐΉࡍLangchainͷύʔαʔͰJSONܗࣜͰฦ٫͞ΕΔΑ͏ʹͨ͠ ➢ Function Callingʹ૬͢Δػೳ͕͋Ε։ൃ͕ͬͱָʹͳΓͦ͏
• Bedrock APIͷԠ͕ฦͬͯ͘Δ·Ͱʹ͕͔͔࣌ؒΔ͜ͱ͕͋Δ ➢ APIͷԠʹ10ඵఔ͔͔Δ ➢ ݁Ռදࣔ͢Δલͷը໘ͰࣄલʹAPIΛόοΫάϥϯυ࣮ߦ͠ɺϢʔβମײͰ API࣮ߦͷ͕ͪ࣌ؒݮΔΑ͏ʹ ➢ Claude 2౦ژϦʔδϣϯͰ͑ΔΑ͏ʹͳΕԠ͕࣌ؒ͘ͳΔ͔ʁ ※ݱ࣌(11/2)Ͱ౦ژϦʔδϣϯະରԠ
Bedrock(Claude 2)Λͬͯۤ࿑ͨ͠ • ChatGPTʹ͓͚ΔFunction Callingػೳ͕ݱ࣌Ͱͳ͍ ➢ ΞϓϦʹΈࠐΉࡍLangchainͷύʔαʔͰJSONܗࣜͰฦ٫͞ΕΔΑ͏ʹͨ͠ ➢ Function Callingʹ૬͢Δػೳ͕͋Ε։ൃ͕ͬͱָʹͳΓͦ͏
• Bedrock APIͷԠ͕ฦͬͯ͘Δ·Ͱʹ͕͔͔࣌ؒΔ͜ͱ͕͋Δ ➢ APIͷԠʹ10ඵఔ͔͔Δ ➢ ݁Ռදࣔ͢Δલͷը໘ͰࣄલʹAPIΛόοΫάϥϯυ࣮ߦ͠ɺϢʔβମײͰ API࣮ߦͷ͕ͪ࣌ؒݮΔΑ͏ʹ ➢ Claude 2౦ژϦʔδϣϯͰ͑ΔΑ͏ʹͳΕԠ͕࣌ؒ͘ͳΔ͔ʁ ※ݱ࣌(11/2)Ͱ౦ژϦʔδϣϯະରԠ ͜ͷลΓ͜Ε͔ΒͲΜͲΜྑ͘ͳ͍ͬͯͣ͘ɻظ͍ͯ͠·͢ʂ
ͦͷଞ։ൃͨ͠ϓϩμΫτΛܰ͘հ
اۀͷ࠷৽ͷۀαϚϦʔΛڭ͑ͯ͘ΕΔʮEyeRʯ ࣾͷӦۀ୲͕ར༻͢Δ͜ͱΛఆ ηΩϡϦςΟʢใ࿙͍͑ʣରࡦ ↳ձ໊ࣾͷೖྗ͚ͩͰ༨ܭͳใΛೖྗͤ͞ͳ͍ GPTͷΧοτΦϑσʔλͷରࡦ ʢGPT3.520219݄·Ͱͷσʔλ͕جͱͳ͍ͬͯΔʣ ↳Bingʹͯ࠷৽HPใΛऔಘ͠αϚϦʔ͢Δ ใͷ͔֬Β͠͞ͷূ໌ ↳αϚϦʔͷجͱͳΔϖʔδͷURLΛදࣔ͢Δ
EyeRγεςϜߏਤ
؆୯ͳ࣭ʹ͑Δ͚ͩͰ໊͋ͩΛ͚ͭͯ͘ΕΔʮNick genieʯ ChatGPTྲྀߦΓͨͯͷࠒʹ3͘Β͍Ͱ࡞ͬͨษڧ༻ϓϩμΫτ