KDDI DIGITAL GATEのLLM事例紹介

Transcript

1. KDDI DIGITAL GATEͷ LLMࣄྫ঺հ 2023/11/02 KDDIגࣜձࣾ ௩ຊ ঵Ұ࿕
2. ࣗݾ঺հ ௩ຊ ঵Ұ࿕ KDDIגࣜձࣾ KDDI DIGITAL GATEॴଐ ιϑτ΢ΣΞΤϯδχΞ • ීஈ͸WEB/ϞόΠϧΞϓϦ։ൃ͕த৺ • ࠷ۙ͸LLMΛ׆༻ͨ͠։ൃ΋ଟ͘΍͍ͬͯ·͢ • ̍ϲ݄લɺAmazon Bedrockͷਖ਼ࣜϦϦʔεͱ΄΅ ಉ࣌͡ظʹ່͕஀ੜ͠·ͨ͠
3. KDDI DIGITAL GATEʹ͍ͭͯ σβΠϯࢥߟ΍δϣϒཧ࿦Λ༻͍ͨαʔϏεσβΠϯ ΞδϟΠϧ։ൃʹΑΔϓϩμΫτ։ൃɾݕূ Λ௨ͯ͠๏ਓސ٬ͷDXࣄۀ্ཱͪ͛Λαϙʔτ͢Δ૊৫ ࠷ۙ͸ҎԼͷΑ͏ͳ׆ಈʹ΋஫ྗ • ੜ੒AIΛ׆༻ͨ͠ϓϩμΫτ։ൃ • ࣾ಺֎Ͱͷੜ੒AIษڧձ։࠵
4. DXਪਐΛ೚͞Ε͚ͨͲαʔϏεσβΠϯͬͯԿΛ͢Ε͹͍͍ͷʁͱ͍͏୲౰ऀ͕ αʔϏεσβΠϯख๏ΛήʔϜײ֮Ͱֶ΂Δ Amazon Bedrock࣮૷ΞϓϦ ʮϏδωεΛͭ͘Ζ͏ʂʯ ུͯ͠ʮϏδͭ͘ʂʯ ※Amazon Bedrock: AWS͕ఏڙ͢Δੜ੒ܥAIαʔϏε
5. ઌ೔AWSͷهऀձݟͰ΋গ͚ͩ͠঺հ͞Ε·ͨ͠
6. Amazon Bedrock࣮૷ΞϓϦʮϏδͭ͘ʂʯ ࠷ॳʹاըςʔϚΛೖྗ͢Δ͚ͩͰ
7. Amazon Bedrock࣮૷ΞϓϦʮϏδͭ͘ʂʯ པ΋͍͠ϝϯόʔ(LLM)͕δϣϒཧ࿦ʹ͓͚Δδϣϒ΍ϏδωεΞΠσΞΛෳ਺ఏࣔͯ͘͠ΕΔ
8. Amazon Bedrock࣮૷ΞϓϦʮϏδͭ͘ʂʯ ఏࣔ͞Εͨδϣϒ΍ϏδωεΞΠσΞΛબ୒ͯ͠ਐΊ͍ͯ͘ͱ
9. Amazon Bedrock࣮૷ΞϓϦʮϏδͭ͘ʂʯ ࠷ऴతʹΩϟονίϐʔ·Ͱੜ੒ͯ͘͠ΕͯɺاըҊͱͯ͠ར༻Մೳ
10. γεςϜΞʔΩςΫνϟ ϑϩϯτ΋ όοΫΤϯυ΋ AWS಺Ͱ׬݁ʂ Ϟσϧ͸ Anthoropicࣾͷ Claude 2Λར༻
11. ϓϩϯϓταϯϓϧ """Human: ҎԼͷςʔϚʹ͍ͭͯɺδϣϒཧ࿦ʹج͍ͮͯδϣϒͷྫΛ4ͭ࡞੒͠·͢ɻ࡞੒͢Δδϣϒ͸ҙ֎ੑͷ͋ΔྫΛؚΊɺ੍໿৚݅ʹ ैͬͯग़ྗ͠·͢ɻ ### ςʔϚ {theme} ### ϑΥʔϚοτ {format_instructions} ### ੍໿৚݅ ϑΥʔϚοτʹै͍ɺϑΥʔϚοτ෦෼ͷΈग़ྗɻ Assistant:"""
12. Bedrock(Claude 2)ͷྑ͍ͱ͜Ζ • ίετɺճ౴඼࣭ͱ΋ʹGPT3.5ͱGPT4ͷؒ͘Β͍ ➢ 3.5ͩͱճ౴඼࣭͕ෆ͚҆ͩͲɺ4ͩͱίετ͕ߴ͗͢Δͱ͍͏૚ʹधཁ͕͋Γͦ ͏ • ࠷େτʔΫϯ਺͕10ສτʔΫϯ ➢ ChatGPT͸࠷େ3.2ສτʔΫϯ • ଟ͘ͷΤϯδχΞ͕࢖͍׳ΕͨAWS؀ڥͰ׬݁ͯ͠ϓϩμΫτ։ൃ͕Ͱ͖Δ • LLMܥͷ։ൃͰศརͳLangChainͱ૊Έ߹Θͤͯར༻Մೳ
13. Bedrock(Claude 2)Λ࢖ͬͯۤ࿑ͨ͠఺ • ChatGPTʹ͓͚ΔFunction Callingػೳ͕ݱ࣌఺Ͱ͸ͳ͍ ➢ ΞϓϦʹ૊ΈࠐΉࡍ͸LangchainͷύʔαʔͰJSONܗࣜͰฦ٫͞ΕΔΑ͏ʹͨ͠ ➢ Function Callingʹ૬౰͢Δػೳ͕͋Ε͹։ൃ͕΋ͬͱָʹͳΓͦ͏ • Bedrock APIͷԠ౴͕ฦͬͯ͘Δ·Ͱʹ͕͔͔࣌ؒΔ͜ͱ͕͋Δ ➢ APIͷԠ౴ʹ਺10ඵఔ౓͔͔Δ ➢ ݁Ռදࣔ͢Δલͷը໘ͰࣄલʹAPIΛόοΫάϥ΢ϯυ࣮ߦ͠ɺϢʔβମײͰ API࣮ߦͷ଴͕ͪ࣌ؒݮΔΑ͏ʹ޻෉ ➢ Claude 2͸౦ژϦʔδϣϯͰ࢖͑ΔΑ͏ʹͳΕ͹Ԡ౴͕࣌ؒ୹͘ͳΔ͔΋ʁ ※ݱ࣌఺(11/2)Ͱ͸౦ژϦʔδϣϯະରԠ
14. Bedrock(Claude 2)Λ࢖ͬͯۤ࿑ͨ͠఺ • ChatGPTʹ͓͚ΔFunction Callingػೳ͕ݱ࣌఺Ͱ͸ͳ͍ ➢ ΞϓϦʹ૊ΈࠐΉࡍ͸LangchainͷύʔαʔͰJSONܗࣜͰฦ٫͞ΕΔΑ͏ʹͨ͠ ➢ Function Callingʹ૬౰͢Δػೳ͕͋Ε͹։ൃ͕΋ͬͱָʹͳΓͦ͏ • Bedrock APIͷԠ౴͕ฦͬͯ͘Δ·Ͱʹ͕͔͔࣌ؒΔ͜ͱ͕͋Δ ➢ APIͷԠ౴ʹ਺10ඵఔ౓͔͔Δ ➢ ݁Ռදࣔ͢Δલͷը໘ͰࣄલʹAPIΛόοΫάϥ΢ϯυ࣮ߦ͠ɺϢʔβମײͰ API࣮ߦͷ଴͕ͪ࣌ؒݮΔΑ͏ʹ޻෉ ➢ Claude 2͸౦ژϦʔδϣϯͰ࢖͑ΔΑ͏ʹͳΕ͹Ԡ౴͕࣌ؒ୹͘ͳΔ͔΋ʁ ※ݱ࣌఺(11/2)Ͱ͸౦ژϦʔδϣϯະରԠ ͜ͷลΓ͸͜Ε͔ΒͲΜͲΜྑ͘ͳ͍ͬͯ͘͸ͣɻظ଴͍ͯ͠·͢ʂ
15. ͦͷଞ։ൃͨ͠ϓϩμΫτΛܰ͘঺հ
16. اۀͷ࠷৽ͷۀ੷αϚϦʔΛڭ͑ͯ͘ΕΔʮEyeRʯ ࣾ಺ͷӦۀ୲౰͕ར༻͢Δ͜ͱΛ૝ఆ ηΩϡϦςΟʢ৘ใ࿙͍͑ʣରࡦ ↳ձ໊ࣾͷೖྗ͚ͩͰ༨ܭͳ৘ใΛೖྗͤ͞ͳ͍ GPTͷΧοτΦϑσʔλ΁ͷରࡦ ʢGPT3.5͸2021೥9݄·Ͱͷσʔλ͕جͱͳ͍ͬͯΔʣ ↳Bingʹͯ࠷৽HP৘ใΛऔಘ͠αϚϦʔ͢Δ ৘ใͷ͔֬Β͠͞ͷূ໌ ↳αϚϦʔͷجͱͳΔϖʔδͷURLΛදࣔ͢Δ
17. EyeRγεςϜߏ੒ਤ
18. ؆୯ͳ࣭໰ʹ౴͑Δ͚ͩͰ໊͋ͩΛ͚ͭͯ͘ΕΔʮNick genieʯ ChatGPTྲྀߦΓͨͯͷࠒʹ3೔͘Β͍Ͱ࡞ͬͨษڧ༻ϓϩμΫτ