Azure OpenAIをもちいたLLMアプリの企画から本番構築までの道のり/Microsoft Build Japan

2023.6.27 Microsoft Build Japan で話した資料です。

Transcript

1. "[VSF
   0QFO"*Λ΋͍ͪͨ --.ΞϓϦͷاը͔Β ຊ൪ߏங·ͰͷಓͷΓ  גࣜձࣾαΠμε औక໾$50 ٢ాਅޗ
2. MS Azure OpenAI Cognitive Search ckpt BraV5 吉田真吾 n p Oracle SA p 113 / pAWS n ( ) CTO p SaaS ( ) pAWS DevOps n pAWS (2012 ) pAWS Samurai 2014 / 2016 pAWS Serverless Hero
4. 3"( ݕࡧ֦ுੜ੒ ΞϓϦ ʮ$:%"4
   1&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"4
   1&01-&
   $PQJMPU
   $IBUʯ https://www.cydas.co.jp/news/press/202304_people-gpt/
5. )3
   &YQP
   य़ िؒલ
6. ⾃社のFAQをベクターデータ化 ChatGPTで回答に利⽤ ਓࣄ'"2ˍ໰͍߹ΘͤཤྺΛϕΫλʔσʔλԽ
7. σϞ
9. ຊ൪ϦϦʔεʹΉ͚ͯ σϞͷഒҎ্΍Δ͜ͱ͕͋Δ
10. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ --.ͰΫʔϧͳ΋ͷΛ࡞Δͷ͸؆୯͕ͩຊ൪Ϩϕϧͷ΋ͷΛ࡞Δͷ͸ඇৗʹ೉͍͠  ՝୊ͱղܾࡦ  ࣗવݴޠͷ͍͋·͍͞ ܾఆ࿦తͰͳ͍)ʹΑΔ69ෆ੔߹ ˠ UFNQFSBUVSFɺϓϩϯϓτ࠷ద Խɾόʔδϣχϯά؅ཧ  ίετͱϨΠςϯγʔ ˠ
    ਪ࿦ʹ࢖͏ϞσϧબఆɺτʔΫϯ਺ͷௐ੔ɺ ݱঢ়͸ ϨΠςϯ γʔղੳ  ϓϩϯϓςΟϯά 
    ϑΝΠϯνϡʔχϯά 
    ͦΕҎ֎ • ϓϩϯϓτνϡʔχϯάɿ&NCFEEJOHTΛೖΕସ͑Δ 044ͰͷΈՄೳ • ϑΝΠϯνϡʔχϯάɿλεΫʹ࠷దԽͤ͞ΔͨΊͷαϯϓϧ͕ੑೳʹӨڹˠ͕ɺ͋·Γظ଴Ͱ͖ͳ͍ • ৠཹϑΝΠϯνϡʔχϯάɿ5FYUEBWJODJ େ Ͱ--B." খ ͷνϡʔχϯάʹ࢖͏ˠ"MQBDB খ • &NCFEEJOHT
    
    ϕΫλʔετΞɿ'FXTIPUT  ޙํޓ׵ੑͱલํޓ׵ੑ • ৽͍͠Ϟσϧ͸શମతʹ༏ΕͯΔ͔΋͠Εͳ͍͕ɺྼ͍ͬͯΔϢʔεέʔε΋͋Δ͸ͣ • લͷϞσϧʹରͯ͠͏·͘ಈ͍͍ͯͨϓϩϯϓτ͕͏·͘ಈ͔ͳ͍৔߹ɺͲΜͳҙਤͰϓϩϯϓτ͕νϡʔ χϯά͞Ε͍ͯΔ͔ ढจ 
    όουϓϥΫςΟε Θ͔Βͳ͘ͳΔ IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
11. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ  ෳ਺ͷλεΫͰ੍ޚ͞ΕΔϑϩʔߏ੒ΛͲ͏͢Δ͔ɺπʔϧͷ૊ΈࠐΈ • ϓϩάϥϛϯάʹΑΔ੍ޚϑϩʔͷ࣮૷ • --.ΤʔδΣϯτʹΑΔஞ੍࣍ޚ  ༗๬ͳϢʔεέʔε • "*Ξγελϯτɿεέδϡʔϧ؅ཧɺϝϞ࡞੒ɺϖΞϓϩɺϝʔϧରԠɺ༧໿ɺങ͍෺ 
    λεΫΛ͜ͳ͢ • νϟοτCPUɿίϯύχΦϯ 
    จࣈ΍Ի੠Ͱ૬ஊ΍ΞΠσΞͳͲͷձ࿩ • ϓϩάϥϛϯά΍ήʔϜɿ8FCΞϓϦΛͭ͘ΔɺηΩϡϦςΟͷڴҖΛൃݟ͢ΔɺήʔϜΛ࡞੒͢Δ • ϥʔχϯάɿຊͷཁ໿ɺߨٛɺཧղ౓ςετɺ࠾఺΍ϑΟʔυόοΫɺσΟϕʔτ૬ख • ࣾ಺σʔλநग़ɿࣗવݴޠ΍2"ܗࣜͰࣾ಺ͷσʔλΛরձ͢Δ • ݕࡧɾਪનɿΩʔϫʔυͰ͸ͳࣗ͘વݴޠ͔Βਪఆ͢Δݕࡧ • Ӧۀޮ཰Ξοϓ • 4&0ରࡦ • ݁࿦  એ఻จ۟Λແࢹͯ͠ϲ݄ޙʹఆணͯ͠Δ͔֬ೝ͢Δ  αϚϦʔΛಡΉ  ࠷৽ͷπʔϧʹ৮ΕΔΑ͏ʹ৺͕͚Δ IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
12. ٕज़બఆ σʔλอޢ ίϯϓϥΠΞϯε ɺ࣮ߦ؀ڥɺϝϞϦɺݕࡧɺϕΫλʔετΞ
13. ίϯϓϥΠΞϯεʴ"0"*
    ˠ "[VSF • ίϯϓϥΠΞϯε • *40
     #$1 • *40
     *4.4
    
    
    
     • *40
     ඼࣭ • 40$
      
    5ZQF
     • ͦͷଞͷୈࡾऀೝূ • ίϯϙʔωϯτ • "[VSF
    0QFO"* • $PHOJUJWF
    4FBSDI
14. For NoSQL
15. 8FCϑϩϯτ 8FC
    "QQ
    "QQ
    4FSWJDF • $JSDMF$*ͱͷ*".ೝূ࿈ܞ • ࣮ߦ؀ڥͷอक؅ཧͷ༰қ͞ • 3FRVJSFNFOUUYU ʹ؀ڥࢦఆ ͢Δ͚ͩ 
    ศར • ϩόετੑ • 7/FUܦ༝Ͱ"0"*ͱ઀ଓՄೳ .PNFOUP ΞϓϦΩϟογϡ • ׬શͳαʔόʔϨε • 55-Ͱشൃ͢ΔΩϟογϡ • ߴ଎͔ͭ҆ఆ
16. Microsoft Build 2023 で発表された Cosmos DB 注⽬アップデート https://speakerdeck.com/miyake/microsoft-build-2023-cosmos-db-update?slide=9
17. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF For NoSQL
18. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF
19. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF \ TDPSF
     IJHIMJHIUT
    VOEFGJOFE EPDVNFOU
    \ DPOUFOU
    YYYYYYYYYYYYYYYYYYYYYYYYY NFUBEBUB@TUPSBHF@QBUI
    YYYYYYYYYY ^ ^ \ TDPSF
     IJHIMJHIUT
    VOEFGJOFE EPDVNFOU
    \ DPOUFOU
    bYYYYYYYYYYYYYYYYYYYYYYYYYY NFUBEBUB@TUPSBHF@QBUI
    YYYYYYYYYYYY ^ ^  \ @JE
    OFX
    0CKFDU*E FGCCBCGCF DPOUFOU
    bYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY WFDUPS$POUFOU
    < 
    
    
    
    
    
     தུʜ࣍ݩશ෦ 
    
    NPSF
    JUFNT > ^
20. ݕࡧ $PHOJUJWF
    4FBSDI • ϚωʔδυͳݕࡧαʔϏε • ΠϯσοΫε࡞੒΍ݕࡧΛ·͔ ͤΒΕΔ &NCFEEJOHෆཁ • ߴ଎ɾߴػೳ • ݕࡧείΞ • จॻΠϯσοΫε࣌ͷλΠτϧ ύεϑΝΠϧ໊ $PTNPT
    %#
    /P42- • ׬શͳαʔόʔϨε • ߴ଎͔ͭ҆ఆ
21. For NoSQL
22. ΞϓϦέʔγϣϯͷ޻෉ • ͭͷؔ࿈࣭໰ɿจࣈೖྗΛ࠷খݶʹ • ྨࣅݕࡧ݁ՌͷʙҐΛ࠶ར༻͢Δ͜ͱͰݕࡧ࠷খԽ • ͭͳ͍෼͸൚༻తͳ࣭໰Λੜ੒ • ճ౴Λʮ(15ʯͰɺؔ࿈࣭໰ͳͲͦͷଞΛHUQUVSCPͰ • νϟϯΫαΠζΛἧ͑Δɿ'"2σʔλͷࣄલ੔උɺཁ໿ • ࠓޙ $PHOJUJWF
    4FBSDI
    ର৅Λ '"2
    
    खಈυΩϡϝϯτʹ • 1%'ͷνϟϯΫ͸੍ޚ͕೉͍͠ 
    จࣈ ϖʔδ ͔ηϯςϯε˞ ϖʔδͱ΄΅ಉ͡ • ࠓޙ ηϨΫλͷ࣮૷ 
    είΞʹ߹ΘͤͯσϞϯετϨʔγϣ ϯσʔλͷݸ਺Λௐ੔͢Δ
23. ίϯςϯπɿ҆શੑɾಁ໌ੑɾਖ਼֬ੑ • .PEFSBUJPO
    ίϯςϯπϑΟϧλʔ • ຊՈ0QFO"*΋-BOH$IBJOͰνΣʔϯͰ͖Δ͕৑௕ • ߴ౓ͳϑΟϧλϦϯά͕Մೳ ཁਃ੥ • ఢରతϓϩϯϓτ཈ࢭ • ϓϩϯϓτΠϯδΣΫγϣϯΛݕ஌ɾແࢹ͢Δϓϩϯϓτ • όΠΞεͷ཈ࢭ • ;Δ·͍ͷࢦఆ • ϋϧγωʔγϣϯճආɿΘ͔Βͳ͍ͱ͖͸Θ͔Βͳ͍ͱ౴͑ͤ͞Δ • ࢀরݩ৘ใͷදࣔ • '"2ͷϦϯΫ • 1%'ͷϑΝΠϧ໊ϦϯΫͷ௥Ճ • 0VUQVU
    1BSTFSͰԠ౴Λ+40/Ͱߏ଄Խ͞ΕͨσʔλܗࣜͰडྖ • "*ʹΑͬͯճ౴Λੜ੒͍ͯ͠Δ஫ҙදࣔ • ੜ੒"*ར༻ʹ͓͚ΔΨΠυϥΠϯ αΠμεࣾ Ͱඞਢ
24. UFNQFSBUVSF͸3"(ͷԠ౴඼࣭ʹͲͷ͘Β͍Өڹ͢Δͷ͔ʁ • Թ౓ɿੜ੒͞ΕΔςΩετͷʮ૑଄ੑʯ·ͨ͸ϥϯμϜੑΛ੍ ޚ͢ΔύϥϝʔλʔͰ͋Δ GPT-3Ҏ߱ • Թ౓͕ߴ͍ FY
    0.7 ˠΑΓଟ༷Ͱ૑଄తͳग़ྗ • Թ౓͕௿͍ FY
    0.2 ˠΑΓܾఆ࿦తͰूதతͳग़ྗ • top_pαϯϓϦϯά ίΞαϯϓϦϯά ͱͷซ༻͸ඇਪ঑ https://platform.openai.com/docs/api-reference/chat Ϣʔεέʔε Թ౓ આ໌ ίʔυੜ੒  ཱ֬͞Εͨύλʔϯͱ׳शʹैͬͨίʔυΛੜ੒͢Δɻग़ྗ͸ΑΓܾఆ࿦తͰয఺Խ͞ΕΔɻߏจతʹਖ਼͍͠ίʔυ Λੜ੒͢Δͷʹ໾ཱͭɻ ΫϦΤΠςΟϒɾϥΠ ςΟϯά  ετʔϦʔςϦϯάͷͨΊͷ૑଄తͰଟ༷ͳςΩετΛੜ੒͢ΔɻΞ΢τϓοτ͸ΑΓ୳ࡧతͰɺύλʔϯʹΑΔ੍ ໿͕গͳ͍ɻ νϟοτϘοτԠ౴  Ұ؏ੑͱଟ༷ੑͷόϥϯεͷͱΕͨձ࿩Ԡ౴Λੜ੒͠·͢ɻΞ΢τϓοτ͸ΑΓࣗવͰັྗతɻ ίʔυɾίϝϯτੜ੒  ΑΓ؆ܿͰద੾ͳίʔυίϝϯτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰɺن໿ΛकΔɻ σʔλ෼ੳεΫϦϓτ  ΑΓਖ਼֬Ͱޮ཰తͳσʔλ෼ੳεΫϦϓτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰूதతͰ͢ɻ ୳ࡧతͳίʔσΟϯά  ୅ସҊ΍૑଄తͳΞϓϩʔνΛ໛ࡧ͢ΔίʔυΛੜ੒͢Δɻط੒ͷύλʔϯʹͱΒΘΕͳ͍Ξ΢τϓοτ https://community.openai.com/t/cheat-sheet-mastering-temperature-and-top-p-in-chatgpt-api-a- few-tips-and-tricks-on-controlling-the-creativity-deterministic-output-of-prompt-responses/172683
26. ʮ྘৭ʯͱ౴͑Δׂ߹ ˠ Ͱ΋Ͱ΋͔ 'FXTIPUT
27. ΋͏গ࣮͠ફతʹ ࣭໰ɿ ITύεϙʔτΛडݧ͠Α͏ͱࢥ͍·͢ɻิॿ͸ग़·͔͢ ݕࡧ݁Ռɿ Document(page_content='ITύεϙʔτͷࢿ֨ͷิॿ͸Ͱ·͢ ͔ʁ ¥n¥nδϣϒΧϯͰʮҰൠܦඅࢧग़ਃ੥ʯͱͯ͠ਃ੥Λ ͢Δ͜ͱɻͦͷࡍ࣍ͷ߲໨͸ඞਢͳͷͰೖྗ͢Δ͜ͱɻෆ໌఺͕ ͋Ε͹؅ཧ෦·Ͱ࿈བྷ͢Δ͜ͱɻ¥nᶃਃ੥λΠτϧ¥nᶄ؅ཧ߲ ໨¥nᶅඅ༻ൃੜ෦໳¥nᶆࢧ෷ઌ໊¥nᶇൃੜ݄ɻ¥n ', metadata={'@search.score': 4.32952, 'rid': 'WGxwaUFOWU4xaG9IQUFBQUFBQUFBQT090'}),
28. 3"(ಉ౳ ճ౴ͷ࣭͕΄΅ಉ͡ 
    ᶃิॿ͕ग़Δ͜ͱᶄ۩ମతͳखॱ
29. ϓϩϯϓτνϡʔχϯάʹΑΔߩݙ • ;Δ·͍ͷࢦఆʹΑΔมԽ  ;Δ·͍ࢦఆͳ͠  ;Δ·͍ࢦఆ͋Γ • ϓϩϯϓτΛ೔ຊޠͰॻ͘৔߹ӳޠͰॻ͘৔߹  ;Δ·͍ࢦఆ͋Γ 
    ӳޠ
30. ;Δ·͍Λࢦఆ͠ͳ͍ 以下のチャット履歴を参考に質問に答えてください。 ---- {retrieval} ---- 以下の質問に⽇本語で答えてください。 {question} ݁Ռ͸͋·ΓมΘΒͳ͍͕ɺճ౴ͷ࣭͸Ή͠ΖԹ౓͕ߴ͍΄͏͕ྑ͍
31. ;Δ·͍Λࢦఆ͢Δ あなたの名前はPEOPLE Copilot Chatです、あなたは以下のようなチャット履歴で従業員の質問に答えるHRエージェントです。 ---- {retrieval} ---- 上記の知識を⽇本語で考えながら、以下の質問に答えてください。 ただし、参考にする知識がない場合は、"その件については存じ上げませんので⼈事に直接お問い合わせください。"と回答してください。 {question} ճ౴ͷ࣭͕ٯస͠ɿԹ౓͕௿  ͯ͘΋ɺ۩ମతͳखଓ͖ํ๏Λճ౴Ͱ͖͍ͯΔ
32. ϓϩϯϓτΛӳޠʹ͢Δ Your name is PEOPLE Copilot Chat, you are an HR agent that answer via employees's questions with chat history like below. ---- {retrieval} ---- Please answer the question below with thinking about the knowledge above in Japanese. But if you have no knowledge to refer to, you can answer with "その件については存じ上げませんので⼈事に直接お問い合わせください。". {question} UFNQFSBUVSFʹؔΘΒͣɺΉ͠Ζճ౴ͷ࣭͕Լ͕ͬͨ खଓ͖ํ๏͕Ҋ಺͞Εͳ͘ͳͬͨ
33. Ԡ౴ੑೳ • ੑೳӨڹͷେ͖͍--.ͷԠ౴ੑೳ • ॲཧʹΑͬͯϞσϧΛ࢖͍෼͚Δ • ετϦʔϜϞʔυͰ69Λ޲্͢Δ 0QFO"* HQUUVSCP "0"*
    HQUUVSCP σϞ σϞ
35. ·ͱΊ
    0QFO"*Ͱຊ൪--.ΞϓϦΛͭ͘Δ • 0QFO"*Λ࢖͏ͳΒ"[VSFҰ୒ • $PHOJUJWF
    4FBSDI
    ͷػೳੑɾඇػೳੑͷߴ͞ʹ஫໨ • ΞϓϦͷಛੑʹ߹Θͤͨίϯςϯπ ೖྗग़ྗ ͷ҆શੑͷ޻෉ • ଞͷ--.ΞϓϦͷ࠷దԽख๏͕ࣗ෼ʹ΋ສೳͱ͸͔͗Βͳ͍ • UFNQFSBUVSFͰճ౴Λܾఆతʹ͢ΔˠӨڹܰඍʗόϥϯε • ϓϩϯϓτ͸ӳޠͷ΄͏͕಄͕ྑ͍ˠ೔ຊޠͷ΄͏͕࣭໰ͷҙਤɾճ ౴ͷஸೡ͞Λ࠶ݱͰ͖Δ৔߹͋Γ • ຐ๏ΛՊֶʹண஍ͤ͞Δʹ͸؍ଌͱΤϏσϯε • 8FCΞϓϦͱಉ౳ͷे෼ͳςετ࣮ࢪ • ύϥϝʔλ΍ϓϩϯϓτςϯϓϨʔτͷόʔδϣϯ؅ཧ • վળཁ๬ • "[VSF
    0QFO"* ͷετϦʔϜͷνϟϯΫΛ΋ͬͱখ͘͞ • $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF ͷݕࡧείΞύϥϝʔλ
36. ೥΋଴ͨͤͯ͝ΊΜͶ TOKYO 2023  ౔
    ΧϯϑΝϨϯε  ೔
    ϫʔΫγϣοϓ https://serverless.connpass.com/ https://tokyo.serverlessdays.io/
37. %":4্࢙࠷ߴͷϥΠϯφοϓ • ߽՚ηογϣϯ • Ωʔϊʔτɿ"84
    .PNFOUP
    5J%# •  αʔόʔϨε೥ͷ੒ख़ •  αʔόʔαΠυओମ͔ΒΤοδϑϩϯτ΁ͷ։ൃϥΠϑαΠΫϧͷมԽ •  ੜ੒"*ͱαʔόʔϨε • ߽՚εϙϯαʔ • "84 • .PNFOUP • 1JOH$"1 5J%# • .JDSPTPGU • $MPVEGMBSF • ʲ݄͔Βएׯืू։࢝͠·͢ʳ