[LT]クールなLLMアプリをつくるのは簡単だが本番リリースするのは大変だという話/LLM Engineering

2023.6.16 ChatGPT Meetup #3 で発表したLT資料です。

Transcript

1. #ChatGPTjp #3 ChatGPT Meetup Tokyo LLM @yoshidashingo
2. 3"( 3FUSJFWBM
   "VHNFOUFE
   (FOFSBUJPO
   ݕࡧ֦ுੜ੒ ʮ$:%"4
   1&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"4
   1&01-&
   $PQJMPU
   $IBUʯ https://www.cydas.co.jp/news/press/202304_people-gpt/
3. ⾃社のFAQをベクターデータ化 ChatGPTで回答に利⽤ ਓࣄ'"2ˍ໰͍߹ΘͤཤྺΛϕΫλʔσʔλԽ
4. σϞ
5. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ --.ͰΫʔϧͳ΋ͷΛ࡞Δͷ͸؆୯͕ͩຊ൪Ϩϕϧͷ΋ͷΛ࡞Δͷ͸ඇৗʹ೉͍͠  ՝୊ͱղܾࡦ  ࣗવݴޠͷ͍͋·͍͞ ܾఆ࿦తͰͳ͍)ʹΑΔ69ෆ੔߹ ˠ UFNQFSBUVSFɺϓϩϯϓτ࠷ద Խɾόʔδϣχϯά؅ཧ  ίετͱϨΠςϯγʔ ˠ
   ਪ࿦ʹ࢖͏ϞσϧબఆɺτʔΫϯ਺ͷௐ੔ɺ ݱঢ়͸ ϨΠςϯ γʔղੳ  ϓϩϯϓςΟϯά 
   ϑΝΠϯνϡʔχϯά 
   ͦΕҎ֎ • ϓϩϯϓτνϡʔχϯάɿ&NCFEEJOHTΛೖΕସ͑Δ 044ͰͷΈՄೳ • ϑΝΠϯνϡʔχϯάɿλεΫʹ࠷దԽͤ͞ΔͨΊͷαϯϓϧ͕ੑೳʹӨڹˠ͕ɺ͋·Γظ଴Ͱ͖ͳ͍ • ৠཹϑΝΠϯνϡʔχϯάɿ5FYUEBWJODJ େ Ͱ--B." খ ͷνϡʔχϯάʹ࢖͏ˠ"MQBDB খ • &NCFEEJOHT
   
   ϕΫλʔετΞɿ'FXTIPUT  ޙํޓ׵ੑͱલํޓ׵ੑ • ৽͍͠Ϟσϧ͸શମతʹ༏ΕͯΔ͔΋͠Εͳ͍͕ɺྼ͍ͬͯΔϢʔεέʔε΋͋Δ͸ͣ • લͷϞσϧʹରͯ͠͏·͘ಈ͍͍ͯͨϓϩϯϓτ͕͏·͘ಈ͔ͳ͍৔߹ɺͲΜͳҙਤͰϓϩϯϓτ͕νϡʔ χϯά͞Ε͍ͯΔ͔ ढจ 
   όουϓϥΫςΟε Θ͔Βͳ͘ͳΔ IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
6. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ  ෳ਺ͷλεΫͰ੍ޚ͞ΕΔϑϩʔߏ੒ΛͲ͏͢Δ͔ɺπʔϧͷ૊ΈࠐΈ • ϓϩάϥϛϯάʹΑΔ੍ޚϑϩʔͷ࣮૷ • --.ΤʔδΣϯτʹΑΔஞ੍࣍ޚ  ༗๬ͳϢʔεέʔε • "*Ξγελϯτɿεέδϡʔϧ؅ཧɺϝϞ࡞੒ɺϖΞϓϩɺϝʔϧରԠɺ༧໿ɺങ͍෺ 
   λεΫΛ͜ͳ͢ • νϟοτCPUɿίϯύχΦϯ 
   จࣈ΍Ի੠Ͱ૬ஊ΍ΞΠσΞͳͲͷձ࿩ • ϓϩάϥϛϯά΍ήʔϜɿ8FCΞϓϦΛͭ͘ΔɺηΩϡϦςΟͷڴҖΛൃݟ͢ΔɺήʔϜΛ࡞੒͢Δ • ϥʔχϯάɿຊͷཁ໿ɺߨٛɺཧղ౓ςετɺ࠾఺΍ϑΟʔυόοΫɺσΟϕʔτ૬ख • ࣾ಺σʔλநग़ɿࣗવݴޠ΍2"ܗࣜͰࣾ಺ͷσʔλΛরձ͢Δ • ݕࡧɾਪનɿΩʔϫʔυͰ͸ͳࣗ͘વݴޠ͔Βਪఆ͢Δݕࡧ • Ӧۀޮ཰Ξοϓ • 4&0ରࡦ • ݁࿦  એ఻จ۟Λແࢹͯ͠ϲ݄ޙʹఆணͯ͠Δ͔֬ೝ͢Δ  αϚϦʔΛಡΉ  ࠷৽ͷπʔϧʹ৮ΕΔΑ͏ʹ৺͕͚Δ IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
10. બఆཧ༝
11. Microsoft Build 2023 で発表された Cosmos DB 注⽬アップデート https://speakerdeck.com/miyake/microsoft-build-2023-cosmos-db-update?slide=9
12. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF
13. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF
14. $PTNPT
    %#
    WT
    $PHOJUJWF
    4FBSDI 
    "[VSF
    $PTNPT
    %#
    GPS
    .POHP%#
    W$PSF 
    $PHOJUJWF
    4FBSDI
    XJUI
    $PTNPT
    %#
    
    #MPC
    4UPSBHF \ TDPSF
     IJHIMJHIUT
    VOEFGJOFE EPDVNFOU
    \ DPOUFOU
    ͋͋͋͋͋͋͋͋͋͋͋͋͋ NFUBEBUB@TUPSBHF@QBUI
    YYYYYYYYYY ^ ^ \ TDPSF
     IJHIMJHIUT
    VOEFGJOFE EPDVNFOU
    \ DPOUFOU
    b͍͍͍͍͍͍͍͍͍͍͍͍͍ NFUBEBUB@TUPSBHF@QBUI
    YYYYYYYYYYYY ^ ^  \ @JE
    OFX
    0CKFDU*E FGCCBCGCF DPOUFOU
    b࣭໰ʹؔ࿈ͨ͠ίϯςϯπ͕ͳͯ͘΋ΉΓ΍Γฦͯ͠͠·͏ؔ܎ ͳ͍ίϯςϯπ WFDUPS$POUFOU
    < 
    
    
    
    
    
     தུʜ࣍ݩશ෦ 
    
    NPSF
    JUFNT > ^
16. ඼࣭อূ • Ϣχοτςετɿඞਢ • ηΩϡϦςΟɿ8"'΍ωοτϫʔΫઃఆ • ҆શੑɿ.PEFSBUJPOɺࣄલνΣοΫɺݸਓ৘ใ΍ػີ৘ใͷೖྗ νΣοΫɺఢରతϓϩϯϓτ཈ࢭɺ • ಁ໌ੑɿࢀরݩ৘ใ • ެฏੑɿόΠΞεͷআڈ1SPNQU5FNQMBUFͰͷ;Δ·͍ࢦఆ • ੑೳɿϩάɺ"1.؂ࢹ • Ԡ౴඼࣭ɿϦάϨογϣϯςετɺલॲཧ ςΩετɺཁ໿ • ਖ਼֬ੑɿ"*ʹΑΔճ౴ੜ੒σΟεΫϨʔϚʔɺΘ͔Βͳ͍ͱ͖͸Θ͔Β ͳ͍ͱ౴͑ͤ͞Δ1SPNQU5FNQMBUF • ݖݶɿςφϯτͷ0/ઃఆ ΦϓτΠϯ ɺจॻΞοϓϩʔυݖݶ
17. Day1 (6/27) 17:00-17:30 LLM Azure OpenAI Cosmos DB LLM