Upgrade to Pro — share decks privately, control downloads, hide ads and more …

検証からプロダクトへ: シームレスなLLM開発の ためのしくみ作り

検証からプロダクトへ: シームレスなLLM開発の ためのしくみ作り

2024.3.27開催のイベントの登壇資料です。

LLM Night 〜検証・開発・運用改善の工夫やプロセスについて〜
https://yojo.connpass.com/event/307923/

Ryota Suzuki / ぬぬき

March 25, 2024
Tweet

More Decks by Ryota Suzuki / ぬぬき

Other Decks in Technology

Transcript

  1. 1 ݕ ূ ͔ Β ϓ ϩ μΫ τ ΁

      γ ʔ Ϝ Ϩ ε ͳ - - . ։ ൃ ͷ  ͨ Ί ͷ ͠ ͘ Έ ࡞ Γ 2024.03.27 LLM Night Ryota Suzuki
  2. 2 ླ໦྄ଠ ͵͵͖ தԝݚڀॴ ػցֶशɾ৴߸ॲཧ  ػցֶशΤϯδχΞ Ϧαʔνϟʔ ϓϩμΫτϚωʔδϟʔ 3%੹೚ऀ

    ஌ࡒϗϥΫϥγʔ 9 چ5XJUUFS !OVOVLJ@ (JU)VCOVOVLJN 
 -"13"4IUUQTMBQSBTDPNQVCMJDOVOVLJN ࣗݾ঺հ
  3. 5 8FC্Ͱ Ξ΢τϓοτ ऩू ෼ੳ ֬ೝ ϙʔτϑΥϦΦ είΞ ਓࡐ σʔλϕʔε

    ݕࡧ Ϩίϝϯυ εΧ΢τૹ৴ -"13"4ͷϓϩμΫτ ΤϯδχΞ ࠾༻اۀ
  4. -"13"4Ͱͷैདྷͷ"*ͷ׆༻ -"13"4Ͱ͸ैདྷ͔Βɺ࣭ͷߴ͍Ϛονϯάͷ࣮ݱͷͨΊʹɺ"*ٕज़Λ׆༻͖ͯ͠·ͨ͠ɻ Ϋϩʔϧ ʲςΩετߏ଄ղੳʳ ৬຿ܦྺࣗಈੜ੒ ʲจষੜ੒ʳ είΞϦϯά ʲςΩετߏ଄ղੳʳ ʲ౷ܭ෼ੳʳ Ϩίϝϯυ

    ʲ%//ʳ ৘ใऩू Ϛονϯά Πϯλʔωοτ΍Ϣʔβʔͷೖྗͨ͠৘ใΛ΋ͱʹɺީิऀϓϩ ϑΝΠϧΛ࡞੒͠·͢ɻ ऩू͞Εͨ৘ใΛ෼ੳ͠ ͯɺΑΓৄ͍͠৘ใΛิ ׬͠·͢ɻ ಘΒΕͨ৘ใΛ࢖ͬͯɺ ٻਓ৘ใΛϨίϝϯυ͠ ·͢ɻ  ৘ใิ׬
  5. - " 1 3 " 4 ʹ ͓ ͚ Δ

     " * ػ ೳ ։ ൃ ϓ ϩ η ε 
  6. 9 "*ػೳ։ൃͷνʔϜମ੍ʢྫʣ UP$ϓϩμΫτνʔϜ 3%νʔϜ 1E. $-ݚڀํ਑ $-1.. ΞϓϦέʔγϣϯ։ൃऀ d໊ "*Λ࢖ٕͬͨज़ݕূ

    σʔλ΍"*͕࣋ͭෆ֬ఆੑͱରቂ ຊ൪ϓϩμΫτ΁ͷ࣮૷ ϓϩμΫτͷ֎෦ɾ಺෦඼࣭ΛߴΊΔ 1P$ਪਐ3PMF .-ΤϯδχΞ UP#ϓϩμΫτ νʔϜ ༡ܸνʔϜ 43& 1E.ϝϯόʔ ࣄۀͱϢʔβʔՁ஋ʹ੹೚Λ࣋ͭ
  7. 10 "*ػೳ։ൃϓϩηε ຯݟݕূ ϓϩτλΠϐϯά AI ਫ਼౓޲্ σβΠϯ ࢓༷ࡦఆ ϥΠϒϥϦ࣮૷ ϓϩμΫτ࣮૷

    dिؒ िؒdϲ݄ िؒdϲ݄ ຯݟݕূ͔ΒϓϩμΫτ࣮૷·Ͱɺ ҟͳΔந৅౓ͷϑΣʔζΛγʔϜϨεʹܨ͙͜ͱ͕ॏཁ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ϓϩμΫτνʔϜ 3%νʔϜ 1E. --.ʹΑͬͯ͜ͷظ͕ؒܶతʹ୹ॖ
  8. 12 ຯݟݕূϑΣʔζ w "*Λ࢖࣮ͬͯݱ͍ͨ͜͠ͱͷΞΠσΟΞΛूΊΔ w ΞΠσΟΞͷےͷྑ͞Λ--.Λ࢖͔ͬͯ֬ΊΔ w &OEUPFOEͷϓϩϯϓτ4MBDLCPUͰࢼͯ͠ΈΔ w ؆୯ͳϓϩτλΠϓΛ࡞ͬͯࣾ಺Ͱࢼͯ͠ΈΔ

    w --.ʹΑͬͯ࠷΋ߴ଎Խͨ͠ϑΣʔζ w ࣭ΑΓ΋ྔɺिؒͳͲͷ୹͍εύϯͰ͍ΖΜͳΞΠσΟΞΛࢼ͢ w ੒Ռ෺͸ࣺͯΔ͜ͱલఏͰͱΓ͋͑ͣखΛಈ͔͢ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ຯݟݕূϑΣʔζ ʲ໨తʳ"*Λ࢖ͬͨΞΠσΟΞͷʮےͷྑ͞ʯΛݟۃΊΔ ʲظؒʳʙिؒ ʲओମʳ3ˍ%νʔϜ
  9. 13 ٕज़ɾՁ஋ݕূϑΣʔζ ϢʔβʔՁ஋ɺٕज़త࣮ݱੑͷ྆ํ͕ἧͬͨΒ(P w ϢʔβʔՁ஋ͷݕূ 1E.  w ϓϩμΫτͷ8IBU ୭ͷͲΜͳ՝୊Λղܾ͢Δͷ͔

    Λݕূ w ࢴࣳډϓϩτλΠϓ΍ΞϯέʔτͳͲ w ٕज़త࣮ݱੑͷݕূ 3%νʔϜ  w "*Λ࢖ٕͬͯज़తʹ࣮ݱՄೳ͔Ͳ͏͔Λݕূ w ΰʔϧͱͳΔ֤छϝτϦΫεΛઃఆ w ࣮૷ՄೳͳϨϕϧ·ͰվળΛࢼߦࡨޡ ʲ໨తʳϓϩμΫτ࣮૷ͷ(P/P(PΛ൑அ͢Δ ʲظؒʳिؒʙϲ݄ ʲओମʳ1E.ɺ3ˍ%νʔϜ ʮ"*ϨϏϡʔػೳʯͷॳظͷϓϩτλΠϓ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ Ձ஋ɾٕज़ݕূϑΣʔζ
  10. 14 ٕज़ɾՁ஋ݕূϑΣʔζ ϢʔβʔՁ஋ɺٕज़త࣮ݱੑͷ྆ํ͕ἧͬͨΒ(P w ϢʔβʔՁ஋ͷݕূ 1E.  w ϓϩμΫτͷ8IBU ୭ͷͲΜͳ՝୊Λղܾ͢Δͷ͔

    Λݕূ w ࢴࣳډϓϩτλΠϓ΍ΞϯέʔτͳͲ w ٕज़త࣮ݱੑͷݕূ 3%νʔϜ  w "*Λ࢖ٕͬͯज़తʹ࣮ݱՄೳ͔Ͳ͏͔Λݕূ w ΰʔϧͱͳΔ֤छϝτϦΫεΛઃఆ w ࣮૷ՄೳͳϨϕϧ·ͰվળΛࢼߦࡨޡ ʲ໨తʳϓϩμΫτ࣮૷ͷ(P/P(PΛ൑அ͢Δ ʲظؒʳिؒʙϲ݄ ʲओମʳ1E.ɺ3ˍ%νʔϜ ʮ"*ϨϏϡʔػೳʯͷॳظͷϓϩτλΠϓ λεΫ෼ׂɺϓϩϯϓςΟϯάɺ ϑΝΠϯνϡʔχϯάͳͲ 3%νʔϜͷओઓ৔ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ Ձ஋ɾٕज़ݕূϑΣʔζ
  11. 15 ٕज़ɾՁ஋ݕূϑΣʔζ IUUQTUFDICMPHMBQSBTDPNUFDI#MPHT RVBMJUZBTTVSBODFPGMMNBQQMJDBUJPO จষੜ੒λεΫͷੑೳ͸ैདྷͷࢦඪͰ͸ܭΓͮΒ͍ɻ ࠷ऴతͳࢦඪ ΰʔϧϝτϦΫε ͸ʮϢʔβʔͷຬ଍౓ʯʹͳΓ΍͍͢ɻ w υϥΠόʔϝτϦΫεΰʔϧϝτϦΫεͷ୅ସ

    QSPYZ  w Ξϊςʔγϣϯσʔλʹର͢Δ1SFDJTJPO 3FDBMMͳͲ w ͋͘·Ͱ΋୅ସࢦඪͳͷͰɺΰʔϧϝτϦΫεͱͷൺֱ͕ඞཁ w ΨʔυϨʔϧςετจॻੜ੒λεΫʹ͓͚Δ୯ମςετ w ೔ຊޠͰग़ྗ͞Ε͍ͯΔ͔ w ग़ྗͷߏ଄Խͷ࢓༷͕कΒΕ͍ͯΔ͔ w ஸೡޠ Ͱ͢ɾ·͢ Ͱग़ྗͰ͖͍ͯΔ͔ w ෆద੾ͳදݱ͕ͳ͍͔ 0QFO"*NPEFSBUJPO"1* ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ੑೳධՁɾ඼࣭อূ
  12. 16 ٕज़ɾՁ஋ݕূϑΣʔζ w --.ͷϓϩϯϓςΟϯάʹਖ਼ղσʔλͷΞϊςʔγϣϯ͸ෆཁʁʁ w ੑೳධՁͷͨΊͷςετσʔλ͸ඞཁɻ w ۩ମతͳϓϩϯϓτΛ࡞Δʹ͸ɺਓ͕ؒλεΫΛཧղ͢Δ͜ͱ͕ॏཁ w λεΫཧղͷͨΊɺ3%νʔϜ͕ࣗ෼ͨͪͰΞϊςʔγϣϯ

    w ݕূϑΣʔζͷ൒෼ΛΞϊςʔγϣϯʹඅ΍͢৔߹΋ w "OOPUBUJPO%SJWFO1SPNQUJOH w Ξϊςʔγϣϯ͠ͳ͕ΒɺϧʔϧΛϚχϡΞϧԽ͍ͯ͘͠ɻ w ෳ਺ਓͰ΍ͬͯ݁Ռ͕ϒϨ͕ͳ͘ͳͬͨΒ w ϚχϡΞϧΛϓϩϯϓτʹམͱ͠ࠐΈɺϕʔεϥΠϯϞσϧͱ͢Δ ॏཁ౓͸Ή͠Ζ૿Ճ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ϓϩϯϓςΟϯάͱΞϊςʔγϣϯ
  13. 17 ࣮૷ϑΣʔζ ݕূ͞ΕͨػೳΛϓϩμΫτͱ࣮ͯ͠૷͢Δ w 3%νʔϜ͸"*෦෼ΛϥΠϒϥϦ 1ZUIPOύοέʔδ ͱͯ͠ఏڙ w ϓϩμΫτνʔϜ͸ґଘϥΠϒϥϦͱͯ͠Πϯετʔϧͯ͠ར༻ ຯݟ

    ݕূ ࣮૷ ʲ໨తʳݕূ͞ΕͨػೳΛϓϩμΫτʹ࣮૷͢Δ ʲظؒʳिؒʙϲ݄ ʲओମʳϓϩμΫτνʔϜɺ3ˍ%νʔϜ IUUQTUFDICMPHMBQSBTDPNUFDI#MPHTF ffi DJFOU JOUFSGBDFGPSNBJOUFOBODFPGMMNBQQMJDBUJPO ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ࣮૷ϑΣʔζ
  14. γ ʔ Ϝ Ϩ ε ͳ ։ ൃ ͷ ͨ

    Ί ͷ ͠ ͘ Έ 
  15. 20 ݕূɾ࣮૷ͷͨΊͷϦϙδτϦɾΠϯϑϥߏ੒ $PEF1JQFMJOF ɾϝτϦΫεͷܭࢉ ɾΨʔυϨʔϧςετ࣮ߦ $PEF$PNNJU 1MBZHSPVOEϦϙδτϦ ຯݟϑΣʔζͷ/PUFCPPLΛ֨ೲ ϓϩδΣΫτϦϙδτϦ ݕূɾ࣮૷ϑΣʔζͷϓϩδΣΫτ͝ͱʹ࡞੒

    w ݕূ༻/PUFCPPL ࢖͍ࣺͯ༻ɺϨϙʔτ༻  w ϥΠϒϥϦ࣮૷ w ϝτϦΫεܭࢉॲཧ w ΨʔυϨʔϧςετॲཧ QVTI࣌ ։ൃ༻&$Πϯελϯε ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ݕূϑΣʔζͰ͸ɺϓϩδΣΫτͷ/PUFCPPLͰݕূΛਐΊΔɻ ·ͱ·࣮ͬͨ૷͸ϥΠϒϥϦͱͯ͠·ͱΊɺςετΛ$*ͰࣗಈԽ͢Δɻ
  16. 21 ݕূɾ࣮૷ͷͨΊͷϦϙδτϦɾΠϯϑϥߏ੒ $PEF"SUJGBDU $PEF1JQFMJOF ɾϝτϦΫεͷܭࢉ ɾΨʔυϨʔϧςετ࣮ߦ ɾ$PEF"SUJGBDU΁ͷQVCMJTI QVCMJTI $PEF$PNNJU 1MBZHSPVOEϦϙδτϦ

    ຯݟϑΣʔζͷ/PUFCPPLΛ֨ೲ ϓϩδΣΫτϦϙδτϦ ݕূɾ࣮૷ϑΣʔζͷϓϩδΣΫτ͝ͱʹ࡞੒ w ݕূ༻/PUFCPPL ࢖͍ࣺͯ༻ɺϨϙʔτ༻  w ϥΠϒϥϦ࣮૷ w ϝτϦΫεܭࢉॲཧ w ΨʔυϨʔϧςετॲཧ ຊ൪༻"*ϥΠϒϥϦΛ 1ZUIPOύοέʔδͱͯ͠؅ཧ QVTI࣌ ։ൃ༻&$Πϯελϯε (JU)VC EFQMPZ JOTUBMM 1SPEVDUJPO؀ڥ ϓϩμΫτίʔυ $PEF"SUJGBDU͔Β"*ϥΠϒϥϦ ΛΠϯετʔϧ ຯݟϑΣʔζ ݕূϑΣʔζ ࣮૷ϑΣʔζ ࣮૷ϑΣʔζͰ͸ɺϥΠϒϥϦΛ$PEF"SUJGBDUʹ1ZUIPOύοέʔδ ͱͯ͠ϦϦʔεɻϓϩμΫτνʔϜ͕͜ΕΛΠϯετʔϧͯ͠࢖͏ɻ
  17. 22 ։ൃϓϩηεͷվળ %FTJHO%PDςϯϓϨʔτ ϓϩδΣΫτৼΓฦΓ w 3%νʔϜͷϓϩδΣΫτͷਐΊํΛ%FTJHO%PD ͷςϯϓϨʔτʹ w ݕূ݁Ռ΍ҙࢥܾఆͨ͜͠ͱ͸શͯ%FTJHO%PDʹ ه࿥͍ͯ͘͠

    w ि͝ͱɾϓϩδΣΫτ͝ͱʹৼΓฦΔ w %FTJHO%PDςϯϓϨʔτΛߋ৽͠ɺվળΛճ͢ ࠓճ঺հͨ͠ϓϩηε΋ɺվળΛճ͢͏ͪʹಘΒΕͨ΋ͷ ݱঢ়ͷϓϩηεʹݻࣥͤͣɺΑΓ࠷ળΛ໨ࢦ࢟͢੎͕େࣄ