生成AIの運用術 大規模言語モデルアプリ最適化の実践対談

Transcript

1. גࣜձࣾΞΠΞΫτ औక໾$50 ੢ݪ த໵ ੜ੒"*ͷӡ༻ज़ େن໛ݴޠϞσϧ ΞϓϦ࠷దԽͷ࣮ફରஊ  *#. 5FDI9DIBOHF +BQBO ೔ຊΞΠɾϏʔɾΤϜגࣜձࣾ ςΫϊϩδʔࣄۀຊ෦ ฏԬ
   େ༞ "VUPNBUJPOςΫχΧϧɾεϖγϟϦετ
2. "TL
   UIF
   4QFBLFS ࣸਅࡱӨ ಈըࡱӨ ࢿྉެ։ 4/4֦ࢄ • "TL
   UIF
   4QFBLFSΤϦΞ ʹͯड͚෇͚· ͢ ̋ ̋ ̋ ̋
   *#.5FDI9DIBOHF *OTUBOB $PHNP ੜ੒"*ͷӡ༻ज़
   େن໛ݴޠϞσϧΞϓϦ࠷దԽͷ࣮ફରஊ
3. ࣗݾ঺հ גࣜձࣾΞΠΞΫτ औక໾$50 ਓ޻஌ೳɾίάχςΟϒιϦϡʔγϣϯ୲౰ *#.
   $IBNQJPO
   %BUB
   
   "*
    ೥ੜ·Ε ౡࠜݝग़਎ ౦ژେֶதୀ 8FCۀք೥ ড়౔ਅफຊئࣉ೿௕உɾܧ͍ͩΒ୅໨ ๏໊ɿऍ୙ָ ΞΠΞΫτ ೥໨ ˎ8FC੍࡞ͷ1.ɺσΟϨΫλʔ ೥ऑ ˎ৽نࣄۀ։ൃɾ"*ࣄۀ෦ͷ্ཱͪ͛ ˎ%9ʹ͓͚ΔνϟοτϘοτͷಋೖɾ੒Ռࢧԉ %9ʹ͓͚Δ"*ݕࡧͷಋೖɾ੒Ռࢧԉ $IBU(15ͷ1P$ɾಋೖࢧԉ ར༻ର৅Ϣʔβɿ໿ສਓ "*ࢧԉ೥ɿςΫϊϩδʔΛ޿͘ීٴɺ࢖͑ΔΑ͏ʹ͢Δͷ͕ಘҙ ੢ݪத໵
4. ࣗݾ঺հ ೔ຊΞΠɾϏʔɾΤϜגࣜձࣾ ςΫϊϩδʔࣄۀຊ෦ "VUPNBUJPOςΫχΧϧɾεϖγϟϦετ *#.
   $IBNQJPO
   +BQBO
   Ϧʔμʔ *#.
   $IBNQJPO
    ೥͔ΒΤϯδχΞ
   ٶ࡚ݝग़਎ *#.
   ೥໨ ˎۀ຿ܥɾجװܥγεςϜͷઃܭɺ։ൃɺӡ༻ʹैࣄ ˎݱࡏ͸"VUPNBUJPO
   ྖҬͷςΫχΧϧηʔϧε ˎٕज़ίϛϡχςΟʔͷ্ཱͪ͛ӡӦ ˎஶॻɿʮίϯςφɾϕʔεɾΦʔέετϨʔγϣϯ %PDLFS,VCFSOFUFT Ͱ࡞ΔΫϥ΢υ࣌୅ͷγεςϜج൫ʯ ڞஶ
   ᠳӭࣾ γεςϜߏஙӡ༻೥ɿίϛϡχςΟʔͷྗͰςΫϊϩδʔΛ޿͛ɺҭͯΔͷ͕ಘҙ ฏԬ
   େ༞
5. ໨త • "*αʔϏεͷӡ༻ʹ͓͚Δ࣮ફతͳ՝୊Λڞ༗ • جຊతͳΞϓϦέʔγϣϯ؂ࢹͷॏཁੑΛ࠶֬ೝ • ୭΋͕࣮ફͰ͖Δӡ༻ϓϩηεͷཱ֬ํ๏ΛֶͿ ΰʔϧ • ੜ੒"*ΞϓϦέʔγϣϯͷ؂ࢹɾӡ༻ख๏ͷशಘ • ୭͕ରԠͯ͠΋ಉ͡඼࣭ͷӡ༻͕Ͱ͖Δମ੍ͷߏஙํ๏ͷཧղ • ҆ఆతͳ"*αʔϏεӡ༻ͷ࣮ݱํ๏ͷ೺Ѳ ͜ͷηογϣϯʹ͍ͭͯ
6. ೥ͷ8FCαΠτ੍࡞ɺσδλϧίϛϡχέʔγϣϯࢧԉ ೥݄͔Β8BUTPO
   
   "*
   αʔϏεΛ͝ఏڙͯ͠೥Ҏ্ "*
   Y
   8FCɺ"*
   Y
   σδλϧίϛϡχέʔγϣϯ͕ಘҙͳձࣾͰ͢ ձ໊ࣾ גࣜձࣾΞΠΞΫτʢ *"$5
   $03103"5*0/ʣ ຊࣾ ˟ ౦ژ౎ઍ୅ా۠େखொ େखொϑΝʔετεΫΤΞ ΢Τετλϫʔ' άϧʔϓձࣾ גࣜձࣾΠϯϑΥωοτʢূ݊ίʔυɿʣ ୅දऀ ୅දऔక໾ࣾ௕ ּҪ ོٛ ࣄۀ಺༰ 8FCΠϯςάϨʔγϣϯʗγεςϜΠϯςάϨʔγϣϯʗ ίϯςϯπϚʔέςΟϯάˍϓϩϞʔγϣϯʗ8FCઓཱུҊˍίϯαϧςΟϯάʗ σʔλˍΞφϦςΟΫεʗ"*ಋೖࢧԉʗ"*νϟοτϘοταʔϏεɺݕࡧαʔϏε ओཁऔҾઌ ,%%*גࣜձࣾ גࣜձࣾୈҰڵ঎ ಠཱߦ੓๏ਓ೔ຊֶੜࢧԉػߏ ೶ྛதۚશڞ࿈ΞηοτϚωδϝϯτגࣜձࣾ /55ίϛϡχέʔγϣϯζגࣜձࣾ גࣜձࣾؔిγεςϜζ શࠃ࿑ಇऀڞࡁੜ׆ڠಉ૊߹࿈߹ձ גࣜձࣾࡾҪෆಈ࢈ϗςϧϚωδϝϯτ "($גࣜձࣾ ͳͲ
7. *#.
   8BUTPO
   %JTDPWFSZΛ༻͍ͨ੡඼ "*ݕࡧʮ$PHNP
   4FBSDIʯ l 8BUTPO
   %JTDPWFSZʹಠࣗػೳΛ෇༩ͨ͠ݕࡧ੡඼ l αΠτ಺ݕࡧɺۀ຿ϚχϡΞϧݕࡧͳͲͰ೥ͷ࣮੷ l طଘݕࡧπʔϧͰ͸୳ͤͳ͔ͬͨ΋ͷ͕୳ͤΔΑ͏ʹ l ݕࡧਫ਼౓ΛߴΊΔֶशػೳͳͲΛ؅ཧը໘ͰϢʔβʹఏڙ "*ݕࡧ
   Y
   $IBU(15ʮ$PHNP
   &OUFSQSJTF
   ੜ੒"*ʯ l $PHNP
   4FBSDIʢ%JTDPWFSZʣͷݕࡧΛ3"(Ͱར༻ l νϟοτ6*ܕͰ͸ͳ͘ݕࡧ6*ܕͰఏڙ
8. *#.
   8BUTPO
   %JTDPWFSZ
   Y
   $IBU(15ͷը໘    %JTDPWFSZϕʔεͷݕࡧͷը໘ʹ $IBU(15ͷจষੜ੒࿮͕෇͘ɻ ը໘͸8FC*OUSB'"2γεςϜ౳΁ ૊ΈࠐΜͰར༻Մೳ  ஌Γ͍ͨ͜ͱΛ࣭໰ɾݕࡧ͢Δ  ݕࡧ݁Ռ͕ग़ͯ͘Δ  ݕࡧ݁Ռ͔Β$IBU(15͕จষΛੜ੒
9. ੡඼ͷػೳ֓ཁ DSBXMFS *#. 8BUTPO %JTDPWFSZ $PHNP ෇Ճػೳ $PHNP "1* $PHNP 6* ଞΞϓϦ ౳͔Β "EBQUFS GPS
   8FC "EBQUFS GPS
   410 $PHNP ؅ཧը໘ l ؔ࿈ੑֶश l Ξϊςʔγϣϯ l ྨٛޠڧԽ l ༏ઌݕࡧʢҐ͔Βࢦఆʣ l ධՁςετ l ϩά FUD "[VSF 0QFO"* $PHNP BENJO DPOTPMF l ϓϩϯϓτ l Ҿ͖౉͢จষՕॴʢIJHIMJHIUจ಄͔Βʣ l UPLFOίϯτϩʔϧ
   FUD l ಠࣗύʔαʔ l GJMUFSλά෇༩ l ఆظΫϩʔϧ
   FUD
10. ʲݱঢ়ͷ՝୊ʳ • ࣄۀ֦େʢ౤ࢿʣͷ௚લ࣌ظ • গ਺ਫ਼ӶνʔϜʢ໊ʣͰͷ։ൃɾӡ༻ෛՙ • ΤϯδχΞҎ֎ʹΑΔӡ༻؅ཧͷඞཁੑ • ੜ੒"*ग़ྗͷઆ໌ϓϩηεͷෳࡶԽ • ෳ਺"1*ར༻ͰͷσʔλϑϩʔͷՄࢹԽɾཧղͷ՝୊ • ӡ༻ࣗಈԽͷ஗Ε ʲղܾ΁ͷண໨఺ʳ • σʔλϑϩʔશମͷՄࢹԽ • ӡ༻඼࣭ͷඪ४Խ "*αʔϏεͷ։ൃӡ༻ʹ͓͚Δ՝୊
11. ݱঢ়ͷ$MPVE8BUDIӡ༻ͷ࣮ଶ ෳ਺ϝτϦΫεͷ֬ೝ Τϥʔൃੜ࣌ͷ෼ੳ 8BUTPO
    %JTDPWFSZͷ؂ࢹ ͜ΕΒͷ֬ೝɾ෼ੳΛଓ͚Δগ਺ਫ਼ӶνʔϜ ໊ ͷ೔ৗతͳෛ୲ʹ 3FRVFTU$PVOUɺ)UUQ$PEF౳ͷ
    ϝτϦΫεΛαϚϥΠζදࣔ ΞϥʔϜͷঢ়ଶ΍Τϥʔ಺༰ Λঢ়ଶมԽͷཤྺͰ֬ೝ ৄࡉͳ+40/ϩάΛ खಈͰղੳ
12. (15
    P
    
    P
    NJOJͱͳΓɺগ͠ίϯςϯπϑΟϧλʔʹ͔͔Δ͜ͱ͕૿͑ͨɻ ͍·͋ΔϩάͰͲ͏ཧղ͢Δ͔ͷ஌ݟڞ༗ɻ ৅௃తͳγʔϯɿ$4ͷӡ༻վળνϟοτ
13. "1.ʹΑΔӡ༻վળɿ ɾγεςϜશମͷঢ়گΛՄࢹԽ ɾύϑΥʔϚϯεঢ়گΛ਺஋Խ ɾ໰୊ՕॴΛਝ଎ʹಛఆ ݟ͖͑ͯͨՁ஋ɿ ɾ͓٬༷΁ͷత֬ͳঢ়گઆ໌͕Մೳʹ ɾ։ൃνʔϜ໊̐ͷຊདྷۀ຿΁ͷूத ɾσϦόϦʔʢ$4ʣ୲౰ऀͷӡ༻ؚΊͨӡ༻ମ੍ͷՄೳੑ ɾେن໛αʔϏεͷ҆ఆӡ༻ج൫ "*αʔϏεӡ༻ʹ͓͚Δ"1.ػೳͷ׆༻
14. ΞϓϦέʔγϣϯશମͷঢ়ଶΛҰ໨Ͱ೺Ѳ αʔϏεͷՄࢹԽ *OTUBOBͰղܾ Ͱ͖Δ͜ͱɿ ɾ"*αʔϏεͷશମ૾ͱঢ়ଶͷݟ͑ΔԽΛ࣮ݱ ɾΤϯυϙΠϯτ͝ͱͷԠ౴࣌ؒ௥੻
15. γεςϜͷঢ়ଶΛϦΞϧλΠϜʹ؂ࢹ ϦΞϧλΠϜ؂ࢹ *OTUBOBͰղܾ Ͱ͖Δ͜ͱɿ ɾΞϓϦέʔγϣϯͱΠϯϑϥετϥΫνϟʔͷঢ়ଶ؂ࢹ ɾ༧ஹݕ஌ʹΑΔࣄલରԠ
16. ৄࡉͳݪҼ෼ੳͰ໰୊ՕॴΛಛఆ ໰୊෼ੳ *OTUBOBͰղܾ Ͱ͖Δ͜ͱɿ ɾϓϩάϥϜͷ໰୊ՕॴΛಛఆ ɾϓϩάϥϜͷमਖ਼Օॴͷ൑அ͕ਝ଎ʹ
17. "*αʔϏεͷৄࡉͳ؂ࢹ৘ใΛҰݩ؅ཧ ੜ੒"*ΞϓϦέʔγϣϯ؂ࢹͷ࣮૷ྫ *OTUBOBͰղܾ ࣭໰ ೖྗ τʔΫϯ࢖༻ྔ ࢖༻Ϟσϧ ճ౴ ग़ྗ "1*
    &OEQPJOU ਪ࿦࣌ؒ Ԡ౴࣌ؒ
18. ੜ੒"*ʹಛԽͨ͠؂ࢹ߲໨ɿ ɾ"*ͷճ౴͕ద੾͔؂ࢹ ɾτʔΫϯ࢖༻ྔͷ࠷దԽ ɾϓϩϯϓτ࣮ߦ࣌ؒͷ෼ੳ ظ଴͞ΕΔޮՌɿ ɾϓϩάϥϜͷ໰୊ՕॴൃݟΑΓɺσʔλͷҾ͖౉͠ͷՄࢹԽ ɾ$-*εΩϧෆཁɺ୭Ͱ΋ಉ͡Α͏ʹ඼࣭Λ֬ೝ ɾରԠίετޮ཰ͷ޲্ɺBENJOπʔϧͷ։ൃෛՙݮ ɾӡ༻ϊ΢ϋ΢ͷ޲্ɺސ٬ରԠ࣌ؒ୹ॖɾ඼࣭޲্ ੜ੒"*ΞϓϦέʔγϣϯʹಛԽͨ͠؂ࢹϙΠϯτ
19. ಋೖݕূͰମײͨ͜͠ͱɿ • ӡ༻ʹࢀՃͰ͖Δϝϯόʔͷ૿ՃʢεΩϧΛٻΊͳ͍ʣ • ӡ༻ͷඪ४Խ΁ͷखԠ͑ • ։ൃνʔϜͷ࡞ۀޮ཰Խ • ؂ࢹࣗಈԽͷޮՌ ࠓޙͷظ଴ɿ • ৽--.Ϟσϧొ৔࣌ͷαʔϏεϨϕϧͷςετ޻਺ΛԼ͛Δ • ίϯςϯπϑΟϧλʔผɾΞΧ΢ϯτผͷ౷ܭɾՄࢹԽ • Τϥʔ࣌ʹґଘؔ܎ਤͰՄࢹԽʢͰ͖Ε͹ʣ • *4.4౳ͷӡ༻ͷ޲্ɾίετμ΢ϯ "*αʔϏεͷ҆ఆӡ༻ʹ޲͚ͯ
20. ʮ8BUTPO
    %JTDPWFSZ
    ͔ͩΒ࣮ݱͰ͖ͨɺ ۀ຿Ͱ࢖͑Δ"*׆༻ʯ ࣌ؒɿ ձ৔ɿలࣔձ৔ͷϛχγΞλʔʹͯʢ
    '
    ՚ͭͲ͍ ʣ ߨԋɿ੢ݪ த໵ ࢯʢגࣜձࣾΞΠΞΫτ
    औక໾$50ʣ σϞΛަ͑ͨ3"(ͷ࣮ફత׆༻ࣄྫΛ ͝঺հ͍ͨ͠·͢ ͜ͷޙͷηογϣϯͷ͝Ҋ಺
21. ೔࣌ɿ݄೔ʢ໦ʣ࣌ʙ ࣌෼ड෇։࢝ ৔ॴɿ೔ຊ*#.ശ࡚ࣄۀॴ Πϕϯτ಺༰ɿ ɾ*OTUBOBͷ஌ݟڞ༗ ɾϢʔβʔಉ࢜ͷަྲྀ ɾ๨೥ձΛ݉Ͷͨ࠙਌ձ ˞͓ؾܰʹ͝ࢀՃ͍ͩ͘͞ *OTUBOBϢʔβʔձ
    
    *OTUBOBVUT@KQ
    ͷ͝Ҋ಺ IUUQTJCNCJ[JOTUBOB ৄࡉ͸ͪ͜Β
22. ࣭ٙԠ౴
24. ϫʔΫγϣοϓɺηογϣϯɺ͓Αͼࢿྉ͸ɺ*#.·ͨ͸ηογϣϯൃදऀʹΑͬͯ४උ͞ΕɺͦΕͧΕಠࣗͷݟղΛ൓өͨ͠΋ͷͰ͢ɻͦΕΒ͸৘ใ ఏڙͷ໨తͷΈͰఏڙ͞Ε͓ͯΓɺ͍͔ͳΔࢀՃऀʹରͯ͠΋๏཯త·ͨ͸ͦͷଞͷࢦಋ΍ॿݴΛҙਤͨ͠΋ͷͰ͸ͳ͘ɺ·ͨ*#.੡඼΍αʔϏε͕͓ ٬༷ʹద༻͋Δಛఆͷ๏ྩʹద߹͢Δ͜ͱΛอূ͢Δ΋ͷͰ΋͋Γ·ͤΜɻຊߨԋࢿྉʹؚ·Ε͍ͯΔ৘ใʹ͍ͭͯ͸ɺ׬શੑͱਖ਼֬ੑΛظ͢ΔΑ͏౒ Ί͓ͯΓ·͕͢ɺʮݱঢ়ͷ··ʯఏڙ͞Εɺ໌ࣔ·ͨ͸໧ࣔʹ͔͔ΘΒͣɺ঎ۀੑɺಛఆͷ໨త΁ͷద߹ੑɺඇ৵֐ੑΛؚΊɺ͍͔ͳΔอূ΋൐Θͳ͍ ΋ͷͱ͠·͢ɻຊߨԋࢿྉ·ͨ͸ͦͷଞͷࢿྉͷ࢖༻ʹΑͬͯɺ͋Δ͍͸ͦͷଞͷؔ࿈ʹΑͬͯɺ͍͔ͳΔଛ֐͕ੜͨ͡৔߹΋ɺ*#.͸੹೚ΛෛΘͳ͍ ΋ͷͱ͠·͢ɻ ຊߨԋࢿྉͰݴٴ͞ΕΔ*#.੡඼ɺϓϩάϥϜɺ·ͨ͸αʔϏε͸ɺ*#.͕ϏδωεΛߦ͍ͬͯΔ͢΂ͯͷࠃɾ஍ҬͰ͝ఏڙՄೳͳΘ͚ Ͱ͸͋Γ·ͤΜɻຊߨԋࢿྉͰݴٴ͞ΕΔকདྷͷల๬ʢ੡඼ϦϦʔε೔෇΍੡඼ػೳΛؚΉʣ͸ɺࢢ৔ػձ·ͨ͸ͦͷଞͷཁҼʹج͍ͮͯ*#.ಠࣗͷܾ ఆݖΛ΋͍ͬͯͭͰ΋มߋͰ͖Δ΋ͷͱ͠ɺকདྷͷ੡඼·ͨ͸ػೳ͕࢖༻ՄೳʹͳΔ͜ͱɺ΋͘͠͸ಛఆͷ݁ՌΛ֬໿͢Δ͜ͱΛҙਤ͢Δ΋ͷͰ͸͋Γ ·ͤΜɻຊߨԋࢿྉ͸ɺݴٴ͞ΕΔ *#.੡඼·ͨ͸αʔϏεʹద༻͋Δܖ໿৚݅Λมߋ͢Δ΋ͷͰ΋ɺ௥Ճͷද໌·ͨ͸อূΛҙਤ͢Δ΋ͷͰ΋͋Γ· ͤΜɻ ຊߨԋࢿྉʹؚ·Ε͍ͯΔ಺༰͸ɺࢀՃऀͷ׆ಈʹΑͬͯಛఆͷ݁Ռ͕ੜ͡Δͱड़΂Δɺ·ͨ͸҉ࣔ͢Δ͜ͱΛҙਤͨ͠΋ͷͰ΋ɺ·ͨͦͷΑ͏ͳ݁Ռ ΛੜΉ΋ͷͰ΋͋Γ·ͤΜɻ ύϑΥʔϚϯε͸ɺ؅ཧ͞Εͨ؀ڥʹ͓͍ͯඪ४తͳ*#.ϕϯνϚʔΫΛ࢖༻ͨ͠ଌఆͱ༧ଌʹج͍͍ͮͯ·͢ɻϢʔβʔ ͕ܦݧ͢Δ࣮ࡍͷεϧʔϓοτ΍ύϑΥʔϚϯε͸ɺϢʔβʔͷδϣϒɾετϦʔϜʹ͓͚ΔϚϧνϓϩάϥϛϯάͷྔɺೖग़ྗߏ੒ɺετϨʔδߏ੒ɺ ͓Αͼॲཧ͞ΕΔϫʔΫϩʔυͳͲͷߟྀࣄ߲ΛؚΉɺ਺ଟ͘ͷཁҼʹԠͯ͡มԽ͠·͢ɻ͕ͨͬͯ͠ɺݸʑͷϢʔβʔ͕͜͜Ͱड़΂ΒΕ͍ͯΔ΋ͷͱ ಉ༷ͷ݁ՌΛಘΒΕΔͱ֬໿͢Δ΋ͷͰ͸͋Γ·ͤΜɻهड़͞Ε͍ͯΔ͢΂ͯͷ͓٬༷ࣄྫ͸ɺͦΕΒͷ͓٬༷͕ͲͷΑ͏ʹ*#.੡඼Λ࢖༻͔ͨ͠ɺ· ͨͦΕΒͷ͓٬༷͕ୡ੒ͨ݁͠Ռͷ࣮ྫͱͯࣔ͠͞Εͨ΋ͷͰ͢ɻ࣮ࡍͷ؀ڥίετ͓ΑͼύϑΥʔϚϯεಛੑ͸ɺ͓٬༷͝ͱʹҟͳΔ৔߹͕͋Γ·͢ɻ *#.ɺ*#.
    ϩΰɺJCNDPNɺ*#.
    8BUTPOɺ*OTUBOBɺXBUTPOY͸ɺੈքͷଟ͘ͷࠃͰొ࿥͞Εͨ*OUFSOBUJPOBM
    #VTJOFTT
    .BDIJOFT
    $PSQPSBUJPOͷ঎ඪ Ͱ͢ɻଞͷ੡඼໊͓ΑͼαʔϏε໊౳͸ɺͦΕͧΕ*#.·ͨ͸֤ࣾͷ঎ඪͰ͋Δ৔߹͕͋Γ·͢ɻݱ࣌఺Ͱͷ *#.
    ͷ঎ඪϦετʹ͍ͭͯ͸ɺ XXXJCNDPNMFHBMDPQZUSBEFTIUNMΛ͝ཡ͍ͩ͘͞ɻ $PHNP
    4FBSDIɺ
    $PHNP͸גࣜձࣾΞΠΞΫτͷ঎ඪͰ͢ɻ$IBU(15͸0QFO"*ࣾͷ঎ඪͰ͢ɻ