ChatGPT活用サービスの スケール時の落とし穴と対策 - 生成AIにおけるpiconのこれまでのチャレンジと今後 -

Transcript

1. גࣜձࣾpicon COO ौ୩޾ਓ ChatGPT׆༻αʔϏεͷ
 εέʔϧ࣌ͷམͱ݀͠ͱରࡦ - ੜ੒AIʹ͓͚Δpiconͷ͜Ε·ͰͷνϟϨϯδͱࠓޙ -
2. ౦ژେֶதୀޙɺגࣜձࣾQJDPO
   ڞಉ૑ۀɻ
   "*νϟοτ͘Μͷ1.
   
   ։ൃ
   
   13
   
   Ϗζσϒ ͳͲɺ෯޿͘୲౰ɻ
   
   ޷͖
   α΢φɺΫϥϑτϏʔϧɺφνϡϥϧϫ ΠϯɺʢαʔϑΟϯʣ
   
   5XJUUFS
   !ZVLJUP@TIJCVZB ौ୩޾ਓ
   
   4IJCVZB
   :VLJUP
12. 8IJTQFS
    "*Λ׆༻
14. 3/2 • ىচ: ChatGPT APIͷϦϦʔεϝʔϧ͕ಧ͍ͯΔ • ޕલத: ݩʑ͋ͬͨΞϓϦͷΞϓσ࡞ۀʢ࣭ͱ଎౓Ͱֵ໋Λײ͡Δʣ • ޕޙ: ࣗ෼ͰɺεϚϗͰ࢖͏ͳΒLINEͩͳͱࢥ͍ϓϩτλΠϓ࡞Δ • ༦ํ: ୅දͷshosemaruʹϦϦʔε͍͍͔ͯ͠ฉ͘ -> OK͕ग़Δ • ໷: ʮAIνϟοτ͘ΜʯͷϦϦʔεπΠʔτ ίʔυͷ8ׂ͙Β͍͸ChatGPTʹॻ͍ͯ΋Βͬͨ ։ൃ·ͰͷܦҢ
15. • Server: Cloud Functionsʢnode.jsʣ • DB: Firestore • ࢖͍ͬͯΔAPI: ChatGPT / LINE API ౰ॳͷߏ੒ Φʔτεέʔϧ / αʔόʔϨεͰ؆୯ϥΫϥΫʢͱࢥ͍ͬͯͨʣ
17. • 7/4࣌఺ ొ࿥ऀ਺12ສ௒͑ • ࣗલPC΍ϞσϧͷηοτΞοϓෆཁ • ೔ຊޠରԠ • image 2 imageʹ΋ରԠ AIΠϥετ͘Μͷಛ௃ ೔ຊޠରԠʂLINEͰStable Di ff usionΛ࢖͑ΔαʔϏε
18. ChatGPT׆༻αʔϏεͷ
 εέʔϧ࣌ͷམͱ݀͠ͱରࡦ
19. $0.002/1000 tokenɺ1000 token / 1requestͱԾఆ͢Δͱ
 60000request/month…શવ଍Γͳ͍ ໰୊1: usage limitͷॳظ஋͕খ͗͢͞Δ… ՝ۚ௚ޙͷusage limit͕MAXͰ΋120υϧ/month
20. • piconͰ͸… • 2/4ʹAIνϟοτ͘Μͷલ਎ͰGPT-3ΛνϟοτܗࣜͰ࢖͑ΔΞϓϦ ʢFlutterʣΛϦϦʔεࡁΈͩͬͨ • ͦͷͨΊɺૣΊʹ໰୊ʹͿͪ౰ͨΓɺগ࣮ͣͭ͠੷Λ࡞Εͨ • Tips • Quotaͷਃ੥͸ɺଟ͗͢Δ͔ΒϦδΣΫτͬͯ͜ͱ͸ͳ͍ͷͰଟΊ ͰOK • ਃ੥͔Βঝೝ·Ͱ͸਺೔͙Β͍ ରࡦ: ૣΊʹૣΊʹҾ্͖͛ਃ੥͢Δ ໰୊1: usage limitͷॳظ஋͕খ͗͢͞Δ…
21. • OpenAIͷμογϡϘʔυͰ͔͔͍ͬͯΔඅ༻Λݟ͍ͯͨ • ϦϦʔε͔Β਺೔ޙʹԿނ͔ίετ͕10ഒ͙Β͍ʹͳ͍ͬͯͨ • μογϡϘʔυͷόάͩͱࢥ͏ͷͰɺࠓ͸࣏ͬͯͦ͏͚ͩͲ… ରࡦ: ϦΫΤετ਺ x total_tokenͰ༧ଌ͓͍ͯͨ͠ํ͕͍͍ ໰୊2: μογϡϘʔυʹ൓ө͞Ε͍ͯͨՁ͕֨όάͬͯΔ
22. ରࡦ: ໰୊3: RateLimitͲ͏͠Α͏΋ͳ͍… OpenAI Azure OpenAI MAXϦΫΤετ/min 3,500 300
 → ഇࢭʹͳͬͨʁ MAXτʔΫϯ਺/min 90,000 120,000
 200,000 500τʔΫϯ/req ͷͱ͖ͷmaxϦΫΤετ/min 180 240
 400
23. ରࡦ: ΠϯελϯεΛෳ਺ཱͯͯෛՙ෼ࢄ ໰୊3: RateLimitͲ͏͠Α͏΋ͳ͍… • RateLimitͷҾ্͖͛͸ɺAzure΋OpenAI΋΄΅ແཧͬΆ͍ • Azure OpenAIͩͱɺϦʔδϣϯ͝ͱʹ2ΠϯελϯεཱͯΒΕΔ • OpenAIͱAzure OpenAIͷซ༻΋͋Γ • ΠϯελϯεΛෳ਺ཱͯͯɺϦΫΤετΛ෼ࢄͤ͞Δ͜ͱͰճආ͢Δ ͔͠ͳ͍ • ࢀߟ: Azure OpenAI Service΁ͷෛՙ෼ࢄ • https://logico-jp.io/2023/06/08/request-load-balancing-for-azure- openai-service/
24. • ʮAIνϟοτ͘Μ͸ແྉͰ͔͢ʁʯͱ͔ΊͬͪΌฉ͘ • ͔͠͠ɺద౰ͳ౴͕͑ฦ͖ͬͯͯ͠·͏ -> UXతʹ࠷ѱ • ར༻ن໿ / ϓϥΠόγʔϙϦγʔ / ղ໿ಋઢͳͲ… ରࡦ: ༧໿ޠΛ࡞ͬͯɺఆܕจΛฦ͢Α͏ʹ͢Δ ͦͷଞ: ࣗ෼ࣗ਎ͷ৘ใΛ஌Βͳ͍໰୊
25. piconͷࠓޙʹ͍ͭͯ
26. • ݱঢ়͸ɺڵຯຊҐͰ৮ͬͯΈ͚ͨͲɺ೔ৗʹਁಁ͢Δͱ͜Ζ·Ͱདྷ͍ͯͳ͍
 →΋ͬͱ༷ʑͳར༻ͷ࢓ํΛಧ͚͍͖͍ͯͨ • AIνϟοτ͘Μ͸Yahoo!JAPANΛ໨ࢦ͍ͯ͘͠ʢChatGPT͸Googleʣ
 →୭Ͱ΋ؾܰʹར༻Ͱ͖ͯɺ਌͠Έͷ͋ΔαʔϏεΛ໨ࢦ͍ͯ͘͠ • picon͸ɺੜ੒AI͕ίϯγϡʔϚʔͷੜ׆ʹͲ͏ͨ͠Βਁಁ͍ͯ͘͠ͷ͔ʁʹ ޲͖߹͍ͬͯ͘
 → ݱࡏɺ͢ͰʹاըதͷϓϩμΫτ2ͭ͋Γɺ೥಺ϦϦʔεΛ໨ࢦ͢
 → ·ͩਖ਼ղͷͳ͍ྖҬͰɺٕज़໘ɺUX໘ʹ΋νϟϨϯδ͍ͯ͘͠ ChatGPT/ੜ੒AIΛ·ͩ·ͩΈΜͳ࢖͍͜ͳ͍ͤͯͳ͍ ݱঢ়ͷ՝୊
27. • ܦӦϝϯόʔͷ1ਓͯ͠ࣄۀܭըʹଇΓɺϓϩμΫτϩʔυϚοϓͷࡦఆͱ։ൃͷϚωδϝϯτ • ෳ਺ϓϩμΫτʹ͓͚Δऩӹੑͷ޲্ • ։ൃνʔϜͷϚωδϝϯτʢ࠾༻/ҭ੒ʣ CPOީิ: ϏδϣϯΛϓϩμΫτʹམͱ͠ࠐΈɺऩӹԽ·Ͱ͍͚࣋ͬͯΔํ ੜ੒AIͷະདྷΛҰॹʹͭ͘ΔਓɺେืूதͰ͢ɻ CTOީิ: ࣾ಺֎ͷνʔϜͱͱ΋ʹpiconΛٕज़ͰϦʔυͯ͘͠ΕΔํ • ܦӦϝϯόʔͷ1ਓͯ͠։ൃνʔϜͷ૊੒ • ٕज़ઓུͷࡦఆͱ࣮ߦ • ֎෦ύʔτφʔͷϚωδϝϯτ C޲͚ͷྖҬͰɺϢʔβʔʹ޲͖߹ͬͨ։ൃΛ͢ΔจԽͰ͢ɻ
28. ͥͻ͜ͷ͋ͱ͓࿩͠·͠ΐ͏ !ZVLJUP@TIJCVZB 5XJUUFS 'BDFCPPL ͝࿈བྷ͓଴͓ͪͯ͠Γ·͢ɻ