Samba Cloudの高速推論を活用した模範解答分析と開発知見

Transcript

1. 4BNCB
   $MPVEͷߴ଎ਪ࿦Λ
   ׆༻ͨ͠໛ൣղ౴෼ੳͱ։ൃ஌ݟ Samba Cloud Tokyo Mingle 4 2025೥10݄7೔ גࣜձࣾ ϚΠΫϩγϛϡϨʔγϣϯ
2. ࣗݾ঺հ גࣜձࣾϚΠΫϩγϛϡϨʔγϣϯ ٱอ ҏ৫ σδλϧ࠾఺αʔϏεtestusͷ։ൃ
3. ໛ൣճ౴ ࠾఺ج४ LLMʹΑΔ࠾఺ LLMΛ׆༻ͨ͠࠾఺ϑϩʔ
4. ࠾఺ج४ੜ੒ͷͨΊͷ໛ൣղ౴෼ੳͱϞσϧͷੑೳ ໛ൣղ౴: εϙʔπΛ͢Δ͜ͱ͸ɺָ͍͚ͩ͠Ͱͳ͘ɺ݈߁ʹ΋ྑ͍ɻ ## ໛ൣճ౴ͷ෼ྨ ɾӳจ࿨༁ ɾ࿨จӳ༁ ɾࣗ༝ӳ࡞ ## ໛ൣղ౴ͷ෼ੳ ΠσΟΦϜ΍ߏจ จ๏ ## ࠾఺ج४ͷੜ੒ Prompt gemini-2.5-flash( ⚪︎ ) gemini-2.5-flash-lite(×) ӳ༁ͱͯ͠ͷ ج४ʹͳ͍ͬͯΔ
5. ίετͱੜ੒࣌ؒ ※1 τʔΫϯྔͱੜ੒࣌ؒ͸Google AI studioΛ࢖༻ ※2 ίετܭࢉ͸Vertex AIͷྉۚදΑΓࢉग़ ※3 ίϯςΩετΩϟογϡͷ࢖༻ͳ͠ ࠾఺ج४ੜ੒ϓϩϯϓτʹର͢Δ֤Ϟσϧ͝ͱͷൺֱ ϞσϧͷܰྔԽʹΑΓ ίετͱੜ੒࣌ؒͷվળ Λ࣮ݱ͍ͨ͠ 1288.8×10-6 $, 5.1s 336.5×10-6 $, 3.3s ࣄલʹ໰୊λΠϓͷ෼ྨ ϓϩϯϓτ࠷దԽ ʴ ίετ1/4 ੜ੒࣌ؒ-2s
6. Samba CloudΛ༻͍ͨࣄલߴ଎ਪ࿦ͷ׆༻ ϦΞϧλΠϜੑΛॏࢹ͠Samba CloudΛબ୒ ਖ਼౴ͷೖྗ͔Β λάΛಈతੜ੒ ※1 gpt-oss120BͷReasoningEffort͸Lowʹઃఆ ※2 ίϯςΩετΩϟογϡͷ࢖༻ͳ͠ geminiͱSamba Cloudͷൺֱ 0.62s 2.9s λάΛ༻͍ͯ ࠾఺ج४Λੜ੒
7. ίετͱੜ੒࣌ؒͷվળ ࠾఺ج४ੜ੒ͷίετͱੜ੒࣌ؒ ίετɿ 40%Ҏ্࡟ݮ ੜ੒࣌ؒɿ ໿2sվળ 742.62×10-6 $ 1288.8×10-6 $ 5.1s 3.3s ※ੜ੒࣌ؒ͸࠾఺ج४ͷੜ੒ͷΈͰgpt-ossͷਪ࿦࣌ؒ͸ؚΜͰ͍·ͤΜ
8. ಘΒΕͨ஌ݟͱࠓޙͷ։ൃ λεΫΛ෼ղܰ͠ྔͳϞσϧΛ૊Έ߹ΘͤΔ͜ͱͰίετͱੜ੒͕࣌ؒվળ σʔληοτͱLLM as a judgeΛ׆༻ͨ͠Ϟσϧɾϓϩϯϓτ࠷దԽ ΑΓΠϯύΫτͷ͋Δ࠾఺෦෼΁ͷ׆༻(ੜె਺×໰୊਺)
9. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ
10. Appendix 1ɹGeminiͷίετ಺༁ Ϟσϧ input($/1Mtok) output($/1Mtok) 2.5-flash 0.3 2.5 2.5-flash-lite 0.1 0.4 Vertex AI Ͱͷ AI ϞσϧͷߏஙͱσϓϩΠʹ͔͔Δඅ༻ https://cloud.google.com/vertex-ai/generative-ai/pricing
11. Appendix 2ɹSamba CloudͷϞσϧൺֱɹ Ϟσϧ input($/1Mtok) output($/1Mtok) gpt-oss-120B 0.22 0.59 DeepSeek-V3.1 3.00 4.50 Qwen3-32B 0.40 0.80 Samba Cloud Pricing by Model Family & Usage Type https://cloud.sambanova.ai/plans/pricing