生成AIモデル選定を『ブランド』から『検証』へ。有名×最新＝最適ではなかった。。。

Transcript

1. 新年度前に振り返ろう！失敗から学んだ教訓 LT Night TOPPANデジタル株式会社 小松泰士 2026/3/11
2. 2 ©TOPPAN Digital Inc. 自己紹介 小松 泰士（こまつ たいし） ◼ 所属： TOPPANデジタル株式会社 ◼ 役割： Webアプリケーション開発 / クラウド環境構築(AWS)など ◼ 資格： AWS Certified Generative AI Developer Professionalに挑戦予定 !! ◼ 好きなサービス： Lambda, Bedrock ◼ 趣味：ゲーム(Leage of Legends) / Codexを使用した個人アプリ開発
3. 3 ©TOPPAN Digital Inc. 結論 生成AIモデルのバージョンを そのままアップグレードしても精度が良くなるとは限らない モデルが変わればプロンプトのベストプラクティスも変わる 再検証は必須
4. 4 ©TOPPAN Digital Inc. 過去の成功体験 対象モデル AWS Claude sonnet AWS Claude haiku Google Gemini pro Google Gemini flash 処理速度 約6秒 約3秒 約2秒 約3秒 読み取り精度 〇 △ 〇 〇 画像認識精度 〇 △ ※2025年5月時点 AWS Bedrock経由で画像入力を扱えるモデルを検証 ◼ 対象：非定型の券面(フォーマットがバラバラ・手書きあり) ◼ 処理：画像から生成AIで情報を抽出 ◼ 採用モデル：Claude 3.5 Sonnet ◼ 当時は一番高い性能を達成し、無事リリースが完了
5. 5 ©TOPPAN Digital Inc. 忍び寄るEOL(サポート終了)の影 ◼ AIモデルのライフサイクルは非常に短い ◼ EOLに早期に対応しないとコスト倍増のリスクあり ◼ 2026年1月時点で最新のClaude 4.5 Sonnetをターゲットに
6. 6 ©TOPPAN Digital Inc. 同じClaude Sonnetの上位版だから 今のプロンプトで勝手に精度も勝手に上がるだろう 当時の思考 失敗：脳死バージョンアップの罠 精度がまったく向上しない それどころか、一部のタスクで悪化 出力フォーマットが崩れるケースが多発 結果
7. 7 ©TOPPAN Digital Inc.
8. 8 ©TOPPAN Digital Inc. 性能差ではなく、モデルの“個性”の違い 旧モデル(Sonnet 3.5) • 空気を読む「柔軟なアシスタント」 • 曖昧な指示でも文脈から補完 • プロンプトが緩くてもよしなに整形する 新モデル(Sonnet 4.5) • 指示に忠実な「厳格なアシスタント」 • 曖昧な部分は勝手に補完しない • 出力仕様が曖昧だと抜け漏れが発生する プロンプトの解釈方法が全く異なる
9. 9 ©TOPPAN Digital Inc. どう乗り越えたか：プロンプトの再設計 Claude公式のベストプラクティス https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices ◼ XMLタグを使用した構造化： <rules>や<output_format>等のXMLタグを使用 し、出力スキーマと制約を明確に定義 ◼ 曖昧さの排除： 暗黙の期待を排除し、「必ず〜せよ」を明文化 ◼ Few-shotの追加： プロンプトだけでなく出力の具定例(Few-shot)を 追加
10. 10 ©TOPPAN Digital Inc. どう乗り越えたか：ブランド信仰の脱却 『Sonnet一択』からの脱却と検証 検証で見出した Qwen2.5-VL(72B/7B) 最新モデルへの執着をやめ、 別のモデルも含めた検証を実施 ◼ 高いOCR性能： 多言語の文字の読み取りに強い ◼ コスト破壊： 利用料がSonnetの1/5と圧倒的安価 結論：モデルごとの強みを活かしたマルチモデル化へ
11. 11 ©TOPPAN Digital Inc.