社内AIエージェント「Askワンバン」における コストチューニングの取り組み

AI活用 LT祭り ─ あの人・あの会社のAI活用事例 (2026/10/29)の登壇資料です。
https://supporterz-seminar.connpass.com/event/406206/

Transcript

1. 社内AIエージェント「Askワンバン」における コストチューニングの取り組み t0yohei @ AI活用 LT祭り ─ あの人・あの会社のAI活用事例 (2026/10/29)
2. 自己紹介
3. t0yohei(とよへい) Software Engineer(Freelance) SmartBank, Inc. @t0yohei @t0yohei
4. 話す内容 1. Ask ワンバンの紹介 2. コストチューニング前の Ask ワンバン 3. Ask ワンバンで実施したコストチューニング 4. 取り組みからの学び
5. Ask ワンバンの紹介
7. Ask ワンバンの紹介 Ask ワンバンは社内データ活用のための AI エージェント
8. Ask ワンバンの紹介 Vercel AI SDK で Anthropic の Model を利用
9. Ask ワンバン
10. Ask ワンバン 続・戦略と実行を爆速でつなぐデータ活用の現在地: LLM 編
11. コストチューニング前の Ask ワンバン
12. 利用量・利用料金が右肩上がり
13. いくつかのコスト最適化は既に実施されていた • 作業の複雑度に応じた利用モデルの切り替え ◦ メインチャット: 上位モデル(Claude Opus) ◦ schedule 実行、サブエージェント: 中位モデル(Claude Sonnet) ◦ タイトル生成: 軽量モデル(Claude Haiku) • MCP のレスポンスを 10,000 文字に切り詰める
14. Ask ワンバンで実施したコストチューニング
15. コストチューニング？ • コスト最適化をちょっとカッコ良く言いました • 実施することはコスト削減よりもパフォーマンスチューニングに近い ◦ 単にコストを下げることがゴールじゃない ◦ AI エージェントの対応品質を落とさず最適化する
16. 実施した施策 • 1. Compaction の導入と最適化 • 2. Prompt caching の最適化 • 3. 最適なモデルの選択
17. 1. Compaction の導入と最適化
18. 1. Compaction の導入と最適化 そもそも Compaction って？ 出典: https://platform.claude.com/docs/ja/build-with-claude/compaction-on-demand
19. 1. Compaction の導入と最適化 • Opus (4.6 〜 5.5) の context window は 1,000,000 token ◦ • • 会話が長く続くとその分費用がかさむ Compaction はやればやるだけいいってものではない ◦ Compaction 時の context の喪失による会話品質劣化 ◦ Compaction block の生成にも費用が発生 閾値は 400,000 token から始めて計測しつつ 300,000 token に調整
20. 1. Compaction の導入と最適化 約 5 % のコストを削減(理論値)
21. ここで半分
22. 2. Prompt caching の最適化
23. 2. Prompt caching の最適化 AI Agent のコストは Input, Output と Prompt caching の read, write の合計額で決まる Output Input Prompt caching read Prompt caching write 出典: https://platform.claude.com/docs/ja/about-claude/pricing#model-pricing
24. 2. Prompt caching の最適化 Token 毎のコスト構造は管理画面などから確認できる
25. 2. Prompt caching の最適化 Prompt caching の read は Input の 20 倍安いので、上手く活用することでコストを削減できる 出典: https://platform.claude.com/docs/ja/about-claude/pricing#model-pricing
26. 2. Prompt caching の最適化 System Prompt から毎回の会話で変わるもの (時刻)を除去し caching write を削減
27. 2. Prompt caching の最適化 明示的な cache breakpoint 指定で、セッションを跨いで cache を利用
28. 2. Prompt caching の最適化 余分な Prompt caching write が減って、15 % のコストを削減(理論値)
29. 3. 最適なモデルの選択
30. 3. 最適なモデルの選択 • (おさらい)作業の複雑度に応じた利用モデルの切り替え ◦ メインチャット: 上位モデル(Claude Opus) ◦ schedule 実行、サブエージェント: 中位モデル(Claude Sonnet) ◦ タイトル生成: 軽量モデル(Claude Haiku)
31. 3. 最適なモデルの選択 徐々に安くなる上位モデル 出典: http://platform.claude.com/docs/en/about-claude/pricing#model-pricing
32. 3. 最適なモデルの選択 どんどん安くなる中位モデル 出典: https://platform.claude.com/docs/ja/about-claude/pricing#model-pricing
33. 3. 最適なモデルの選択 モデルの更新だけで 25 % 以上のコストを削減(理論値)
34. 3. 最適なモデルの選択 OpenAI の GPT-6.1-sol は検証中 出典: https://developers.openai.com/api/docs/pricing
35. コストチューニングの結果
36. コストチューニングの結果: 全体のコスト
37. コストチューニングの結果: 1 会話あたりのコスト
38. 今後の課題 • 試せていない施策はたくさん ◦ チャット内容に応じたモデルの自動選択 ◦ Proxy などを利用した Input, Output token の削減 • 応答品質が本当に悪化してないか？ ◦ 明示的な不満が出ないことは確認してたけど...
39. 取り組みからの学び
40. ボトルネックの特定が大事
41. ボトルネックの特定が大事 • 実は最初の 3 ヶ月は何の成果も得られなかった ◦ • OpenAI の Model への切り替えを進めたけど... Token 利用量(Input, Output, Prompt caching の read, write) をきちんと記録し始めると改善が進んだ ◦ • 調査の効率化、優先順位付け パフォーマンスチューニングと同じ！
42. ご清聴ありがとうございました🙌
43. We’re Hiring “AIの本番運⽤”を、⾦融のど真ん中で。 「ワンバンク」のカード決済は今年度1,000億円超の⽔準。AIで⾦融業務を変える新規toB事業も始動しています サーバサイド ソフトウェアエンジニア （AI領域） SRE Visa接続の決済‧カード発⾏ 基盤を⾃社開発‧運⽤ LLM×⾦融の新規toB事業を 0→1でつくる PCI DSS準拠×⾼可⽤性。 給料⽇の⾼負荷にも耐える基盤 Go‧Ruby on Rails‧AWS Ruby‧LLM‧AIエージェント AWS‧コンテナ‧Terraform iOS セキュリティ ユーザー接点の中⼼で 課題発⾒から効果測定まで担う 1⼈⽬のプロダクトセキュリティ。 速さと安全を仕組みで両⽴ カジュアル⾯談 歓迎です！ 求⼈⼀覧はこちら Swift‧Xcode Cloud 脅威モデリング‧AWS