Bedrockの利用料を削減！Novaで実現するプロンプトルーティング.pdf

Transcript

1. Bedrockの利用料を削減！ Novaで実現するプロンプトルーティング クラウドビルダーズ株式会社 川畑明良 2025年3月26日 1
2. 自己紹介 クラウドビルダーズ株式会社 川畑 明良 ・2023年 Jr.Champions ・2023, 2024年 All Certificate ・CDKとAIが好きです 2 ・F1よく見てます（マクラーレン推し）
3. アジェンダ 01 . LLM利用の課題 02 . Intelligent Prompt Routingについて 03 . 独自開発してみた 04 . コスト比較 05 . やってみた 06 . まとめ 3
4. LTの目的 4 Bedrockをコスパよく使おう！
5. Bedrockって何？ Amazon Bedrockの基本情報 • AWSが提供するフルマネージドのAIサービス • 色んなAIモデルを簡単に利用できる • Claude、Llama、Nova等のモデルを提供 • めちゃ便利なのでみんな使ってね！ 5
6. LLM利用の課題 6
7. LLM利用の課題 コストと質のトレードオフ • 優秀なモデルを使うと費用が高くなる • 安いモデルを使うと回答の質が下がる可能性がある • すべてのユーザーが適切なモデル選択をするのは難しい • 料金と回答の質がトレードオフになっている 7 コスト トークン ル コスト a u a u S e ル Claude a u Claude a u Claude S e コスト トークン
8. LLM利用の課題 コストと質のトレードオフ • 優秀なモデルを使うと費用が高くなる • 安いモデルを使うと回答の質が下がる可能性がある • すべてのユーザーが適切なモデル選択をするのは難しい • 料金と回答の質がトレードオフになっている 8 コスト トークン ル コスト a u a u S e ル Claude a u Claude a u Claude S e コスト トークン もっと簡単に ルの使 い分けしたいよ…
9. しかし、時は2024年12月... 9
10. re:Inventにて その課題を解決するサービスが発 された 10
11. その名も「Intelligent Prompt Routing」 11
12. Intelligent Prompt Routing とは Amazon Bedrock Intelligent Prompt Routing • 各モデルの応答品質を予測し適切なモデルに自動ルーティング • 同じモデルファミリー内の複数モデルを組み合わせて最適化（ClaudeとLlamaのみ） • コスト最大30%削減可能 • 追加料金なし 12
13. Intelligent Prompt Routing とは Amazon Bedrock Intelligent Prompt Routing • 各モデルの応答品質を予測し適切なモデルに自動ルーティング • 同じモデルファミリー内の複数モデルを組み合わせて最適化（ClaudeとLlamaのみ） • コスト最大30%削減可能 • 追加料金なし 13 安い ルと優秀な ルに いい感じに振り分けてくれる
14. しかし、制限事項が... 14
15. 制限事項 Intelligent Prompt Routingの制限事項 • 現在はプレビュー段階 • 英語のプロンプトのみサポート（日本語未対応） • 利用可能なリージョンは限定的（us-east-1、us-west-2のみ） 15
16. 日本語対応してないじゃん… 16
17. なので作っちゃいました 17
18. 独自開発プロンプトルーティング 処理フロー 1. プロンプトの受け取り 2. Nova Liteによる内容の判断 3. 判断結果に基づいてモデル選択 4. 選択されたモデルによる処理 5. 結果の返却 18
19. 独自開発プロンプトルーティング 処理フロー 1. プロンプトの受け取り 2. Nova Liteによる内容の判断 3. 判断結果に基づいてモデル選択 4. 選択されたモデルによる処理 5. 結果の返却 19
20. ルーティング ルの選定 なぜNova Liteを選んだのか • 低コスト：判断処理自体のコストを最小限に抑えられる • 高速応答：1秒未満という高速な判断が可能 • 十分な精度：タスクの複雑さを適切に判断可能 20 • マルチモーダル対応：Nova Microはマルチモーダル非対応 ※ Bedr c 非対応だがGeminiのモデルもありかも
21. 独自で作ったメリット 独自開発による改善点 • 日本語完全対応 • リージョン制限なし • カスタマイズ自由 • ル選択の柔軟 21
22. 機 機 ／特徴 Amazon Bedrock IPR 独自開発プロンプトルーティング 言語対応 英語のみ 日本語含む全言語対応 ✓ リージョン us-east-1, us-west-2のみ 制限なし ✓ ルーティング カスタムルーターがあるが、制限あり 完全自由 ✓ ル選択 同一ファミリー内のみ 任意の ル組み合わせ可 ✓ 22
23. 気になるお金の話 23
24. コスト 前提条件: 100 トークン、 200 トークン、全てClaude 3.7 Sonnetで処理していると仮定 ルーティングありの場合：30%のプロンプトをHaikuに振り分け、Haikuの トークン数はSonnetの80%と仮定 各 ルの料金（100 トークンあたり）: ・Claude 3.7 Sonnet: $3.00 / $15.00 ・Claude 3.5 Haiku: $0.80 / $4.00 ・Amazon Nova Lite: $0.06 / $0.24 項目 ルーティングなし ルーティングあり 使用モデル Claude 3.7 Sonnetのみ Sonnet + Haiku + Nova Lite コスト $3.00 $2.10 + $0.24 + $0.06 = $2.40 コスト $30.00 $21.00 + $1.92 + $0.00 = $22.92 合計コスト $33.00 $25.32 24
25. こんなに安くなった コスト削減効果の詳細 • S e だけで処理した場合：$33.00 • プロンプトルーティング導 ：$25.32 • 削減額：$7.68 • コスト削減率：約23.3% $33.00 $25.32 ルーティングなし ルーティングあり 25 ※ 利用状況に応じて料金は変動します
26. こんなに安くなった コスト削減効果の詳細 • S e だけで処理した場合：$33.00 • プロンプトルーティング導 ：$25.32 • 削減額：$7.68 • コスト削減率：約23.3% $33.00 $25.32 ルーティングなし ルーティングあり 26 ※ 利用状況に応じて料金は変動します 前提条件に基づいた場合 Haikuへ0.25%以上 ルーティングされると 利用するメリットがある
27. やってみた 27
28. 実装方法 Pythonのスクリプトを作成して先ほどの処理フローを実装 ↓詳しくはこちら↓ 28 https://github.com/kawabata-mcl/prompt-routing
29. やってみた プロンプトルーティングのテスト方法 • 様々な種類のプロンプトを用意 • 各プロンプトでNova Liteの判断精度を検証 • 応答時間と適切なモデル選択率を測定 29 ※G ubに詳細な結果を格納してあります
30. 検証結果 Nova Liteによるルーティング判断の精度 • 判断の平均速度：0.46秒と高速 • 簡単なタスクはHaiku、複雑なタスクはSonnetに正確にルーティング 30
31. 検証結果 Nova Liteによるルーティング判断の精度 • 判断の平均速度：0.46秒と高速 • 簡単なタスクはHaiku、複雑なタスクはSonnetに正確にルーティング 31 トークンが多くても 1秒未満のレスポンス
32. 工夫した点 実装における工夫 1. Nova Liteのプロンプト設計とルーティング判断のシンプル化 2. エラー処理 3. 推論パラメータの最適化 32
33. 工夫した点① Nova Liteへのプロンプト設計とルーティング判断のシンプル化 • プロンプト結果をバイナリ （0/1）に限定 • 明確な判断基準を提示し、一貫性のある結果を確保 • 余計な を排除したことによる高速化とトークン削減 33 • プロンプト次第でルーティングロジックは自由に設定可能
34. 工夫した点② エラー処理 • 不明確な回答時のデフォルトモデル設定 • エラー発生時でも確実に応答できる仕組み • システムの信頼性と回復 の向上 • デフォルトモデルを柔軟に変更可能 34
35. 工夫した点③ 推論パラメータの最適化 • リクエスト時の推論パラメータを最適化 • maxT e s: （「0」または「1」の回答のみ必要） • empera ure: （決定的な判断を促す最低温度設定） 35
36. まとめ プロンプトルーティングの効果 • Nova Liteを使って独自のプロンプトルーティングを実装 • レスポンス速度の低下は最低限に品質の担保を実現 • コスト削減効果20%程度は期待できる • 何よりカスタマイズ性があるのがうれしい 36 • 個人的にはNovaの特性を生かした利用の仕方ができて良かった
37. ありがとうございました 是非自前でプロンプトルーティングを実装してみてね！ クラウドビルダーズ株式会社 川畑 明良 37 ↑今回の内容のブログ https://www.cloudbuilders.jp/articles/5896/