Bedrock のコスト監視設計

JAWS-UG東京 ランチタイムLT会 #29 で話した資料です。
connpass: https://jawsug.connpass.com/event/370918/
アーカイブ: https://www.youtube.com/watch?v=Y7sxtxR06xE

Transcript

1. © 2025 Wantedly, Inc. Bedrock のコスト監視設計 JAWS-UG東京 ランチタイムLT会 #29 2025-11-20 - Hayato Kawai (@fohte)
2. © 2025 Wantedly, Inc. ⾃⼰紹介 名前 Fohte (ふぉーて) 川井 颯人 (Hayato Kawai) 所属 • ウォンテッドリー株式会社 Infra Squad • Japan Datadog User Group
3. © 2025 Wantedly, Inc. 今⽇話すこと 1. Bedrock とは? 2. Bedrock のコスト監視設計の難しさ 3. ウォンテッドリーでの監視設計
4. © 2025 Wantedly, Inc. 今⽇話すこと 1. Bedrock とは? 2. Bedrock のコスト監視設計の難しさ 3. ウォンテッドリーでの監視設計
5. © 2025 Wantedly, Inc. AWS が提供する生成 AI プラットフォーム • Claude などのモデルを呼び出せる機能 • モデルの有害な入出力をブロックする機能 (Guardrails) • AI エージェント作成のためのマネージドサービス (AgentCore) • など Bedrock とは?
6. © 2025 Wantedly, Inc. AWS が提供する生成 AI プラットフォーム • Claude などのモデルを呼び出せる機能 (今回の話) • モデルの有害な入出力をブロックする機能 (Guardrails) • AI エージェント作成のためのマネージドサービス (AgentCore) • など Bedrock とは?
7. © 2025 Wantedly, Inc. Bedrock のモデルを呼び出してみる
8. © 2025 Wantedly, Inc. Bedrock のモデルを呼び出してみる converse という API でモデルを呼び出せる
9. © 2025 Wantedly, Inc. Bedrock のモデルを呼び出してみる モデル ID を指定する (今回の例では gpt-oss-120b を使用)
10. © 2025 Wantedly, Inc. Bedrock のモデルを呼び出してみる プロンプトを渡すだけ
11. © 2025 Wantedly, Inc. 今⽇話すこと 1. Bedrock とは? 2. Bedrock のコスト監視設計の難しさ 3. ウォンテッドリーでの監視設計
12. © 2025 Wantedly, Inc. (前提) コスト監視したいもの • 誰が (人, アプリケーション) • いつ • どのくらいモデル を使っていたか知りたい Bedrock のコスト監視設計の難しさ
13. © 2025 Wantedly, Inc. Cost Explorer の限界 Cost Explorer でも見られるが、 「誰が」Bedrock を利用していたのかは分からない どのモデルをいつ 使っていたかはわかる
14. © 2025 Wantedly, Inc. 今⽇話すこと 1. Bedrock とは? 2. Bedrock のコスト監視設計の難しさ 3. ウォンテッドリーでの監視設計
15. © 2025 Wantedly, Inc. ウォンテッドリーでは次のように設計した • 用途ごとに inference profile を用意する • 詳細に見たい箇所は model invocation logging を 有効化してログをクエリする Bedrock のコスト監視設計
16. © 2025 Wantedly, Inc. ウォンテッドリーでは次のように設計した • 用途ごとに inference profile を用意する • 詳細に見たい箇所は model invocation logging を 有効化してログをクエリする Bedrock のコスト監視設計
17. © 2025 Wantedly, Inc. inference profile とは? モデル (foundation model) を束ねたもの たとえば Claude Sonnet 4.5 だと複数リージョンのモデルを束ねた inference profile が用意されている foundation model (us-east-1) foundation model (us-east-2) foundation model (us-west-2) inference profile (arn:aws:bedrock:us-east-1:***:inference-profile/us.anthropic.claude-so nnet-4-5-20250929-v1:0)
18. © 2025 Wantedly, Inc. inference profile とは? converse API でこの inference profile を呼べる inference profile の ID
19. © 2025 Wantedly, Inc. inference profile とは? • この inference profile は自分たちで作成が可能 ◦ inference profile にタグがつけられる • inference profile 経由で呼び出した ものは Cost Explorer でも区別 して集計できる タグごとに集計している例
20. © 2025 Wantedly, Inc. inference profile の設計 • コスト監視観点で必要な単位で inference profile を作成 • AWS managed のものから複製 ◦ Claude 系であれば Claude の inference profile をコピーしたものを作成 • 必要なタグを設定 ◦ 設定しているタグは Name, usage (開発用 or プロダクト用), env など
21. © 2025 Wantedly, Inc. この inference profile 運⽤の課題 • inference profile が用途ごとに大量に作成される ◦ 開発用途ではどの社員がどのくらい利用しているのか見ておきたい ◦ → ひとりずつ作るとなると膨大な数に … • Bedrock 系のメトリクスに 「どのモデルか」という情報 がない (右図) ◦ どれがどれかわからないし、 モデルごとの集計もできない Datadog での Bedrock のメトリクス例
22. © 2025 Wantedly, Inc. ウォンテッドリーでは次のように設計した • 用途ごとに inference profile を用意する • 詳細に見たい箇所は model invocation logging を 有効化してログをクエリする Bedrock のコスト監視設計
23. © 2025 Wantedly, Inc. model invocation logging という解決策 • モデルの呼び出しログを S3, CloudWatch Logs に送信で きる機能 ◦ https://docs.aws.amazon.com/bedrock/latest/userguide/model-invoc ation-logging.html ◦ プロンプトの内容はログに保存しないこともできる • このログにどのモデルや inefrence profile を呼んだか、 トークン数などが含まれている
24. © 2025 Wantedly, Inc. model invocation logging の実例 ログの一例
25. © 2025 Wantedly, Inc. model invocation logging の実例 ログの一例 入出力トークン数 呼び出された inference profile 実行したユーザー (identity)
26. © 2025 Wantedly, Inc. model invocation logging という解決策 • あとはこれらのログを クエリして集計すればよい ◦ (「クエリして集計」が大変ではある 😇) クエリして集計する例 (長い)
27. © 2025 Wantedly, Inc. model invocation logging の課題 • ログの保存料金が別途かかる • リージョンごとにしかログの有効・無効を設定できない ◦ たとえば「特定の model, inference profile のみ有効化」ができない • 集計するためにクエリする必要がある ◦ S3 なら Athena、CloudWatch Logs なら Logs Insights などでクエリが必要
28. © 2025 Wantedly, Inc. まとめ • inference profile を用途ごとに作成すると Cost Explorer でタグごとに分別してコスト集計できる ◦ ただし inference profile をたくさん作る必要がある • model invocation logging を使えば ユーザーやロール (identity) ごとにコスト集計できる ◦ ただしクエリ・集計は大変