Upgrade to Pro — share decks privately, control downloads, hide ads and more …

エージェント開発におけるObservability

Avatar for Yuki Kodama Yuki Kodama
October 31, 2025
3

 エージェント開発におけるObservability

Avatar for Yuki Kodama

Yuki Kodama

October 31, 2025
Tweet

Transcript

  1. 自己紹介 • @kuy / 小玉 祐輝 • 株式会社ユーザベース スピーダ事業 フェロー

    • 今年に入ってからPythonを書く機会が増えた 🐍 • コーヒーが大好きで、来年パナマの農園に遊びに行く ☕ 2
  2. 手軽にLLM Observabilityをはじめる • 料理レシピを分析するAIエージェントに組み込んで検証 ◦ レシピ一覧を取得して、各レシピ発祥の地とレシピ投稿者の所在地が一致して いるか判断する ◦ サンプルコード: https://github.com/kuy/adk-ddtrace-example

    • Google ADK PythonとDatadogの組み合わせ ◦ ADKはできるだけ最新を使う(2週間に1回の定期アップデート) ◦ DatadogはADK向けの改善が入った dd-trace-py 3.16.1 以降がおすすめ 8
  3. Google ADK + Datadogの落とし穴 15 • import ddtrace.auto ではLLM Observabilityが自動的に有効にならなかった

    ◦ from ddtrace.llmobs import LLMObs して手動で LLMObs.enable() • DD_LLMOBS_ENABLED や DD_LLMOBS_AGENTLESS_ENABLED は指定しても効果は なかった • DatadogにはDatadog Agent(データ送信するための常駐プログラム)経由で各種 データを送信する必要があり、ローカル環境で動かすには工夫が必要 ◦ http://localhost:8162 に対して送信する ◦ 例えば本番環境にDatadog Agentがあるならプロキシで転送する ◦ 稼働しているDatadog Agentの数で課金されるので注意!
  4. LLMのコスト、トークン数 • LLMのコストはモデルとトークン数で決まる • トークンにはInputトークンとOutputトークンがある ◦ Inputトークン: システムプロンプト、ユーザープロンプト、その他LLMに読み 込ませるあらゆるもの ◦

    Outputトークン: LLMから出力された回答 • 一般にOutputトークンの方がInputトークンよりコストが高い 例: Gemini 2.5 Flashの場合、100万Inputトークンあたり$0.3、100万Outputトークンあた り$2.5 (※ 2025/10/21 時点) 17
  5. コスト計算してみる • data_collection: get_recipes ◦ Input: 163, Output: 39 (gemini-2.5-flash)

    • data_collection: get_user(3回) ◦ Input: 676, Output: 179 (gemini-2.5-flash) ◦ Input: 1007, Output: 168 (gemini-2.5-flash) ◦ Input: 1452, Output: 120 (gemini-2.5-flash) • data_collection: 取得したデータの整理 ◦ Input: 1850, Output: 391 (gemini-2.5-flash) • analysis ◦ Input: 3240, Output: 1220 (gemini-2.5-pro) 18 • トークン合計 ◦ Input: 5148, Output: 897 (gemini-2.5-flash) ◦ Input: 3240, Output: 1220 (gemini-2.5-pro) • コスト算出 ◦ Input: $0.0015444, Output: $0.0022425(flash) ◦ Input: $0.00405, Output: $0.0122(pro) • 合計: $0.0200369 = 約3.1円(1ドル154円換算) ※ 画像のEstimated Costはモデル設定をしていないため間違った料金が 表示されています(Gemini未対応?) ※ Inputトークンは部分的にキャッシュされることがあり、その場合は キャッシュが有効なときの料金で計算する必要があります
  6. まとめ • Google ADK PythonとDatadogでお手軽にLLM Observabilityを試せる • A2Aを介したマルチエージェント構成ではトークン算出にのびしろあり ◦ Datadogのtrace

    id付きでGoogle CloudのCloud Loggingにログを飛ばして、trace idですべ てのログをかき集めてトークン集計してコスト算出したりした • エージェント開発・運用においてObservabilityはこれまで以上に重要 • LLM Observabilityはエコシステムが急激に進化している熱い分野 20