Datadog 2026/7/23 登壇資料 Speed Is Key AIエージェント時代に求められる オブザーバビリティ

以下のイベントでの登壇資料です
https://www.datadoghq.com/ja/event/hybridseminar-202607/

Transcript

1. Speed Is Key Datadogで、観測・検証・改善を加速する 株式会社Livetoon 土川敦也 AIエージェント時代に求められるオブザーバビリティ 2026 Livetoon, Inc. all rights reserved
2. 登壇者紹介 土川 敦也（つちかわ あつや） ハンドルネーム：最上土川 株式会社Livetoon 開発マネージャー 芝浦工業大学 修士2年生 HCI x AIの研究 2020年頃（大1）からスタートアップ界隈で働く 2023年、とある企業でAIキャラクター開発をする 2024年12月にLivetoonへ転職 フロントエンドエンジニアで入ったはずが、 Unity、バックエンド、インフラ、AIモデル開発もやっている Livetoon, Inc. all rights reserved 2
3. kaiwa kaiwa （かいわ） 初リリース：2025年4月 AppStore・GooglePlayで配信中 「ともだちAI」として気軽に お話してくれるAIキャラクターアプリ 個性豊かな3Dキャラクター ｘ あなたを覚える記憶システム ｘ 低遅延なSTS基盤 Livetoon, Inc. all rights reserved 3
4. Tatara Tataraでできること • VRMモデルで、見た目を設定 • 声・性格・口調・役割を設定 • Codex / GitHub Copilotの進捗を会話で確認 AIエージェントを、画面の向こうから 「隣にいる存在」へ。 Livetoon, Inc. all rights reserved 4
5. “STS”とは？ —— “音声”入力に対し、“音声”で応答する技術 STS = Speech to Speech その他に “STT” や “TTS” も存在 STT = Speech to Text: AIの「耳」 Speech Speech User TTS = Text to Speech: AIの「口」 STS model Livetoon, Inc. all rights reserved 5
6. STSには2つの方式が存在 組み合わせ型 単一モデル型 User User 方式 メリット デメリット 向いている 用途 STT LLM TTS STS 〇 カスタマイズ しやすい 〇 〇 〇 賢い 速い 速い ✕ 遅い 賢くない ✓ キャラクター性：声や話し方を柔軟に変更したい場合 ✓ 用途特化：専門用語を追加学習させたい場合 ✕ カスタマイズ できない STSパイプラインを 約700msと高速化し 単一モデル型に匹敵する ✓ リアルタイム性：同時通訳など、速さが求められる場合 速度を実現 ✓ 分解性：一部のAIのみ取り出して使用したい場合 Livetoon, Inc. all rights reserved 6
7. Agent Observabilityから始めた 改善ループの高速化 7
8. 最終回答だけでは、LLM応答を分析できない 会話ログDBで見えるもの：ユーザー発話 / AIの最終回答 参照した記憶 どの記憶を 使ったか 記憶の生成経路 どの会話・処理から 作られたか Chain of Thought LLM APIが返す 推論内容 実行情報 モデル・ツール・ レイテンシ・エラー Agent Observabilityで、4つの情報を同じTraceに集約 Livetoon, Inc. all rights reserved 8
9. BizとDevが、同じTraceから会話を改善する Bizが見る 参照記憶 / Chain of Thought / プロンプト AGENT OBSERVABILITY TRACE 記憶・生成処理・推論・モデル・エラー Devが見る モデル / ツール / エラー / レイテンシ 同じ事実を見て、切り分けの往復を減らす Livetoon, Inc. all rights reserved 9
10. Datadogは、ビジネス課題から入った 導入の決め手は Agent Observability 応答分析とプロンプト改善のための基盤として導入 予算は、販管費から Biz側の改善基盤として、Datadogを高速採用 Livetoon, Inc. all rights reserved 10
11. Agent Observability ＋ RUMで、分析を一気通貫に Agent Observability LLM応答・参照記憶・推論を確認 会話の中で何が起きたかを見る RUM OS・端末・ブラウザ・セッションを確認 ユーザー環境で何が起きたかを見る 実例：「言い直しが多発」を、音声認識の仮説につなげる 01 文字起こしを確認 STT失敗の仮説 02 端末傾向を比較 OS / 端末 / ブラウザ 03 セッションを再生 プロンプト・音声処理を改善 会話の中身と、ユーザー環境の挙動を同じ調査でつなぐ Livetoon, Inc. all rights reserved 11
12. Datadogで加速させる コーディングエージェント活用開発 12
13. Datadogの3つのAI Bits Chat 自然言語でDatadogを 検索・操作 人が質問して調べる Bits Investigation Datadog MCP Server 本番問題を エンドツーエンドで自律調査 Observabilityデータと AIエージェントを接続 仮説・テレメトリ・根本原因 をつなぐ Codex / Claude Codeから利 用 Livetoonでは、既存開発環境で活用しやすいDatadog MCPを活用 Livetoon, Inc. all rights reserved 13
14. 少数精鋭を、コーディングエージェントで増幅する 少数精鋭 × 複数エージェント 開発チーム PC 複数台 × 複数エージェント フルタイム 2〜3名 インターン・業務委託 約4名（週2程度） Codex $100 / $200や 一部Claude $200を追加で利用 ↑ 実際の会社での私の机の様子 Livetoon, Inc. all rights reserved 14
15. 複数並列開発のキモは、3つの自動化 調査 Datadog MCP Logs・APM・RUM Agent Observability モノレポ構成＋ドキュメント 動作検証 Computer Use Browser Use 独自STS検証MCP 観測 stg Metrics Trace / Log diff 長期影響を確認 人間は、最初の設計と最後のレビューに集中 Livetoon, Inc. all rights reserved 15
16. STSの動作検証も、エージェントに渡す 生成した音声をアプリへ入れ、出力音声まで自動で確認 01 検証音声を生成 → 02 仮想マイク で入力 → Livetoon App 高速STS → 03 仮想スピーカ から取得 → 04 Gemini APIで 評価 音声品質・ 応答内容 入力から出力評価までMCPで自動化し、音声品質・応答内容・Log / Traceを突合 Livetoon, Inc. all rights reserved 16
17. 人間が見るのは、最初と最後 人間は判断が必要な2点だけをレビュー 最初：設計レビュー 目的 / 制約 / アーキテクチャ エージェント 調査・実装・検証・観測 最後：動作とコードの最終レビュー ユーザー体験 / セキュリティ / 長期的影響 Livetoon, Inc. all rights reserved 17
18. 実例：Gravitonで、CPU推論を高速化・低コスト化 Codex + Datadog MCPでほぼ手放しにCPUアーキテクチャ切替を実施 AWS Graviton移行 移行結果 BackendコードのARM64化 ECS Fargate → ECS Managed Instance LLMのCPU推論をAPM, LLM Obsで観測 改善ループをstg環境で回す 25% Embeddings CPU推論を高速化 17.3% 月額コストを削減 詳しい内容はZennにて公開中： AWS Gravitonで組む、低遅延・低コスト音声AIエージェント基盤 Livetoon, Inc. all rights reserved 18
19. Speed Is Key Agent Observability ＋ RUMで、BizとDevが同じTraceから改善する Datadog MCPで、調査・検証・観測を開発ループへつなぐ DatadogはLivetoonにとって、守りではなく速度を上げるアクセラレータ Datadog is an accelerator. Livetoon, Inc. all rights reserved 19