内製AIチャットボット開発で学んだ Datadog Agent Observability活用術

2026/08/07 DATADOGで実現するAI運用最前線
MCP Server / Bits AI / Agent Observability 事例共有会 in 大阪

Transcript

1. 内製AIチャットボット開発で学んだ Datadog Agent Observability活用術 2026/08/07 DATADOGで実現するAI運用最前線 MCP Server / Bits AI / Agent Observability 事例共有会 in 大阪 Masachika Kuwabara
2. 自己紹介 コミュニティ •Amplify Japan User Group運営 •AWS Community Builders 2025（Frontend & Mobile） •AWS Community Builders 2026（DevTools） •Datadog Champions 2026 •Top Japanese Pre-Release Contributors for Adobe illustrator 桒原 政睦 Masachika Kuwabara 所属 株式会社OSPホールディングス IT戦略本部 IT企画課/課長 仕事 IT企画・DX推進・マネジメント 趣味 AIコーディング・日本酒・クレーンゲーム 2019,2020,2022
3. 本日話すこと • 内製AIチャットボット開発の中で感じた課題 • 課題解決にDatadog Agent Observabilityを活用した知見 • どのように学び、導入したか。過程 ~ 結果、展望 注意 •当時より機能が変更されていため、一部情報が古い部分があります。 •掲載しているUIも古い画像になっております。 •重要な点のみ都度補足します。
4. 業務課題 ~ 営業の問い合わせの非効率問題 営業が社内問い合わせで「たらい回し」にあう あっち どっち？ こっち そっち 自分で解決しようにもどこに何の資料があるかわからない
5. 営業向けAIチャットボットを内製開発 シンプルなチャットUI、社内ナレッジから回答を生成できるRAGアプリ • 主に営業が利用 • 開発は3日ぐらいでローンチ • ナレッジは1年間で約1万に
6. アプリケーションの構成 シンプルな構成、マネージドサービスを活用することで負荷を軽減 ナレッジベース フロントアプリ ＋ Nextjs Amazon Bedrock Knowledge Base S3 LLM監視 ＋
7. アプリ開発に参考にしたリポジトリ https://github.com/anthropics/claude-quickstarts/tree/main/customer-support-agent •Anthropicが提供しているサンプルアプリケーション集。 •customer-support-agentはRAGアプリを作成するためのノウハウが詰まっている。 •AWS Amplifyを利用してAWSにホスティングする機能も搭載。簡単にデプロイ可能。
8. 回答結果に課題 ドキュメントが増える中で誤回答が発生するように なんやこの回答 ほんまにあってる？ ソースどれやねん 言葉の内容が同じだがドメインごとに捉える意味が違うなどの問題が発生
9. 回答結果に課題 ドキュメントが増える中で誤回答が発生するように し、しらんやん ドキュメント突っ込んだの あなたでしょう なんやこの回答 ほんまにあってる？ ソースどれやねん 言葉の内容が同じだがドメインごとに捉える意味が違うなどの問題が発生
10. 課題・問題 アプリの改善・能動的な問題定義ができない状態だった ① 誤回答した場合に原因を追究できない ② 何を改善するとAIアプリが改善するのか見えない ③ 能動的に改善する行動をおこせない AIの挙動の可視化に挑戦 そんな詰めんといて やさしくして がんばるから。。。
11. Datadog LLM Observabilityのトライアルを実施 トライアル時におこなったこと 1. ドキュメントをよく読む 2. 公式サンプルアプリケーションで感覚を掴む 3. 本番アプリに適用し可視化する 4. アプリを改善する! "トピック
12. 公式サンプルアプリケーション Datadog Agent Observabilityを体系的に学べるリポジトリ 1. 構築済みのJupyter NoteBooksが提供 2. 実装方法と機能全般を学べる 3. 4つのNoteBooksがある https://github.com/DataDog/llm-observability
13. どれぐらい簡単に実装できるかというと デコレーターをつけるだけ。対応していればAutomatic Instrumentationも! ▲デコレーターを挿入 ▲トレースされている様子
14. Qiitaの記事にもまとめてます 公式サンプルの動かす手順、全体像を紹介しています。 https://qiita.com/MK̲Tech/items/6e58295a9dc21c05df13
15. [補足]公式ラーニングセンターで概要を学べる 無料のラボ環境でAgnet Observabilityを体験! 1. 体系的に学べる 2. 無料のラボ環境で手を動かせる 3. ストーリーにそって体験 https://learn.datadoghq.com/courses/llm-obs-getting-started
16. 本番適用時の苦労 当時はNode.jsに対応しているフレームワークが少なかった 1. 本番システムはバックエンドもTypeScriptだった# 2. Automatic Instrumentationが対応していなかった# 3. Manual instrumentationしか選択肢がなかった Pythonで Pythonで実装していれ ばぁぁぁ ドキュメントでわからない部分は ソースコードを見ながら必死に実装した
17. 今はフレームワークの対応も増えている！！！ ▲Python ▲Node.js https://docs.datadoghq.com/ja/llm̲observability/instrumentation/auto̲instrumentation?tab=python
18. なんやかんやで無事実装 結果的に実装でき、課題の解決につながった ① 誤回答した場合に原因を追究できない ➡該当のトーク内容を検索してトレース結果、Retrievalの結果を分析 ② 何を改善するとAIアプリが改善するのか見えない ➡プロンプト調整、チャンク戦略、ドキュメント修正・追加など具体的施策を実行 ③ 能動的に改善する行動をおこせない ➡Managed evaluationとCluster Mapを活用した品質の低い回答のピックアップ
19. ①誤回答した場合に原因を追究できない エラートークが可視化されたことで詳細な動作を分析できる ユーザーの質問 ナレッジから 取得したドキュメント
20. ②何を改善するとアプリが改善するかわからない AIの思考やレスポンスを可視化することで原因を特定できる ドキュメント 取得後のAI思考 実際の回答 このケースだとドキュメントが不足している ナレッジ管理者にニーズのあるドキュメント追加をアドバイス
21. ③能動的に改善する行動をおこせない エラートークを可視化することでカテゴリごとに弱い領域を把握できる ▲Managed evaluation ▲Cluster Map *現在この画面はありません エラー報告がなくても、改善すべき点をアドバイスできる
22. [補足] 現在はPatternsで分析! LLMを活用したクラスタリング設定と深掘りが可能に ▲トピックマップ ▲クラスタリングしたパターン ▲関連するトレース結果を確認
23. アプリが改善することで利用者が急増 今ではAIが1日平均 300トーク以上の問い合わせに対応できるように! トーク数 10倍⭐ 多い日で 600トーク越え 平均 300トーク AIが上手に 回答できてるやん。 やるやん。 利用者 4倍⭐ 多くて100トーク 平均 30トーク あざーす 2025年 2026年
24. 展望 ユーザーの質問が複雑化してきた。 まかせてや！ まずはアレしてから コレして アレとコレとソレについて 調べて教えて ソレして~ AIエージェント構築とLLM Observabilityの活用を発展
25. アプリを大改修を開始 AWSのFASTを活用してAIエージェントを搭載 % 1. AIエージェントアプリテンプレート 2. AmplifyやAgentCoreで構成 3. AI Agent SDKのStrandsAgents は OTelに対応 https://github.com/awslabs/fullstack-solution-template-for-agentcore
26. FAST + OTelによりエージェントの振る舞いを可視化 OTelを有効にするだけで爆速かつ簡単にDatadogと連携 ! ▲FASTで作成したアプリ ▲OTel instrumentationでのトレース結果 https://docs.datadoghq.com/ja/llm̲observability/instrumentation/otel̲instrumentation/?tab=python
27. まとめ AIアプリ開発にはアプリ挙動のトレースは必須 ① 誤回答した場合に原因を追究できない ➡該当のトーク内容を検索してトレース結果、Retrievalの結果を分析 ② 何を改善するとAIアプリが改善するのか見えない ➡プロンプト調整、チャンク戦略、ドキュメント修正・追加など具体的施策を実行 ③ 能動的に改善する行動をおこせない ➡Managed evaluationとCluster Mapを活用した品質の低い回答のピックアップ
28. SNSやブログ でアウトプット! @mkdev_10 Blog X Zenn https://x.com/mkdev̲10 Slide Qiita https://zenn.dev/mkdevelop https://qiita.com/MK̲Tech https://speakerdeck.com/mkdev10
29. ご清聴ありがとうございました