プラットフォームとしての Datadog / Datadog as Platforms

『Japan Datadog User Group Meetup#10 @ 東京』
https://datadog-jp.connpass.com/event/349693/

Transcript

1. プラットフォームとしての Datadog 28th May, JDDUG #10, Kento Kimura 1
2. わたしは… • 経歴： データセンター管理運用→パブリッククラウド技術支援 →プリセールス技術支援 • 所属： Technical Solutions / Sales Engineer • 担当： パブリッククラウドのアーキテクト知識を活 した 　 Datadog のプリセールス技術支援 • 表彰： Google Cloud Partner Top Engineer 2023-25 Jagu'e'r Award 2023, 2024 優秀賞 2022-24 Japan AWS All Certifications Engineer AWS Community Builder(Cloud Operations, since 2024) • JDDUG: #3, #4 でも登壇しています🐶🐶 • 好きな Datadogサービス：Resource Catalog, Change Tracking 木村 健人 (Kento Kimura) Datadog Japan GK 2
3. Learning Path 3 Datadog Learning Center で 新し 提供されているラーニングパス • ユニバーサルラーニングパス Datadog の基本的スキルと概念 • ペルソナベースラーニングパス 特定のエンジニアに合わせたスキル • 製品ベースラーニングパス 特定の製品領域に特化したスキル • 認定準備ラーニングパス 3つの認定試験に合わせたトピック 3
4. おしながき 4 01 Platform Engineering と Datadog 04 Software Catalog とその先 03 Platform Engineer のための Datadog 02 開発者のための Datadog
5. 5 Platform Engineering と Datadog
6. Platform Engineering とは 組織に いて有用な抽象化を行い、 セルフサービス インフラストラクチャを構築するアプローチ 散乱したツールをまとめ、開発者の生産性を高める Platform Engineering の狙いは、開発者が体験する日常的な困難を解消して、 行 す た責任共有モデル 引 起こす学習の手間を抑制すること… 『有用な抽象化』とは？ “ “ ◆ 引用 『道を照らす: プラットフォーム エンジニアリング、ゴールデンパス、セルフサービスのパワー』 https://cloud.google.com/blog/ja/products/application-development/golden-paths-for-engineering-execution-consistency
7. 有用な抽象化: ゴールデンパス 迅速なプロジェクト開発に役立つ 巧みに統合されたコードと機能のテンプレート構成 例えば… • テンプレートの提供：スケルトンソースコード・IaC ファイル・Kubernetes yaml ファイル • ドキュメントの整備：スタートアップガイド・リファレンス • モニタリング標準化：依存関係の管理・ロギングの整備 Datadog では何ができるの？ “ “ ◆ 引用 『道を照らす: プラットフォーム エンジニアリング、ゴールデンパス、セルフサービスのパワー』 https://cloud.google.com/blog/ja/products/application-development/golden-paths-for-engineering-execution-consistency
8. 10 開発者のための Datadog
9. 11 JDDUG #3 でお話ししました！
10. もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動 を捉え記録する！ 12
11. もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動 を捉え記録する！ 2. Dynamic Instrumentation(動的計装) コードの変更を必要とせず、後 ら任意の箇所で プローブ を作成で る！ ※JDDUG#9(福岡) で Datadog の SE 詳し 話ししました！ ◦ Live Debugger(Preview): リアルタイムに一時的なログポイントの作成 ◦ Autocomplete and Search(Preview): IDE と同様のオートコンプリート機能 13
12. もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動 を捉え記録する！ 2. Dynamic Instrumentation(動的計装) コードの変更を必要とせず、後 ら任意の箇所で プローブ を作成で る！ ※JDDUG#9(福岡) で Datadog の SE 詳し 話ししました！ ◦ Live Debugger(Preview): リアルタイムに一時的なログポイントの作成 ◦ Autocomplete and Search(Preview): IDE と同様のオートコンプリート機能 3. Source Code Integration(ソースコード統合) Git リポジトリと連携し、DI・Error Tracking などの Datadog UI らソースコードを参照で る！ ◦ Code Origin for Spans(Preview): エラー以外のサービスエントリースパンもソースコードを参照 14
13. もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動 を捉え記録する！ 2. Dynamic Instrumentation(動的計装) コードの変更を必要とせず、後 ら任意の箇所で プローブ を作成で る！ ※JDDUG#9(福岡) で Datadog の SE 詳し 話ししました！ ◦ Live Debugger(Preview): リアルタイムに一時的なログポイントの作成 ◦ Autocomplete and Search(Preview): IDE と同様のオートコンプリート機能 3. Source Code Integration(ソースコード統合) Git リポジトリと連携し、DI・Error Tracking などの Datadog UI らソースコードを参照で る！ ◦ Code Origin for Spans(Preview): エラー以外のサービスエントリースパンもソースコードを参照 4. IDE Plugin(IDE プラグイン) IDE ら開発中のコード ら Datadog のオブザーバビリティを参照したり連携で る！ ◦ Exception Replay(GA & Preview): 本番環境のエラーのスタックトレースと変数を参照 15
14. もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動 を捉え記録する！ 2. Dynamic Instrumentation(動的計装) コードの変更を必要とせず、後 ら任意の箇所で プローブ を作成で る！ ※JDDUG#9(福岡) で Datadog の SE 詳し 話ししました！ ◦ Live Debugger(Preview): リアルタイムに一時的なログポイントの作成 ◦ Autocomplete and Search(Preview): IDE と同様のオートコンプリート機能 3. Source Code Integration(ソースコード統合) Git リポジトリと連携し、DI・Error Tracking などの Datadog UI らソースコードを参照で る！ ◦ Code Origin for Spans(Preview): エラー以外のサービスエントリースパンもソースコードを参照 4. IDE Plugin(IDE プラグイン) IDE ら開発中のコード ら Datadog のオブザーバビリティを参照したり連携で る！ ◦ Exception Replay(GA & Preview): 本番環境のエラーのスタックトレースと変数を参照 5. Telemetry without Limits 監視データ(テレメトリ)の取り込みと保持を分離して、Datadog 実装の変更 不要になる！ 16
15. 開発者のための Datadog の完成図 17 Source Code Integration IDE Integration(Plugin) (CI/CD Visibility) git clone git push Source Code in Datadog Manage Develop Debug Developer
16. 18 Platform Engineer のための Datadog
17. 有用な抽象化: ゴールデンパス 迅速なプロジェクト開発に役立つ 巧みに統合されたコードと機能のテンプレート構成 例えば… • テンプレートの提供：スケルトンソースコード・IaC ファイル・Kubernetes yaml ファイル • ドキュメントの整備：スタートアップガイド・リファレンス • モニタリング標準化：依存関係の管理・ロギングの整備 Datadog では何ができるの？ “ “ ◆ 引用 『道を照らす: プラットフォーム エンジニアリング、ゴールデンパス、セルフサービスのパワー』 https://cloud.google.com/blog/ja/products/application-development/golden-paths-for-engineering-execution-consistency 再 掲
18. 1. 400以上のアクションを仕様で る Workflow Automation で GitHub/AWS に接続して、テンプレートリソース作成のワークフローを準備する • GitHub リポジトリやプルリクエストのテンプレート らの展開 • S3 バケット・EKS クラスター・RDS インスタンスのテンプレート らの作成 2. Datadog UI で操作で るローコードの App Builder アプリを Blueprint ら作成し、裏側でワークフローを起動する 20 ソフトウェアテンプレート: Workflow Automation & App Builder Param1 Param2 Param3 Comment create Provision AWS/GitHub resources
19. 21 ドキュメント整備: Notebooks Datadog 内で管理で るドキュメント機能の Notebooks で、 他プラットフォームに移動することな 共通形式のドキュメントを整備で る ※Datadog の有志 Tech Blog(Zenn) で Datadog の SE まとめています！ • Datadog 独自のコンポーネントをセルとして組み込める ◦ Graphs, Images, Headers (H1 - H3), Lists, Codeblocks, Quotes, Markdown • ドキュメント・ランブック・ポストモーテム(事後分析)・調査・レポートなどのタイプに 分類して、用途に応じたテンプレートを作成で る • Formatted Contents(HTML), PDF, Markdown, JSON の内、任意の形式でエクスポートで る TITLE .md graphs table | Quotes 目次 - H1 -H2 -H3
20. 22 モニタリング標準化①: 統合サービスタグ 予約済みタグを使用して、Datadog に収集する監視情報のメタデータを定義する 例）環境変数 - DD_ENV(環境), DD_SERVICE(サービス), DD_VERSION(バージョン) 　　Kubernetes/Docker ラベル, datadog.yaml ファイルなどで管理する • バージョン毎のトレース・メトリクスで新規デプロイの影響を特定 • 監視情報に一貫したタグを使用し、トレース・メトリクス・ログを紐づけ • 環境・バージョンに基づいて、サービスデータを統一的に表示 PFE が横断的にタグ設定を管理することで、標準化された監視が実現できる
21. 23 モニタリング標準化②: Log Pipeline • 手動でのパース設定 不要で、ログの保持やコスト最適化 簡単になる (Grok Parser で JSON 以外もパース可能) • DD_LOGS_INJECTION=true で Trace Context(Trace/Span ID) を簡単に入れられる • 全てのログを対象に、Watchdog・カスタムメトリクスの作成 JSON 形式のログを標準にすると、PFE が Datadog UI でログを管理できる Ingest API Log Pipeline Log Forwarder Custom Destination Log Pipeline Error Tracking Custom Metrics JSON Parse Watchdog Live Tail Log Index
22. 24 Software Catalog とその先
23. 25 Datadog Software Catalog 開発者 管理するサービスの一覧 を集中的に可視化するビュー • service タグ→サービスを 対応づけるカタログビュー • インフラ・ログ・トレース・ プロセス・ネットワークの 情報 らサービスを特定 • 階層的なエンティティを定義し て相互の依存関係を可視化 Software Database Service Service API API
24. ナレッジの一元化 アプリケーション全体の 信頼できる唯一の情報源 (Single Source of Truth)を構築 アプリケーションの健全性と 生産性の可視化 ランディングページやレポートで、 アプリケーションの状態と 生産性を同時に評価 開発の加速 アクセス権の付与やサービス作成など、 セルフサービスによるアクションで 開発を迅速化 ベストプラクティスの推進 本番準備状況や可観測性基準に基づ 自動スコアリングを通じて、 チーム間でベストプラクティスを共有 Datadog Internal Developer Portal(Preview)
25. Notebooks Software Catalog Workflow Automation & App Builder SLOs & Scorecards Datadog Internal Developer Portal(Preview) IDP
26. 29 まとめと宣伝
27. 30 🐶まとめ🐶 • Datadog は開発者のプラットフォームとしての機能 た さん！ ▪ Automatic/Dynamic Instrumentation ▪ Source Code Integration ▪ IDE Plugin ▪ Telemetry without Limits • Platform Engineering の文脈でも、Datadog の機能は 開発生産性を向上するプラットフォームとなる(今後に期待！！) ▪ Software Catalog ▪ Workflow Automation & App Builder ▪ Notebooks
29. JUNE 3, 2025 | TOKYO OTEMACHI MITSUI HALL & CONFERENCE
31. JUNE 10-11, 2025 | NEW YORK
32. JUNE 18, 2025 | TOKYO RECAP JAPAN DATADOG TOKYO OFFICE
33. Thank you! 38