プラットフォームとしての Datadog / Datadog as Platforms

by Kento Kimura

Embed

Start on current slide

Slide 1

Slide 1 text

プラットフォームとしての Datadog 28th May, JDDUG #10, Kento Kimura 1

Slide 2

Slide 2 text

わたしは… ● 経歴：データセンター管理運用→パブリッククラウド技術支援 →プリセールス技術支援 ● 所属： Technical Solutions / Sales Engineer ● 担当：パブリッククラウドのアーキテクト知識を活した　 Datadog のプリセールス技術支援 ● 表彰： Google Cloud Partner Top Engineer 2023-25 Jagu'e'r Award 2023, 2024 優秀賞 2022-24 Japan AWS All Certiﬁcations Engineer AWS Community Builder(Cloud Operations, since 2024) ● JDDUG: #3, #4 でも登壇しています🐶🐶 ● 好きな Datadogサービス：Resource Catalog, Change Tracking 木村健人 (Kento Kimura) Datadog Japan GK 2

Slide 3

Slide 3 text

Learning Path 3 Datadog Learning Center で新し提供されているラーニングパス ● ユニバーサルラーニングパス Datadog の基本的スキルと概念 ● ペルソナベースラーニングパス特定のエンジニアに合わせたスキル ● 製品ベースラーニングパス特定の製品領域に特化したスキル ● 認定準備ラーニングパス 3つの認定試験に合わせたトピック 3

Slide 4

Slide 4 text

おしながき 4 01 Platform Engineering と Datadog 04 Software Catalog とその先 03 Platform Engineer のための Datadog 02 開発者のための Datadog

Slide 5

Slide 5 text

5 Platform Engineering と Datadog

Slide 6

Slide 6 text

Platform Engineering とは組織にいて有用な抽象化を行い、セルフサービスインフラストラクチャを構築するアプローチ散乱したツールをまとめ、開発者の生産性を高める Platform Engineering の狙いは、開発者が体験する日常的な困難を解消して、行すた責任共有モデル引起こす学習の手間を抑制すること… 『有用な抽象化』とは？ “ “ ◆ 引用『道を照らす: プラットフォームエンジニアリング、ゴールデンパス、セルフサービスのパワー』 https://cloud.google.com/blog/ja/products/application-development/golden-paths-for-engineering-execution-consistency

Slide 7

Slide 7 text

有用な抽象化: ゴールデンパス迅速なプロジェクト開発に役立つ巧みに統合されたコードと機能のテンプレート構成例えば… ● テンプレートの提供：スケルトンソースコード・IaC ファイル・Kubernetes yaml ファイル ● ドキュメントの整備：スタートアップガイド・リファレンス ● モニタリング標準化：依存関係の管理・ロギングの整備 Datadog では何ができるの？ “ “ ◆ 引用『道を照らす: プラットフォームエンジニアリング、ゴールデンパス、セルフサービスのパワー』 https://cloud.google.com/blog/ja/products/application-development/golden-paths-for-engineering-execution-consistency

Slide 8

Slide 8 text

10 開発者のための Datadog

Slide 9

Slide 9 text

11 JDDUG #3 でお話ししました！

Slide 10

Slide 10 text

もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動を捉え記録する！ 12

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

もっと！開発者のための Datadog 1. Automatic Instrumentation(自動計装) コードの変更を必要とせず、Datadog APM SDK アプリの動を捉え記録する！ 2. Dynamic Instrumentation(動的計装) コードの変更を必要とせず、後ら任意の箇所でプローブを作成でる！ ※JDDUG#9(福岡) で Datadog の SE 詳し話ししました！ ○ Live Debugger(Preview): リアルタイムに一時的なログポイントの作成 ○ Autocomplete and Search(Preview): IDE と同様のオートコンプリート機能 3. Source Code Integration(ソースコード統合) Git リポジトリと連携し、DI・Error Tracking などの Datadog UI らソースコードを参照でる！ ○ Code Origin for Spans(Preview): エラー以外のサービスエントリースパンもソースコードを参照 4. IDE Plugin(IDE プラグイン) IDE ら開発中のコードら Datadog のオブザーバビリティを参照したり連携でる！ ○ Exception Replay(GA & Preview): 本番環境のエラーのスタックトレースと変数を参照 15

Slide 14

Slide 14 text

Slide 15

Slide 15 text

開発者のための Datadog の完成図 17 Source Code Integration IDE Integration(Plugin) (CI/CD Visibility) git clone git push Source Code in Datadog Manage Develop Debug Developer

Slide 16

Slide 16 text

18 Platform Engineer のための Datadog

Slide 17

Slide 17 text

Slide 18

Slide 18 text

1. 400以上のアクションを仕様でる Workﬂow Automation で GitHub/AWS に接続して、テンプレートリソース作成のワークフローを準備する ● GitHub リポジトリやプルリクエストのテンプレートらの展開 ● S3 バケット・EKS クラスター・RDS インスタンスのテンプレートらの作成 2. Datadog UI で操作でるローコードの App Builder アプリを Blueprint ら作成し、裏側でワークフローを起動する 20 ソフトウェアテンプレート: Workﬂow Automation & App Builder Param1 Param2 Param3 Comment create Provision AWS/GitHub resources

Slide 19

Slide 19 text

21 ドキュメント整備: Notebooks Datadog 内で管理でるドキュメント機能の Notebooks で、他プラットフォームに移動することな共通形式のドキュメントを整備でる ※Datadog の有志 Tech Blog(Zenn) で Datadog の SE まとめています！ ● Datadog 独自のコンポーネントをセルとして組み込める ○ Graphs, Images, Headers (H1 - H3), Lists, Codeblocks, Quotes, Markdown ● ドキュメント・ランブック・ポストモーテム(事後分析)・調査・レポートなどのタイプに分類して、用途に応じたテンプレートを作成でる ● Formatted Contents(HTML), PDF, Markdown, JSON の内、任意の形式でエクスポートでる TITLE .md graphs table | Quotes 目次 - H1 -H2 -H3

Slide 20

Slide 20 text

22 モニタリング標準化①: 統合サービスタグ予約済みタグを使用して、Datadog に収集する監視情報のメタデータを定義する例）環境変数 - DD_ENV(環境), DD_SERVICE(サービス), DD_VERSION(バージョン) 　　Kubernetes/Docker ラベル, datadog.yaml ファイルなどで管理する ● バージョン毎のトレース・メトリクスで新規デプロイの影響を特定 ● 監視情報に一貫したタグを使用し、トレース・メトリクス・ログを紐づけ ● 環境・バージョンに基づいて、サービスデータを統一的に表示 PFE が横断的にタグ設定を管理することで、標準化された監視が実現できる

Slide 21

Slide 21 text

23 モニタリング標準化②: Log Pipeline ● 手動でのパース設定不要で、ログの保持やコスト最適化簡単になる (Grok Parser で JSON 以外もパース可能) ● DD_LOGS_INJECTION=true で Trace Context(Trace/Span ID) を簡単に入れられる ● 全てのログを対象に、Watchdog・カスタムメトリクスの作成 JSON 形式のログを標準にすると、PFE が Datadog UI でログを管理できる Ingest API Log Pipeline Log Forwarder Custom Destination Log Pipeline Error Tracking Custom Metrics JSON Parse Watchdog Live Tail Log Index

Slide 22

Slide 22 text

24 Software Catalog とその先

Slide 23

Slide 23 text

25 Datadog Software Catalog 開発者管理するサービスの一覧を集中的に可視化するビュー ● service タグ→サービスを対応づけるカタログビュー ● インフラ・ログ・トレース・プロセス・ネットワークの情報らサービスを特定 ● 階層的なエンティティを定義して相互の依存関係を可視化 Software Database Service Service API API

Slide 24

Slide 24 text

ナレッジの一元化アプリケーション全体の信頼できる唯一の情報源 (Single Source of Truth)を構築アプリケーションの健全性と生産性の可視化ランディングページやレポートで、アプリケーションの状態と生産性を同時に評価開発の加速アクセス権の付与やサービス作成など、セルフサービスによるアクションで開発を迅速化ベストプラクティスの推進本番準備状況や可観測性基準に基づ自動スコアリングを通じて、チーム間でベストプラクティスを共有 Datadog Internal Developer Portal(Preview)

Slide 25

Slide 25 text

Notebooks Software Catalog Workﬂow Automation & App Builder SLOs & Scorecards Datadog Internal Developer Portal(Preview) IDP

Slide 26

Slide 26 text

29 まとめと宣伝

Slide 27

Slide 27 text

30 🐶まとめ🐶 ● Datadog は開発者のプラットフォームとしての機能たさん！ ■ Automatic/Dynamic Instrumentation ■ Source Code Integration ■ IDE Plugin ■ Telemetry without Limits ● Platform Engineering の文脈でも、Datadog の機能は開発生産性を向上するプラットフォームとなる(今後に期待！！) ■ Software Catalog ■ Workﬂow Automation & App Builder ■ Notebooks