Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters

「システムの可視化と最適化をDatadogと学ぶ」@ROSCAFE の登壇スライドです。
https://rosca.connpass.com/event/344126/

Transcript

1. ROSCAFE Datadog APM におけるトレース収集の流れ および Retention Filters のはなし #ROSCAFE 逆井(さかさい) @ k6s4i53rx
2. 逆 井　啓 佑 さかさい • 所属：Datadog Japan • コミュニティ： ◦ OpenTelemetry Meetup ◦ Google Cloud Champion Innovators • クラウドネイティブ界隈に生息しています 自己紹介 CNDT2022 CNDT2023 CNDW2024 ー 2025-02-12 #ROSCAFE ☕ ー
3. Datadog もイベント開催頑張っています...！ ー 2025-02-12 #ROSCAFE ☕ ー
4. Datadog APM 使ってますか？
5. APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring Dynamic Instrumentation ※ APM の一部機能を掲載
6. APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring Dynamic Instrumentation ※ APM の一部機能を掲載 ※ 以降、トレースと表記
7. トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ • スパン（処理単位）から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース：複数のサービスにまたがって、トレースを収集、可視化
8. トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ • スパン（処理単位）から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース ：複数のサービスにまたがって、トレースを収集、可視化 リクエスト応答が 遅い ときの ボトルネック特定 など 分散サービスに おける エラー 箇所の特定 など
9. トレースのデータは全部必要か 🧐？
10. トレースのデータは全部必要か 🧐？ 遅いトレース とか、エラーを含むトレース は 関心事である可能性が高そう。
11. SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
12. SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
13. SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz サンプリングによる、データとコストの価値への影響
14. 「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
15. 「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
16. 「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter 確実に欲し い 確実に欲し い /healthcheck やら、 なんの変哲もない正常リクエストのトレースも含まれてるカモ
17. Datadog APM には 高機能な トレースパイプライン があります
18. Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2 3 4 5 6 • トレーサー使ってアプリケーションを計装 • トレーサーから（Datadog Agent を経由して）送られた、 スパンを Datadog に取り込む（Ingest） ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する（Index） ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6
19. Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2 3 4 • トレーサー使ってアプリケーションを計装 • トレーサーから（Datadog Agent を経由して）送られた、 スパンを Datadog に取り込む（Ingest） ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する（Index） ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6 5 6
20. Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） スパンが取り込まれたあと、Retention Filters で処理されて Datadog 内に保持される 　❶ デフォルトで有効化されている Retention Filters 　❷ カスタムタグベースの Retention Filters https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
21. Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❶ デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters • Error Default Retention Filters • e.t.c...（Synthetics、ASM、Dynamic Instrumentation） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
22. Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❶ デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters ： デフォルトで必ず有効化されるフィルター。 多様性サンプリング （env、service、resource や p75、p90、p95 の組み合わせや高レイテンシーなスパンを保 持）と、1% フラットサンプリング（ 取り込んだ全てのスパンを均一に 1% の割合で保持）を行う • Error Default Retention Filters ： エラーが含まれている場合は、100% サンプリング （保持する）を行う • e.t.c...（Synthetics、ASM、Dynamic Instrumentation） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
23. Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❷ カスタムタグベースの Retention Filters 　タグ（env、service、status、…）に基づく追加のカスタマイズ可能なフィルター • 「$100 以上の決済処理」のトレースは 100 % 保持する • 「SaaS サービスの、プレミアム会員ユーザー」のトレースは 100 % 保持する • 「特定のサービス」のトレースは 0 % 保持する（= 保持しない） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
24. Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー ❶ ❷
25. Datadog の画面 ー 2025-02-12 #ROSCAFE ☕ ー
26. まとめ ー 2025-02-12 #ROSCAFE ☕ ー • Datadog APM のトレース収集についての全体像と、 Retention Filter（保持フィルター） についてのはなしをしました • ヘッドサンプリングが関連する Ingestion フェーズ も大切 ◦ Resource-based Sampling / Adaptive Sampling（Preview） • オブザーバビリティ SaaS のつよみである、 監視バックエンド側のリッチなサンプリング機能を使い、良いコストマネジメントを！
27. 宣伝 ❶ ー 2025-02-12 #ROSCAFE ☕ ー 2/26（水）19:00〜 Japan Datadog User Group Meetup#7 があります @ Datadog オフィス
28. 宣伝 ❷ ー 2025-02-12 #ROSCAFE ☕ ー 3/6（木）19:00〜 Japan Datadog User Group Meetup#8 があります @札幌
29. 記載されている会社名、商品名、 またはサービス名は、各社の商標登録または商標です。