Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Datadog APM におけるトレース収集の流れ及び Retention Filters の...

Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters

「システムの可視化と最適化をDatadogと学ぶ」@ROSCAFE の登壇スライドです。
https://rosca.connpass.com/event/344126/

逆井(さかさい)

February 11, 2025
Tweet

More Decks by 逆井(さかさい)

Other Decks in Technology

Transcript

  1. 逆 井 啓 佑 さかさい • 所属:Datadog Japan • コミュニティ: ◦

    OpenTelemetry Meetup ◦ Google Cloud Champion Innovators • クラウドネイティブ界隈に生息しています 自己紹介 CNDT2022 CNDT2023 CNDW2024 ー 2025-02-12 #ROSCAFE ☕ ー
  2. APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring

    Dynamic Instrumentation ※ APM の一部機能を掲載
  3. APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring

    Dynamic Instrumentation ※ APM の一部機能を掲載 ※ 以降、トレースと表記
  4. トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •

    スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース:複数のサービスにまたがって、トレースを収集、可視化
  5. トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •

    スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース :複数のサービスにまたがって、トレースを収集、可視化 リクエスト応答が 遅い ときの ボトルネック特定 など 分散サービスに おける エラー 箇所の特定 など
  6. Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2

    3 4 5 6 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6
  7. Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2

    3 4 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6 5 6
  8. Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) スパンが取り込まれたあと、Retention

    Filters で処理されて Datadog 内に保持される  ❶ デフォルトで有効化されている Retention Filters  ❷ カスタムタグベースの Retention Filters https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
  9. Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶

    デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters • Error Default Retention Filters • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
  10. Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶

    デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters : デフォルトで必ず有効化されるフィルター。 多様性サンプリング (env、service、resource や p75、p90、p95 の組み合わせや高レイテンシーなスパンを保 持)と、1% フラットサンプリング( 取り込んだ全てのスパンを均一に 1% の割合で保持)を行う • Error Default Retention Filters : エラーが含まれている場合は、100% サンプリング (保持する)を行う • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
  11. Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❷

    カスタムタグベースの Retention Filters  タグ(env、service、status、…)に基づく追加のカスタマイズ可能なフィルター • 「$100 以上の決済処理」のトレースは 100 % 保持する • 「SaaS サービスの、プレミアム会員ユーザー」のトレースは 100 % 保持する • 「特定のサービス」のトレースは 0 % 保持する(= 保持しない) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
  12. まとめ ー 2025-02-12 #ROSCAFE ☕ ー • Datadog APM のトレース収集についての全体像と、

    Retention Filter(保持フィルター) についてのはなしをしました • ヘッドサンプリングが関連する Ingestion フェーズ も大切 ◦ Resource-based Sampling / Adaptive Sampling(Preview) • オブザーバビリティ SaaS のつよみである、 監視バックエンド側のリッチなサンプリング機能を使い、良いコストマネジメントを!
  13. 宣伝 ❶ ー 2025-02-12 #ROSCAFE ☕ ー 2/26(水)19:00〜 Japan Datadog

    User Group Meetup#7 があります @ Datadog オフィス