ROSCAFE Datadog APM におけるトレース収集の流れ および Retention Filters のはなし #ROSCAFE 逆井(さかさい) @ k6s4i53rx

逆 井　啓 佑 さかさい ● 所属：Datadog Japan ● コミュニティ： ○ OpenTelemetry Meetup ○ Google Cloud Champion Innovators ● クラウドネイティブ界隈に生息しています 自己紹介 CNDT2022 CNDT2023 CNDW2024 ー 2025-02-12 #ROSCAFE ☕ ー

Datadog もイベント開催頑張っています...！ ー 2025-02-12 #ROSCAFE ☕ ー

Datadog APM 使ってますか？

APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring Dynamic Instrumentation ※ APM の一部機能を掲載

APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring Dynamic Instrumentation ※ APM の一部機能を掲載 ※ 以降、トレースと表記

トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース ● アプリケーションがリクエストを処理する一連の流れ ● スパン（処理単位）から構成される ○ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース：複数のサービスにまたがって、トレースを収集、可視化

トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース ● アプリケーションがリクエストを処理する一連の流れ ● スパン（処理単位）から構成される ○ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース ：複数のサービスにまたがって、トレースを収集、可視化 リクエスト応答が 遅い ときの ボトルネック特定 など 分散サービスに おける エラー 箇所の特定 など

トレースのデータは全部必要か 🧐？

トレースのデータは全部必要か 🧐？ 遅いトレース とか、エラーを含むトレース は 関心事である可能性が高そう。

SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz

SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz

SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz サンプリングによる、データとコストの価値への影響

「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter

「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter

「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter 確実に欲し い 確実に欲し い /healthcheck やら、 なんの変哲もない正常リクエストのトレースも含まれてるカモ

Datadog APM には 高機能な トレースパイプライン があります

Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2 3 4 5 6 ● トレーサー使ってアプリケーションを計装 ● トレーサーから（Datadog Agent を経由して）送られた、 スパンを Datadog に取り込む（Ingest） ○ ヘッドサンプリング ● 取り込んだスパンは 15 分間 Live Search 可能 ● 取り込んだスパンから必要に応じてメトリクスを作成 ● Datadog にスパンを保存する（Index） ○ Retention Filters による保存条件の設定 ○ 「遅い」や「エラー」のあるスパン条件 ● トレース情報を活用する 1 2 3 4 5 6

Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2 3 4 ● トレーサー使ってアプリケーションを計装 ● トレーサーから（Datadog Agent を経由して）送られた、 スパンを Datadog に取り込む（Ingest） ○ ヘッドサンプリング ● 取り込んだスパンは 15 分間 Live Search 可能 ● 取り込んだスパンから必要に応じてメトリクスを作成 ● Datadog にスパンを保存する（Index） ○ Retention Filters による保存条件の設定 ○ 「遅い」や「エラー」のあるスパン条件 ● トレース情報を活用する 1 2 3 4 5 6 5 6

Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） スパンが取り込まれたあと、Retention Filters で処理されて Datadog 内に保持される 　❶ デフォルトで有効化されている Retention Filters 　❷ カスタムタグベースの Retention Filters https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/

Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❶ デフォルトで有効化されている Retention Filters ● インテリジェント Retention Filters ● Error Default Retention Filters ● e.t.c...（Synthetics、ASM、Dynamic Instrumentation） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/

Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❶ デフォルトで有効化されている Retention Filters ● インテリジェント Retention Filters ： デフォルトで必ず有効化されるフィルター。 多様性サンプリング （env、service、resource や p75、p90、p95 の組み合わせや高レイテンシーなスパンを保 持）と、1% フラットサンプリング（ 取り込んだ全てのスパンを均一に 1% の割合で保持）を行う ● Error Default Retention Filters ： エラーが含まれている場合は、100% サンプリング （保持する）を行う ● e.t.c...（Synthetics、ASM、Dynamic Instrumentation） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/

Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters（保持フィルター） ❷ カスタムタグベースの Retention Filters 　タグ（env、service、status、…）に基づく追加のカスタマイズ可能なフィルター ● 「$100 以上の決済処理」のトレースは 100 % 保持する ● 「SaaS サービスの、プレミアム会員ユーザー」のトレースは 100 % 保持する ● 「特定のサービス」のトレースは 0 % 保持する（= 保持しない） https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/

Retention Filters（保持フィルター）について ー 2025-02-12 #ROSCAFE ☕ ー ❶ ❷

Datadog の画面 ー 2025-02-12 #ROSCAFE ☕ ー

まとめ ー 2025-02-12 #ROSCAFE ☕ ー ● Datadog APM のトレース収集についての全体像と、 Retention Filter（保持フィルター） についてのはなしをしました ● ヘッドサンプリングが関連する Ingestion フェーズ も大切 ○ Resource-based Sampling / Adaptive Sampling（Preview） ● オブザーバビリティ SaaS のつよみである、 監視バックエンド側のリッチなサンプリング機能を使い、良いコストマネジメントを！

宣伝 ❶ ー 2025-02-12 #ROSCAFE ☕ ー 2/26（水）19:00〜 Japan Datadog User Group Meetup#7 があります @ Datadog オフィス

宣伝 ❷ ー 2025-02-12 #ROSCAFE ☕ ー 3/6（木）19:00〜 Japan Datadog User Group Meetup#8 があります @札幌

記載されている会社名、商品名、 またはサービス名は、各社の商標登録または商標です。