Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Datadog APM におけるトレース収集の流れ及び Retention Filters の...
Search
逆井(さかさい)
February 11, 2025
Technology
0
520
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
「システムの可視化と最適化をDatadogと学ぶ」@ROSCAFE の登壇スライドです。
https://rosca.connpass.com/event/344126/
逆井(さかさい)
February 11, 2025
Tweet
Share
More Decks by 逆井(さかさい)
See All by 逆井(さかさい)
Main Session からの続編: OpenTelemetry のトピックいろいろ / opentelemetry-zero-code-go-opamp
k6s4i53rx
1
190
Kubernetes における OpenTelemetry 活用 ~ OTel Operator と otel-go-instrumentation をふんわり理解する編 ~ / getting-started-opentelemetry-operator-on-kubernetes
k6s4i53rx
1
550
大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP に見る未来 / getting-started-opentelemetry-collector-with-opamp
k6s4i53rx
3
1.2k
まわりを巻き込むための越境アウトプット活動のススメ / getting-started-public-output
k6s4i53rx
1
100
開発フェーズでのオブザーバビリティ活用やプロファイルのススメ / getting-started-profile-o11y
k6s4i53rx
3
1k
エンジニアによるコミュニティ活動のススメ / community-and-carrier-and-me
k6s4i53rx
0
190
オブザーバビリティを民主化してコア分析ループを加速したい話 / trace-log-correlation-on-google-cloud-observability
k6s4i53rx
2
220
OpenTelemetry を使ったトレースエグザンプラーの活用 / otel-trace-exemplar
k6s4i53rx
5
1.8k
サービスメッシュ環境における OpenTelemetry 活用 / OpenTelemetry in Service Mesh
k6s4i53rx
5
2.9k
Other Decks in Technology
See All in Technology
# Azure Cosmos DB パフォーマンス最適化入門 - 設計・開発・運用の実践テクニック
shibayan
0
160
大人の学び - マイクの持ち方について
kawaguti
PRO
3
420
Go Modulesの仕組み Bundler(Ruby)との比較を添えて
daisuketakeda
0
1.7k
VPoEの引き継ぎでやったこと、わかったこと
saitoryc
1
890
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.8k
How to benefit from the latest Keycloak features
ahus1
0
120
Log Analytics を使った実際の運用 - Sansan Data Hub での取り組み
sansantech
PRO
0
290
結果的にこうなった。から見える メカニズムのようなもの。
recruitengineers
PRO
1
150
UDDのすすめ
maguroalternative
0
420
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
560
【Snowflake九州ユーザー会#2】BigQueryとSnowflakeを比較してそれぞれの良し悪しを掴む / BigQuery vs Snowflake: Pros & Cons
civitaspo
5
1.7k
スクラムというコンフォートゾーンから抜け出そう!プロジェクト全体に目を向けるインセプションデッキ / Inception Deck for seeing the whole project
takaking22
4
440
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
11
570
Visualization
eitanlees
146
15k
The Language of Interfaces
destraynor
156
24k
Building Applications with DynamoDB
mza
93
6.3k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7.1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
680
Transcript
ROSCAFE Datadog APM におけるトレース収集の流れ および Retention Filters のはなし #ROSCAFE 逆井(さかさい)
@ k6s4i53rx
逆 井 啓 佑 さかさい • 所属:Datadog Japan • コミュニティ: ◦
OpenTelemetry Meetup ◦ Google Cloud Champion Innovators • クラウドネイティブ界隈に生息しています 自己紹介 CNDT2022 CNDT2023 CNDW2024 ー 2025-02-12 #ROSCAFE ☕ ー
Datadog もイベント開催頑張っています...! ー 2025-02-12 #ROSCAFE ☕ ー
Datadog APM 使ってますか?
APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring
Dynamic Instrumentation ※ APM の一部機能を掲載
APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring
Dynamic Instrumentation ※ APM の一部機能を掲載 ※ 以降、トレースと表記
トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •
スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース:複数のサービスにまたがって、トレースを収集、可視化
トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •
スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース :複数のサービスにまたがって、トレースを収集、可視化 リクエスト応答が 遅い ときの ボトルネック特定 など 分散サービスに おける エラー 箇所の特定 など
トレースのデータは全部必要か 🧐?
トレースのデータは全部必要か 🧐? 遅いトレース とか、エラーを含むトレース は 関心事である可能性が高そう。
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz サンプリングによる、データとコストの価値への影響
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter 確実に欲し い 確実に欲し
い /healthcheck やら、 なんの変哲もない正常リクエストのトレースも含まれてるカモ
Datadog APM には 高機能な トレースパイプライン があります
Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2
3 4 5 6 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6
Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2
3 4 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6 5 6
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) スパンが取り込まれたあと、Retention
Filters で処理されて Datadog 内に保持される ❶ デフォルトで有効化されている Retention Filters ❷ カスタムタグベースの Retention Filters https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶
デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters • Error Default Retention Filters • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶
デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters : デフォルトで必ず有効化されるフィルター。 多様性サンプリング (env、service、resource や p75、p90、p95 の組み合わせや高レイテンシーなスパンを保 持)と、1% フラットサンプリング( 取り込んだ全てのスパンを均一に 1% の割合で保持)を行う • Error Default Retention Filters : エラーが含まれている場合は、100% サンプリング (保持する)を行う • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❷
カスタムタグベースの Retention Filters タグ(env、service、status、…)に基づく追加のカスタマイズ可能なフィルター • 「$100 以上の決済処理」のトレースは 100 % 保持する • 「SaaS サービスの、プレミアム会員ユーザー」のトレースは 100 % 保持する • 「特定のサービス」のトレースは 0 % 保持する(= 保持しない) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー ❶ ❷
Datadog の画面 ー 2025-02-12 #ROSCAFE ☕ ー
まとめ ー 2025-02-12 #ROSCAFE ☕ ー • Datadog APM のトレース収集についての全体像と、
Retention Filter(保持フィルター) についてのはなしをしました • ヘッドサンプリングが関連する Ingestion フェーズ も大切 ◦ Resource-based Sampling / Adaptive Sampling(Preview) • オブザーバビリティ SaaS のつよみである、 監視バックエンド側のリッチなサンプリング機能を使い、良いコストマネジメントを!
宣伝 ❶ ー 2025-02-12 #ROSCAFE ☕ ー 2/26(水)19:00〜 Japan Datadog
User Group Meetup#7 があります @ Datadog オフィス
宣伝 ❷ ー 2025-02-12 #ROSCAFE ☕ ー 3/6(木)19:00〜 Japan Datadog
User Group Meetup#8 があります @札幌
記載されている会社名、商品名、 またはサービス名は、各社の商標登録または商標です。