Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Datadog APM におけるトレース収集の流れ及び Retention Filters の...
Search
逆井(さかさい)
February 11, 2025
Technology
0
1.1k
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
「システムの可視化と最適化をDatadogと学ぶ」@ROSCAFE の登壇スライドです。
https://rosca.connpass.com/event/344126/
逆井(さかさい)
February 11, 2025
Tweet
Share
More Decks by 逆井(さかさい)
See All by 逆井(さかさい)
Telemetry APIから学ぶGoogle Cloud ObservabilityとOpenTelemetryの現在 / getting-started-telemetry-api-with-google-cloud
k6s4i53rx
0
180
実践!Datadogで高める OCIのオブザーバビリティ / Observability in Action: Enhancing OCI with Datadog
k6s4i53rx
0
620
Main Session からの続編: OpenTelemetry のトピックいろいろ / opentelemetry-zero-code-go-opamp
k6s4i53rx
1
300
Kubernetes における OpenTelemetry 活用 ~ OTel Operator と otel-go-instrumentation をふんわり理解する編 ~ / getting-started-opentelemetry-operator-on-kubernetes
k6s4i53rx
1
1.1k
大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP に見る未来 / getting-started-opentelemetry-collector-with-opamp
k6s4i53rx
3
1.6k
開発フェーズでのオブザーバビリティ活用やプロファイルのススメ / getting-started-profile-o11y
k6s4i53rx
3
1.1k
エンジニアによるコミュニティ活動のススメ / community-and-carrier-and-me
k6s4i53rx
0
240
OpenTelemetry を使ったトレースエグザンプラーの活用 / otel-trace-exemplar
k6s4i53rx
5
2.1k
サービスメッシュ環境における OpenTelemetry 活用 / OpenTelemetry in Service Mesh
k6s4i53rx
5
3.2k
Other Decks in Technology
See All in Technology
ヘブンバーンズレッドにおける、世界観を活かしたミニゲーム企画の作り方
gree_tech
PRO
0
400
Vault meets Kubernetes
mochizuki875
0
150
JuniorからSeniorまで: DevOpsエンジニアの成長ロードマップ
yuriemori
2
340
絶対に失敗できないキャンペーンページの高速かつ安全な開発、WINTICKET × microCMS の開発事例
microcms
0
350
ヘブンバーンズレッドのレンダリングパイプライン刷新
gree_tech
PRO
0
410
PRDの正しい使い方 ~AI時代にも効く思考・対話・成長ツールとして~
techtekt
PRO
0
120
AWSで推進するデータマネジメント
kawanago
0
690
Lessons from CVE-2025-22869: Memory Debugging and OSS Vulnerability Reporting
vvatanabe
2
110
kubellが考える戦略と実行を繋ぐ活用ファーストのデータ分析基盤
kubell_hr
0
120
『FailNet~やらかし共有SNS~』エレベーターピッチ
yokomachi
1
190
ZOZOTOWNフロントエンドにおけるディレクトリの分割戦略
zozotech
PRO
18
6k
Webアクセシビリティ入門
recruitengineers
PRO
3
1.4k
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Agile that works and the tools we love
rasmusluckow
330
21k
How to Think Like a Performance Engineer
csswizardry
26
1.8k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Typedesign – Prime Four
hannesfritz
42
2.8k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Fireside Chat
paigeccino
39
3.6k
Into the Great Unknown - MozCon
thekraken
40
2k
Facilitating Awesome Meetings
lara
55
6.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
790
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
ROSCAFE Datadog APM におけるトレース収集の流れ および Retention Filters のはなし #ROSCAFE 逆井(さかさい)
@ k6s4i53rx
逆 井 啓 佑 さかさい • 所属:Datadog Japan • コミュニティ: ◦
OpenTelemetry Meetup ◦ Google Cloud Champion Innovators • クラウドネイティブ界隈に生息しています 自己紹介 CNDT2022 CNDT2023 CNDW2024 ー 2025-02-12 #ROSCAFE ☕ ー
Datadog もイベント開催頑張っています...! ー 2025-02-12 #ROSCAFE ☕ ー
Datadog APM 使ってますか?
APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring
Dynamic Instrumentation ※ APM の一部機能を掲載
APM Service Map Traces Profiles Database Monitoring Data Streams Monitoring
Dynamic Instrumentation ※ APM の一部機能を掲載 ※ 以降、トレースと表記
トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •
スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース:複数のサービスにまたがって、トレースを収集、可視化
トレースとは ー 2025-02-12 #ROSCAFE ☕ ー トレース • アプリケーションがリクエストを処理する一連の流れ •
スパン(処理単位)から構成される ◦ HTTP 処理、DB クエリ処理・・・ ※ 分散トレース :複数のサービスにまたがって、トレースを収集、可視化 リクエスト応答が 遅い ときの ボトルネック特定 など 分散サービスに おける エラー 箇所の特定 など
トレースのデータは全部必要か 🧐?
トレースのデータは全部必要か 🧐? 遅いトレース とか、エラーを含むトレース は 関心事である可能性が高そう。
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz
SREcon24 Americas のセッション ー 2025-02-12 #ROSCAFE ☕ ー https://www.usenix.org/conference/srecon24americas/presentation/cruz サンプリングによる、データとコストの価値への影響
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter
「大切なトレースを取り込み、保持する」 ー 2025-02-12 #ROSCAFE ☕ ー https://docs.datadoghq.com/ja/tracing/guide/leveraging_diversity_sampling/#diversity-sampling-algorithm-intelligent-retention-filter 確実に欲し い 確実に欲し
い /healthcheck やら、 なんの変哲もない正常リクエストのトレースも含まれてるカモ
Datadog APM には 高機能な トレースパイプライン があります
Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2
3 4 5 6 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6
Datadog APM のトレースパイプライン ー 2025-02-12 #ROSCAFE ☕ ー 1 2
3 4 • トレーサー使ってアプリケーションを計装 • トレーサーから(Datadog Agent を経由して)送られた、 スパンを Datadog に取り込む(Ingest) ◦ ヘッドサンプリング • 取り込んだスパンは 15 分間 Live Search 可能 • 取り込んだスパンから必要に応じてメトリクスを作成 • Datadog にスパンを保存する(Index) ◦ Retention Filters による保存条件の設定 ◦ 「遅い」や「エラー」のあるスパン条件 • トレース情報を活用する 1 2 3 4 5 6 5 6
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) スパンが取り込まれたあと、Retention
Filters で処理されて Datadog 内に保持される ❶ デフォルトで有効化されている Retention Filters ❷ カスタムタグベースの Retention Filters https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶
デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters • Error Default Retention Filters • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❶
デフォルトで有効化されている Retention Filters • インテリジェント Retention Filters : デフォルトで必ず有効化されるフィルター。 多様性サンプリング (env、service、resource や p75、p90、p95 の組み合わせや高レイテンシーなスパンを保 持)と、1% フラットサンプリング( 取り込んだ全てのスパンを均一に 1% の割合で保持)を行う • Error Default Retention Filters : エラーが含まれている場合は、100% サンプリング (保持する)を行う • e.t.c...(Synthetics、ASM、Dynamic Instrumentation) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー Retention Filters(保持フィルター) ❷
カスタムタグベースの Retention Filters タグ(env、service、status、…)に基づく追加のカスタマイズ可能なフィルター • 「$100 以上の決済処理」のトレースは 100 % 保持する • 「SaaS サービスの、プレミアム会員ユーザー」のトレースは 100 % 保持する • 「特定のサービス」のトレースは 0 % 保持する(= 保持しない) https://docs.datadoghq.com/ja/tracing/trace_pipeline/trace_retention/
Retention Filters(保持フィルター)について ー 2025-02-12 #ROSCAFE ☕ ー ❶ ❷
Datadog の画面 ー 2025-02-12 #ROSCAFE ☕ ー
まとめ ー 2025-02-12 #ROSCAFE ☕ ー • Datadog APM のトレース収集についての全体像と、
Retention Filter(保持フィルター) についてのはなしをしました • ヘッドサンプリングが関連する Ingestion フェーズ も大切 ◦ Resource-based Sampling / Adaptive Sampling(Preview) • オブザーバビリティ SaaS のつよみである、 監視バックエンド側のリッチなサンプリング機能を使い、良いコストマネジメントを!
宣伝 ❶ ー 2025-02-12 #ROSCAFE ☕ ー 2/26(水)19:00〜 Japan Datadog
User Group Meetup#7 があります @ Datadog オフィス
宣伝 ❷ ー 2025-02-12 #ROSCAFE ☕ ー 3/6(木)19:00〜 Japan Datadog
User Group Meetup#8 があります @札幌
記載されている会社名、商品名、 またはサービス名は、各社の商標登録または商標です。