サービス連携の”謎解き”を可能にするDatadogによる分散トレース導入の第一歩（サンプリング編）

After SRE NEXT 2025 LT&交流 Night でのLT資料です

Transcript

1. 金森 秀平（プラットフォームエンジニアリング1G） サービス連携の”謎解き”を可能にする Datadogによる分散トレース導入の第一 歩（サンプリング編） @_MoneyForest
2. 自己紹介
3. 自己紹介 金森 秀平(@_MoneyForest) - 所属: タイミー プラットフォームエンジ ニアリングチーム 1G - うさぎ（7歳♂）を育ててます - SIer -> Backend -> SRE
4. おさらい
5. SRE NEXTでは、弊社からは分散トレーシングにおける トレース情報の受け渡しについて発表しました
6. 分散トレーシングは、システムをまたいだリクエストの流れをエンドツーエンドで可視化 ・追跡する技術です。
8. サービス間の分散トレース情報連携の主な方式（ HTTPヘッダー、 Datadogの場合） 🐶 Datadog 独自形式（ datadog） • x-datadog-trace-id: <trace-id> • x-datadog-parent-id: <span-id> • x-datadog-sampling-priority: <sampling> • Datadog APM向けのデフォルト形式 🌐 W3C Trace Context（標準規格、 tracecontext） • traceparent: <version>-<trace-id>-<span-id>- <trace-flags> • OpenTelemetryなど多くのベンダーが対応 ⚠ B3（非推奨） 🔹 B3 Multi（b3multi） • X-B3-TraceId: <trace-id> • X-B3-SpanId: <span-id> • X-B3-ParentSpanId: <parent-span-id>（任意） • X-B3-Sampled: 0 または 1 • Zipkin互換。レガシー用途。複数ヘッダ形式。 🔸 B3 Single（b3 single header, b3single） • b3: <trace-id>-<span-id>-<sampling> • 軽量・1ヘッダで伝播。モダンなgRPCやHTTP/2と 相性が良い。
11. 本日は、トレースの 「サンプリング」について発表します
12. サンプリング
13. サンプリングとは？
14. サンプリング: 全てのトレースを記録する代わりに、統計的に意味のある単位で 一部のトレースのみを選択して記録する仕組み
15. ✅ コスト削減・ノイズ削減 ◦ アプリケーションの問題は繰り返し発生しがち ◦ サンプルでも母集団を代表できるため、全てを収集する 必要はない ❌ サンプリングが推奨されない場合 ◦ 生成されるデータが少ない なぜサンプリングするのか？
16. 主に2種類ある • ヘッドサンプリング ◦ トレースの開始時点でトレースを維持するか削除するか決定する ◦ サンプリング判定を行うのはトレーシングライブラリ ◦ 呼び出し先のサービスにトレースを維持または削除するかの情報を伝搬 する • テールサンプリング ◦ トレースの終了時点でトレースを維持するか削除するか決定する ◦ サンプリング判定を行うのは OTel Collector、エージェント、または オブザーバビリティバックエンド ◦ オブザーバビリティベンダーが有するサンプリング機能の活用が可能 サンプリングの方法
17. ヘッドサンプリング テールサンプリング 補足: サンプリング箇所の図
18. （ところで）分散トレーシングの場合 サンプリングによって歯抜けにならんの？
19. 補足: 歯抜けとは こういった外部サービス の箇所が欠損しないか
20. 結論:大丈夫 → どちらのサンプリング方法でも歯抜けにならないようにできる
21. で、どっち使えばいいの？
22. ヘッドサンプリング向き • わかりやすいのが好きな人 ◦ 確率などのシンプルなサンプリングで いい場合 • 低コストにしたい人 ◦ トレース取り込み自体にコストがかか り削減したい場合（Datadogなど） • 低負荷にしたい人 ◦ セルフホストしており、トレース送信 先の負荷も考慮したい場合 🔥 ヘッドサンプリング VS テールサンプリング 🔥
23. 🔥 ヘッドサンプリング VS テールサンプリング 🔥 テールサンプリング向き • アプリケーション側はシンプルにしたい人 ◦ とりあえず送っておけば OK • 工夫したい人 ◦ トレース全体が完成してから判定する ため「エラーになったトレース」「異 常なレイテンシーのトレース」を収集 するなどの設定が可能 • 多くのサービスを提供している会社 ◦ 中央集権的な管理ができる
24. オマケ: 高度なサンプリング • Datadog Adaptive Sampling のように高度なサンプリング機能も登場し ている ◦ 予算に応じてリモートから各サービスの Agentのヘッドサンプリング設 定を書き換え、高度なサンプリングが可能に
25. まとめ
26. まとめ • サンプリングとは ◦ 全てのトレースを記録する代わりに、統計的に意味のある単位で一部のトレー スのみを選択して記録する仕組み ◦ アプリケーションの問題は繰り返し発生するため、すべてを収集する必要はな く、ノイズやコストが削減できる • サンプリングの方法 ◦ ヘッドサンプリングとテールサンプリングがあり、サンプリングする箇所が異なっ ている ◦ どちらを使っても歯抜けにならないようにすることが可能 ◦ それぞれにメリデメがあるのでお好みで ◦ Datadog Adaptive Samplingのように、ベンダー固有の高度なサンプリング機 能も存在する
27. ありがとうございました