サンプリングは「作る」のか「使う」のか？ 分散トレースのコストと運用を両立する実践的戦略 / Why you need the tail sampling and why you don't want it

クラウドネイティブ会議のセッションの登壇資料です。
https://event.cloudnativedays.jp/cnk/talks/3062

デモはこちらを使いました
https://github.com/ymotongpoo/otel-lb-tailsampling-demo

Transcript

1. クラウドネイティブ会議 Day 1 – May 14th, 2026 サンプリングは「作る」のか「使う」のか？ 分散トレースのコストと運用を両立する実践的戦略 山口 能迪 (@ymotongpoo) Staff Developer Advocate, Grafana Labs
2. 山口 能迪（やまぐちよしふみ） Staff Developer Advocate Grafana Labs 専門領域 • オブザーバビリティ • SRE @ymotongpoo
3. トレースはトランザクションのオブザーバビリティの中核 です。 分散システムのパフォーマンス、健全性、そして本番環 境での挙動を理解するための最善の方法です。 ⼊⾨OpenTelemetry | 3章 OpenTelemetry 概要 トレースはとても大事
4. シナリオ: 分散トレースを取得したい 分散トレースを取得する計装をした
5. 最初期: ボトルネック発見 • スロークエリが見つかった • 不必要な直列処理を発見した • 予期しない依存関係を見つけた
6. 中期: トレース過多 • ストレージコスト高騰 • 分析ツールの負荷増 • 計測時のオーバーヘッド増 • コレクターのSPOF化
7. 解決策 1: コレクタープール コレクターを複数立てて負荷分散
8. 多くのデータ 良い結果 オブザーバビリティ コスト MTTR / 障害時のコスト 規模 コスト
9. 解決策 2: サンプリング トレースのサンプリングの大きな分岐点 最初のスパンを受け取った瞬間に記 録有無を決定 特定のトレースのすべてのスパンを受 け取った後に記録するかを決定 ヘッドベースサンプリング テイルベースサンプリング 確率的サンプリング • eg) 100回に1回記録 (1%) ルールベースサンプリング • eg) ヘルスチェックの除外 ルールベースサンプリング • eg) トレース全体のレイテンシー • eg) スパン数の合計 • eg) 特定のスパンの有無
10. コレクタープール × テイルサンプリングの罠 テイルを知る術がない
11. コレクタープール × テイルベースサンプリングの罠 ロードバランサーがトレース IDを見 て振り分けないとダメ
12. 実際はバッチで来る A A A B1 B1 B1 ロードバランサーが見えるヘッダーは パケットの外
13. もっとバッチで来る A A A B1 B1 B1 A A A B1 B1 B1 元のパケットの情報なし
14. チャレンジ 思っているより考えることが多い OTLPでロードバランサーに送信しているときに起きていること • エクスポーターからLBへのバッチ送信も1つのトレース • 汎用ロードバランサーは送信トレースのヘッダーは見れる • OTLP over gRPC は内部に複数のスパンデータを持つ 汎用L4/L7 LB だとバッチ自体のトレースしか見れない
15. loadbalancing エクスポーター & tail_sampling プロセッサー https://github.com/ymotongpoo/otel-lb-tailsampling-demo オープンソースのみの構成
16. Tier 1: Gateway loadbalancing エクスポーターの設定 exporters: loadbalancing: routing_key: "traceID" protocol: otlp: resolver: dns: hostname: otel-tier2-internal port: "4317" トレースなら "service", "traceID", "attribute" が有効
17. コレクタープール側の設定 kind: Service metadata: name: otel-tier2-internal spec: clusterIP: None # Headlessにする selector: app: otel-tier2 ports: - port: 4317 targetPort: 4317 kind: StatefulSet metadata: name: otel-tier2 spec: serviceName: otel-tier2-internal replicas: 4 selector: matchLabels: app: otel-tier2 template: metadata: labels: app: otel-tier2 Pod名を {StatefulSet名}-{通し番号} で固定 Tier 2: Sampling
18. tail_sampling プロセッサーの設定 processors: batch: tail_sampling: decision_wait: 5s num_traces: 10000 expected_new_traces_per_sec: 100 policies: - name: latency-policy type: latency latency: {threshold_ms: 100}
19. チャレンジ 思っているより考えることが多い OTLPでロードバランサーに送信しているときに起きていること • エクスポーターからLBへの送信も1つのトレース • 汎用ロードバランサーは送信トレースのヘッダーは見れる • OTLP over gRPC は内部に複数のスパンデータを持つ loadbalancing エクスポーターならスパンレベルまで protobuf の中身を見てルーティングできる
20. このサンプリング機構を 本当に自分で運用したいのか
21. 全トレースを Grafana Cloudに送信 トレースを評価し 価値があるものだけを保持する 価値のあるトレースのみを保持しクエ リ可能にする トレース Adaptive Traces Grafana Tempo 価値のあるトレースのみを保持 Adaptive Traces General Availability
22. インジェ スト スパン OTelによる計装 ポリシー サンプリング レコメンデーション RED 指標生成 価値あるトレース ~90% 削減 General Availability トレースデータを Adaptive Traces
23. テレメトリー削減状況の概要 推奨サンプリングポリシー
24. Actually useful AI
25. 他にもAI機能があります Grafana Cloud が提供する AI アシスタント機能である Grafana Assistant のウェビナーをぜひご覧ください