OTelCol_TailSampling_and_SpanMetrics

OpenTelemetry Meetup 2024-11
https://opentelemetry.connpass.com/event/335274/

OTel Collector (多段構成)で TailsamplingとSpanMetricsを両立させる
@gumamon33

Transcript

1. OTel Collector 〜TailSamplingとSpanMetricsを両立させる〜 OpenTelemetry Meetup 2024-11 @gumamon33 1
2. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 2
3. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 3
4. 自己紹介 • 稲熊修宏 (いなぐまのぶひろ) • 株式会社ラクス / SRE課 • 社内プラットフォームの守り人 • おチビ達のしもべ • X (@gumamon33) 4
8. https://career-recruit.rakus.co.jp/career_engineer/ 積極採用中！ ・ ・ ・ 8
9. https://career-recruit.rakus.co.jp/engineer_jobs/sreengineer 9
10. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 10
11. OTel Collectorの概要 OpenTelemetry Collector ベンダーに依存しない方法でテレメトリ データを受信、処理、エクスポート https://opentelemetry.io/docs/collector/ より引用 11
12. OTel Collectorの概要 OpenTelemetry Collector ベンダーに依存しない方法でテレメトリ データを受信、処理、エクスポート プラガブルな構造 • Receivers • Processors • Exporters + • ( Connector ) Stream 12
13. OTel Collectorの概要 OpenTelemetry Collector 今日の発表では以下の図を多用します https://opentelemetry.io/docs/collector/building/connector/ より引用 ＝ 13
14. OTel Collectorの概要 OpenTelemetry Collector 今日の発表では以下の図を多用します https://opentelemetry.io/docs/collector/building/connector/ より引用 スペースの関係上小さめに・・・覚えておいて下さい！ ＝ 14
15. OTel Collectorの概要 OpenTelemetry Collector ディストリビューションについて 本日紹介するコンポーネントの多くは Contribution Distro です。 Collectorの公式ディストリビューションですが、 3rdパーティ製のコンポーネントを多く含む為、セキュリ ティの観点から必要なコンポーネントのみでビルドすることが推奨されています。 また、安定性レベルが α以下のコンポーネントも多くありますので、 利用される際には各々自己責任でお願い致します。 15
16. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 16
17. 課題 Traceをデータソースとした可観測性の向上 • Trace ◦ 全て収集しようとすると膨大な量 ◦ 実際に見たいのは エラー または 応答遅延のみ → 問題のある Traceのみが欲しい (一部収集) • Metrics (from Trace) ◦ 各APIへのリクエストのエラー率、応答速度の95%ile などが見たい →全てのTraceを元に計算した Metricsが欲しい(全部収集) 17
18. 課題 Traceをデータソースとした可観測性の向上 いけるいける！ Otel Collectorのパイプラインはすばらしい OTel CollectorのPoCを終えたころの私 18
19. 課題 Traceをデータソースとした可観測性の向上 そんな簡単な話ではなかった 19
20. 課題 Traceをデータソースとした可観測性の向上 そんな簡単な話ではなかった 本日は課題解消で苦労した部分と 解決の一例をお話します！ 20
21. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 21
22. 課題解消の難しさ Traceをデータソースとした可観測性の向上 課題 (再掲) • Trace ◦ 全て収集しようとすると膨大な量 ◦ 実際に見たいのは エラー または 応答遅延のみ → 問題のある Traceのみが欲しい (一部収集) • Metrics (from Trace) ◦ 各APIへのリクエストのエラー率、応答速度の95%ile などが見たい →全てのTraceを元に計算した Metricsが欲しい(全収集) 22
23. 課題解消の難しさ > Trace Traceをデータソースとした可観測性の向上 課題 > Trace • Trace ◦ 全て収集しようとすると膨大な量 ◦ 実際に見たいのは エラー または 応答遅延のみ → 問題のある Traceのみが欲しい (一部収集) Tail Sampling Processor 23
24. 課題解消の難しさ > Trace Tail Sampling Processor • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) TailSampling 24
25. 課題解消の難しさ > Trace Tail Sampling Processor • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) 各Traceと、それに紐づくスパンが全て揃わなければ知り得ない情報 各Traceは、同じTailSamplingProcessorに集約しなければならない TailSampling 25
26. 課題解消の難しさ > Trace Tail Sampling Processor • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) ⇐こういうトレースを考える 26
27. 課題解消の難しさ > Trace Tail Sampling Processor • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) ⇐こういう構成も考える 27
28. 課題解消の難しさ > Trace Tail Sampling Processor • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) OTelCollectorで分散して受けようとすると、送信先の OTelCollectorに よってはOK/ERRORを誤認してしまう。 スケーラビリティ ←→ サンプリングのトレードオフ 28
29. 課題解消の難しさ Traceをデータソースとした可観測性の向上 課題 (再掲) • Trace ◦ 全て収集しようとすると膨大な量 ◦ 実際に見たいのは エラー または 応答遅延のみ → 問題のある Traceのみが欲しい (一部収集) • Metrics (from Trace) ◦ 各APIへのリクエストのエラー率、応答速度の95%ile などが見たい →全てのTraceを元に計算した Metricsが欲しい(全収集) 29
30. 課題解消の難しさ > Metrics Traceをデータソースとした可観測性の向上 課題 > Trace • Metrics (from Trace) ◦ 各APIへのリクエストのエラー率、応答速度の95%ile などが見たい →全てのTraceを元に計算した Metricsが欲しい(全収集) Span Metrics Connector 30
31. 課題解消の難しさ > Metrics Span Metrics Connector • Contribution Distro • スパンからメトリクスを集計する • メトリクスの活用例 ◦ 各WEB APIの応答時間の分布を可視化する ◦ 各WEB APIのエラー率を算出する SpanMetrics 31
32. 課題解消の難しさ > Metrics Span Metrics Connector • Contribution Distro • スパンからメトリクスを集計する • メトリクスの活用例 ◦ 各WEB APIの応答時間の分布を可視化する ◦ 各WEB APIのエラー率を算出する だが、Traceのパイプラインには ProcesserにTailsamplingがいたはずだ・・・ TailSampling SpanMetrics 32
33. 課題解消の難しさ > Metrics Span Metrics Connector • Contribution Distro • スパンからメトリクスを集計する • メトリクスの活用例 ◦ 各WEB APIの応答時間の分布を可視化する ◦ 各WEB APIのエラー率を算出する TailSampling SpanMetrics ConnectorはProcessorよりも後段にある → Tailsamplingに正常なTraceを捨てられてしまう 33
34. 課題解消の難しさ > 総括 OTelCollectorで全部実現は難しい？ 34
35. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 35
36. 多段構成アプローチ 問題を整理してみる 36
37. 多段構成アプローチ OTelCollector ①TailSampling TailSampling→SpanMetrics の順序が問題 ②SpanMetrics 37
38. 多段構成アプローチ OTelCollector SpanMetrics→TailSampling の順序にしたい ①SpanMetrics ②TailSampling 38
39. 多段構成アプローチ OTelCollector-a OTelCollector-b SpanMetrics→TailSampling の順序にしたい > 別々のOTelCollectorに処理をさせる・・？ ①SpanMetrics ②TailSampling 39
40. 多段構成アプローチ SpanMetrics TailSampling OTelCollector-a OTelCollector-b よさそう！ 40 (remote write)
41. 多段構成アプローチ いや、スケーラビリティはどうする？ 41
42. 多段構成アプローチ Tail Sampling Processor (再掲) • Contribution Distro • 一連のポリシーに基づいてサンプリング • ポリシーの一例 ◦ status_code != OK (異常なWeb応答) ◦ latency > 1s (遅延したWeb応答) OTelCollectorで分散して受けようとすると、送信先の OTelCollectorに よってはOK/ERRORを誤認してしまう。 スケーラビリティ ←→ サンプリングのトレードオフ 42
43. 多段構成アプローチ 救世主 Loadbalancing Exporter 43
44. 多段構成アプローチ Loadbalancing Exporter • Contribution Distro • exporters.loadbalancing に送信先(複数)を設定 • TraceID(等)をハッシュ化し、 一貫したバックエンドに送信する ◦ Trace1のSpan(a,b,c)→ hosts.host-aへ ◦ Trace2のSpan(x,y,z)→ hosts.host-bへ 44
45. 多段構成アプローチ Loadbalancing Exporter • Contribution Distro • exporters.loadbalancing に送信先(複数)を設定 • TraceID(等)をハッシュ化し、 一貫したバックエンドに送信する ◦ Trace1のSpan(a,b,c)→ hosts.host-aへ ◦ Trace2のSpan(x,y,z)→ hosts.host-bへ 条件(TraceID , hosts.*)が同じであれば、 どのOTelCollectorも同じバックエンドに Traceを送信してくれる！ 45
46. 多段構成アプローチ SpanMetrics TailSampling OTelCollector-a(1...n) OTelCollector-b(1...m) LoadBalancing 46 (remote write)
47. 多段構成アプローチ 通信経路の補足 (kubernetes) 2段目のOTelCollectorは1つのpodごとに1つのserviceが必要です。 私は OTelCol-a,-bを一つの HelmChartで管理しています。 valuesにOTelCollector-bのホスト一覧を登録すると、 service , exportersが同時に更新されるように構成しています。 47
48. 多段構成アプローチ 完成！！ 48
49. 多段構成アプローチ と思いきや、まだ発生する問題 (Metrics) 49
50. 多段構成アプローチ SpanMetrics OTelCollector-a(1...n) (remote write) x10 x5 不一致 事象 • 発生させたTraceの数と 検出されたTraceの数が 一致しない ( 基本減っている) 50
51. 多段構成アプローチ SpanMetrics OTelCollector-a(1...n) (remote write) x10 x5 不一致 事象 • 発生させたTraceの数と 検出されたTraceの数が 一致しない ( 基本減っている) 原因 • Metricsのラベル被り OTelcol-a(1..n) が 同じラベルを使っていた ↓ Prometheusに同じもの としてカウントされ、 一部が無視されてしまった 51
52. 多段構成アプローチ SpanMetrics OTelCollector-a(1...n) (remote write) x10 x10 一致！ 事象 • 発生させたTraceの数と 検出されたTraceの数が 一致しない ( 基本減っている) 原因 • Metricsのラベル被り OTelcol-a(1..n) が 同じラベルを使っていた 解決 • Processorでラベルを追加 ( OTelCollectorのPod名) Attributes 52
53. 多段構成アプローチ SpanMetrics TailSampling OTelCollector-a(1...n) OTelCollector-b(1...m) LoadBalancing Attributes 53 (remote write)
54. 多段構成アプローチ 今度こそ完成！！ 54
55. アジェンダ • 自己紹介 • OTel Collectorの概要 • 課題(Traceの一部収集 and Metricsの全収集) • 課題解消の難しさ • 課題解消の一例(多段構成アプローチ) • まとめ 55
56. まとめ Traceをデータソースとした可観測性の向上 • TailSamplingとSpanMetricsの両立 (スケーラビリティも担保) ◦ OTelCollectorの2段構成で実現可 ◦ 1段目では主にSpanMetricsを処理する ◦ 2段目では主にTailSamplingを処理する I did it! 56
57. まとめ Traceをデータソースとした可観測性の向上 • APPからTraceを受け、Trace , Metricsを出力 • pipelines.traces ◦ receivers {otlp} ◦ processors {attributes/metrics , batch , …etc} ◦ exporters {loadbalancing, spanmetrics} • pipelines.metrics ◦ receivers {spanmetrics} ◦ processors {batch, …etc} ◦ exporters {prometheusremotewrite} OTelCollector-a(1...n) ※1段目 57
58. まとめ Traceをデータソースとした可観測性の向上 • OTelCollector-aからTraceを受け、TailSamplingしたTraceを出力 • pipelines.traces ◦ receivers {otlp} ◦ processors {tail_sampling , batch , …etc} ◦ exporters {otlphttp} OTelCollector-b(1...m) ※2段目 58
59. まとめ SpanMetrics TailSampling OTelCollector-a(1...n) OTelCollector-b(1...m) LoadBalancing Attributes 全体像(再掲) 59 (remote write)
60. まとめ 60 結論
61. まとめ OpenTelemetryは最高だぜ！ 61
62. ご清聴ありがとうございました！ 〜TailSamplingとSpanMetricsを両立させる〜 OpenTelemetry Meetup 2024-11 @gumamon33 62