分散トレーシングとOpenTelemetryのススメ/Getting started distributed tracing and OpenTelemetry

- 2023/06/07 Oracle Cloud Hangout Cafe #Season7 -
分散トレーシングとOpenTelemetryのススメ
– 超入門編 –
逆井(さかさい) 啓佑
@k6s4i53rx
#ochacafe

View Slide

Who AM I ??
逆井啓佑
さかさい
intro_po.yaml
1
2
3
4
5
6
7
8
9
10
11
12
13
belongs: "SIer"
kind: "SRE 兼バックエンドエンジニア "
# Kubernetes 運用してます。アプデ祭　大変...
metadata:
"Season5 カオスエンジニアリング回 "
　　　　　　　　# "その Pod 突然落ちても大丈夫ですか ??"
twitter: @k6s4i53rx

View Slide

今日 15 分間ちょっとで話すこと
分散トレーシングはいいぞ！
　複雑化されたサービス(MSA / Kubernetes 上サービス)において、
　サービス間の関係性を把握したり、処理時間のボトルネックの原因特定が難しい
→ 分散トレーシングの概要を話します
実際やっていくときは幾つか (そんなに大変じゃないけど) 考えることがあるぞ！
　・計装 / バックエンド何にする / OTel Collector / UI は？
　・トレースサンプリング戦略
OpenTelemetry はいいぞ！
　分散トレーシングをするための標準化された計装ライブラリ
→ OpenTelemtry で分散トレーシングする方法、仕組みについて解説します
メイン

View Slide

■ 分散トレーシングの基礎知識(と用語)
分散トレーシングはいいぞ
A
B
E
C
D
A
B
C D
E
参考：https://www.jaegertracing.io/docs/1.45/architecture/
● トレース・・・・・リクエストの一連の流れを示す
● スパン・・・・・・トレースの構成要素で、特定の処理を示す
● コンテキスト・・・トレースやスパンなど分散トレーシングする上で必要な情報
ｺﾝﾃｷｽﾄｺﾝﾃｷｽﾄ
ｺﾝﾃｷｽﾄｺﾝﾃｷｽﾄ
トレース

View Slide

■コンテキストの伝播
参考：https://docs.lightstep.com/docs/understand-distributed-tracing
トレースツリーを描画するためには、各スパンがコンテキストを伝播する必要があります。
Trace ID：ABC
Span ID：123
Parent SpanID：null
Trace ID：ABC
Span ID：456
Parent SpanID：123
Trace ID：ABC
Span ID：789
Parent SpanID：123
Trace ID：ABC
Span ID：890
Parent SpanID：789
トレース
Trace ID：ABC
トレース ID
は固有
親 Span
が同じ

View Slide

Trace ID
Span ID
サービス間では HTTP ヘッダに格納された情報を使って、コンテキストを伝播させます。
HTTP ヘッダの情報を、Handler で Extract、Client で Inject します。
■ サービス間のコンテキストの伝播
Handler Client
Span 生成...
リクエストリクエスト

Trace ID
Span ID
Extract Inject
基本的に後述の計装ライブラリに含まれる Context Propagator で行う。
実装としては、W3C Context や B3、AWS X-Ray などが含まれる。

View Slide

サンプルとして・・・
Tempo
想定より
あるサービスの
ある処理で遅い
と "計測" できる
with
Tempo & Grafana

View Slide

サンプルとして・・・
Tempo
想定より
あるサービスの
ある処理で遅い
と "計測" できる
with
Tempo & Grafana
以上が分散トレーシングの概要です。
便利そうだけど、なんか面倒臭そう・・・と思った方、
安心してください。
面倒ごとは丸っと計装ライブラリがやってくれます。

View Slide

　　計装ライブラリとしての "OpenTelemetry (OTel) ”
● OpenTelemetry はテレメトリー送信の標準仕様を定めている CNCF プロジェクト
OpenTelemetry はいいぞ
ログやトレース、メトリクスなどのモニタリングデータの総称
● 計装ライブラリや OpenTelemetry Collector（後述）も提供
● 基本的にモニタリングツールが計装ライブラリや、エージェントは用意してくれてはいるが、
OTel を使うことでプロプライエタリを緩和できる
Service
Jaeger
Tempo
クラウド
サービス
計装
Service
Jaeger
Tempo
クラウド
サービス
計装
※ OTel 対応の場合に限るが、メジャーどころは対応している
※ Jaeger も自前の計装ライブラリは非推奨とし、OTel を推奨している
※ 機能劣後や、メンテナンス性も加味する必要あり

View Slide

計装ライブラリとしての "OpenTelemetry (OTel) ”
🔥伝播
🔥送信
🔥生成
分散トレーシングの計装ライブラリ場合、
○ Span / Trace の生成
○ コンテキスト伝播
○ エクスポーターによるデータの送信
などを簡単に実装することができる。

View Slide

計装ライブラリとしての "OpenTelemetry (OTel) ”
🔥伝播
🔥送信
🔥生成
分散トレーシングの場合、
○ Span / Trace の生成
○ コンテキスト伝播
○ エクスポートの設定からデータの送信
などを簡単に実装することができる。
OpenTelemetry を使って
どのようにトレースの計装を行うのかイメージで解説します。
※ コードベースではなく、ライブラリで使われるコンポーネントをベースで
イメージできるようになることが目的

View Slide

① OTel SDK のセットアップ
● 各 MS で必要 ※ ほぼ同じ手続き
https://github.com/open-telemetry/opentelemetry-go/blob/main/example/otel-collector/main.go
package main
func initProvider() (func(context.Context) error, error) {
…(略)
return tracerProvider.Shutdown, nil
}
func main() {
…(略)
shutdown, err := initProvider()
if err != nil {
log.Fatal(err)
}
…(略)
tracer := otel.Tracer("test-tracer")
…(略)
ctx, span := tracer.Start(
ctx,
"CollectorExporter-Example",
trace.WithAttributes(commonAttrs...))
defer span.End()
…(略)
}
OTel 計装の Example 引用
②
①
② Span の生成
● Span 切りたいところでひたすら、
span := tracer.Start(...)
defer span.End() するだけ！

View Slide

● 各 MS で必要 ※ ほぼ同じ手続き
package main
…(略)
}
func main() {
…(略)
if err != nil {
log.Fatal(err)
}
…(略)
…(略)
ctx,
defer span.End()
…(略)
}
②
①
② Span の生成
● Span 切りたいところでひたすら、
span := tracer.Start(...)
defer span.End() するだけ！
詳しく!
簡単なので
割愛！

View Slide

OTel SDK のセットアップの主要な登場人物
Trace
Provider
Sampler
Span
Processor
Resource Exporter
※ icon はイメージとなります
※ Context Propager は省略

View Slide

Trace
Provider
Sampler
Span
Processor
Resource Exporter
親玉
trace
の属性
Span
処理する
Span
送る
Span
をふるう
(上位抽象概念)

View Slide

Trace
Provider
Sampler
Span
Processor
Resource Exporter
■ Resource：Trace の属性値を保持
● service.name (ex: shoppingcart)
● service.instance.id (ex: pod 名)
● service.version (ex: 1.0.0)
● telemetry.sdk.name (otel)
… などなどたくさんある
参考として、
● Resource Semantic Conventions
● GKE の自動で Resource を入れてくれる
OTel Collector の Processor
Resource Detection Processor

View Slide

Trace
Provider
Sampler
Span
Processor
Resource Exporter
■ SpanProcessor：Span を処理するコンポーネント
● BatchSpanPorcessor
○ バッチとして Span をバックエンドに送信する
● SimpleSpanProcessor
○ 一個ずつバックエンドに送信する
※ 商用では非推奨

View Slide

Trace
Provider
Sampler
Span
Processor
Resource Exporter
■ Exporter：Span を送信するコンポーネント
● WithEndpoint：送信先（デフォルトは "localhost:4317"）
基本的な grpcOption を設定可能
○ WithInsecure()
○ WithBlock()
参考として、
K8s 上で Otel Collector (一応後述...)
宛だと、
"otel-collector..svc.cluster.local." 、
などとする（例えば）

View Slide

Trace
Provider
Sampler
Span
Processor
Resource Exporter
■ Sampler：Span をサンプリングするコンポーネント
● AlwaysOn：全てのトレースをサンプリングする※ 商用非推奨
● AlwaysOﬀ：全てのトレースをサンプリングしない
● TraceIdRationBased：指定されたサンプリングレート
● ParentBased：親スパンの設定に基づく
後ほど詳説するが、
● Head based Sampling
=> AP レイヤーでのサンプリング
● Tail based Sampling
=> OTel Collector に集約してからサンプリング
といった、サンプリング方式があり、
ここでの Sampler は "Head based Sampling" のこと参考：https://christina04.hatenablog.com/entry/opentelemetry-sampling

View Slide

Trace
Provider(= tracer)
Sampler
Span
Processor
Resource Exporter
これらのコンポーネントが
TraceProvider(= tracer) に搭載される

View Slide

Trace
Provider(= tracer)
Sampler
Span
Processor
Resource Exporter
Span A Span B Span C
tracer.Start("Span A") tracer.Start("Span B") tracer.Start("Span C")
その tracer を使って、
Span を作れ(tracer.Start)ば良い
② Span の生成

View Slide

Trace
Provider(= tracer)
Sampler
Span
Processor
Resource Exporter
② Span の生成
ライブラリを使うことで
簡単にセットアップから計装できる！

View Slide

Trace
Provider(= tracer)
Sampler
Span
Processor
Resource Exporter
② Span の生成
package main
…(略)
}
func main() {
…(略)
if err != nil {
log.Fatal(err)
}
…(略)
…(略)
ctx,
defer span.End()
…(略)
}
②
①
この後 OTel 計装の
Example コード読むと、
少し見通し良いと思うので、
気になる方は
check してください。

View Slide

最終的に、バックエンドに Jaeger を繋ぐなどして...
※ 今回は１サービス内でのトレーシング
Span
Resource

View Slide

最後に、トレースサンプリング戦略について軽く
分散トレーシングする上で考えるべきことはいくつかあるが、
ここでは、トレースサンプリング戦略について軽く触れて終わろうと思います。
参考：https://opentelemetry.io/docs/concepts/sampling/
この辺はほんと
は不要では？
特に欲しいのは
一部の異常な
トレースでは？
ランダムで
欲しいトレース
収集できるの？

View Slide

■ Head based Sampling
● アプリケーション側でサンプリングして、バックエンドに送信
● Sampler で述べた方式
■ Tail based Sampling
● OpenTelemetry Collector にトレースを集約し処理することで
High レイテンシやエラーがあるトレースを抽出し、バックエンドに送信 (tail sampling processor)
● 注意：トレースデータを全量送るためパフォーマンス影響は見る必要がある
理論はそうだが、
実践的できてないので、
運用ノウハウある方は
ぜひ教えてください...

View Slide

時間の都合上、
OpenTelemetry でトレースがどう作られるかのイメージにフォーカス
アプリへの計装 / OpenTelemetry Collector ついて詳しく知りたい場合は、
（手前味噌ですが）こちらの記事を参考にしてください...
OpenTelemetry Collector は使用推奨されているので、OTel 使う上で知っておいて損はないと思います。
「OpenTelemetry」とは
https://atmarkit.itmedia.co.jp/ait/articles/230
1/31/news011.html

View Slide

まとめ
● 分散トレーシング・OpenTelemetry はいいぞ！！
● Observability の文脈でよく聞きますが、トレースを見れば OK ではなく、
"ログやメトリクス、プロファイリングなどのテレメトリーを継続的に関連づけて蓄積し、
必要なときに必要な切り口（ディメンション）で分析できること"が重要
● 最後に、Kubernetes 上でも分散トレーシングは有益だよ！！

View Slide

記載されている会社名、商品名、
またはサービス名は、各社の商標登録または商標です。

View Slide

分散トレーシングとOpenTelemetryのススメ/Getting started distributed tracing and OpenTelemetry

分散トレーシングとOpenTelemetryのススメ/Getting started distributed tracing and OpenTelemetry

逆井（さかさい）

More Decks by 逆井（さかさい）

Other Decks in Technology

Featured

Transcript