大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP に見る未来 / getting-started-opentelemetry-collector-with-opamp

CL UDNATIVE DAYS 　　　 2024 大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP
に見る未来 #cndw2024 逆井(さかさい) @ k6s4i53rx WINTER

逆井　啓佑さかさい • 所属：Datadog Japan • コミュニティ： ◦
OpenTelemetry Meetup ◦ Google Cloud Champion Innovators • 2022 と 2023 に OTel ネタで登壇しました自己紹介ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー CNDT2022 CNDT2023

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー話すこと / 話さないこと
補足（ネタバレ）本セッション後半は OpenTelemetry Collector の Remote Conﬁguration に関する話 • Remote Conﬁguration は "リモート設定" と本セッションでは記述 • また、OpenTelemetry や Collector は "OTel" や "Col" と略記することもあり本日、お話しできないこと - OpenTelemetry の計装自体や、OpenTelemetry Collector のコンポーネントの詳細 - OpAMP の詳細な仕様本日、お話しすること - OpenTelemetry Collector の幅広な内容と、運用時の構成について - OpenTelemetry Collector をリモート設定可能にする OpAMP（ｵﾍﾟｱﾝﾌﾟ）について

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーアジェンダ • イントロダクション（オブザーバビリティ、OpenTelemetry）
• OpenTelemetry Collector について • OpenTelemetry Collector を運用する際の構成について • OpAMP と OpenTelemetry Collector • 実際に OTel Collector をリモート設定してみる • まとめ OpAMP デモ

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーアジェンダ • イントロダクション（オブザーバビリティ、
OpenTelemetry） • OpenTelemetry Collector について • OpenTelemetry Collector を運用する際の構成について • OpAMP と OpenTelemetry Collector • 実際に OTel Collector をリモート設定してみる • まとめ

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーイントロダクション（オブザーバビリティ）オブザーバビリティとは「外部シグナルから推測されるシステムの状態を推論する能力」
『効率的なGo』（Bartłomiej Płotka　著、山口能迪　訳 ISBN978-4-8144-0053-9) 入力出力システム？外部シグナル

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーイントロダクション（オブザーバビリティ）オブザーバビリティとは「外部シグナルから推測されるシステムの状態を推論する能力」
入力出力システム？外部シグナル主要なシグナル（Primary Signals） • ログ • トレース • メトリクス • プロファイルこれらを総称して、テレメトリーシグナルと呼ぶ Ref: tag-observability / whitepaper.md

入力出力システム特定ツールの計装ライブラリー 2024-11-29 CLOUDNATIVE DAYS WINTER
2024 ーイントロダクション（OpenTelemetry）テレメトリーは基本的に "計装（インスツルメンテーション）" することで収集するツール A ツール B ツール C 特定ツール仕様のテレメトリーシグナル

入力出力システム特定ツールの計装ライブラリー 2024-11-29 CLOUDNATIVE DAYS WINTER
2024 ーイントロダクション（OpenTelemetry）入力出力システムツール A ツール A ツール B ツール C ツール B ツール C OTel ※ モニタリングツールが OpenTelemetry 対応している前提特定ツール仕様のテレメトリーシグナル OTel 仕様のテレメトリーシグナルテレメトリーは基本的に "計装（インスツルメンテーション）" することで収集する

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーイントロダクション（OpenTelemetry） Ref: https://opentelemetry.io/
OpenTelemetry とは • Cloud Native Computing Foundation(CNCF) の Incubating プロジェクト ◦ cncf/toc には Graduation に向けた Issue が既に立っている #1271 • テレメトリー（Primary Signals）のデータモデルや送信プロトコルの標準仕様（OTLP）策定 • 様々な言語向けに計装ライブラリの提供 ◦ Go、Java、Python、C++、JavaScript、... https://opentelemetry.io/docs/instrumentation/ ◦ 言語によっては（コードに手を加えないで計装できる）ゼロコード計装ツールも提供 • OpenTelemetry Collector の仕様策定、開発

OpenTelemetry とは • Cloud Native Computing Foundation(CNCF) の Incubating プロジェクト
◦ cncf/toc には Graduation に向けた Issue が既に立っている #1271 • テレメトリー（Primary Signals）のデータモデルや送信プロトコルの標準仕様（OTLP）策定 • 様々な言語向けに計装ライブラリの提供 ◦ Go、Java、Python、C++、JavaScript、... https://opentelemetry.io/docs/instrumentation/ ◦ 言語によっては（コードに手を加えないで計装できる）ゼロコード計装ツールも提供 • OpenTelemetry Collector の仕様策定、開発ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーイントロダクション（OpenTelemetry） Ref: https://opentelemetry.io/ 割愛。今回は OTel Collector にフォーカスメインテーマ

• OpenTelemetry Collector について • OpenTelemetry Collector を運用する際の構成について • OpAMP と OpenTelemetry Collector • 実際に OTel Collector をリモート設定してみる • まとめ

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector について
テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている • どのような種類のコンポーネントがあるかは Registry を参照：https://opentelemetry.io/ecosystem/registry/?s=&component=all&language=collector https://opentelemetry.io/docs/collector/ レシーバー・テレメトリーを受信するコンポーネント・e.g. OTLP Receiver、Kafka Receiver、... エクスポーター・テレメトリーを送信するコンポーネント・e.g. OTLP Exporter、Debug Exporter、... プロセッサー・テレメトリーを処理するコンポーネント・e.g. Batch Processor、Attribute Processor、... コネクター・異なるテレメトリーパイプラインを繋ぐ・e.g. Count Connector、Span Metrics Connector、...

著：@IT 「OpenTelemetry」とは――「Observability」（可観測性：オブザーバビリティ）とテレメトリーの基礎知識よりテレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている • どのような種類のコンポーネントがあるかは Registry を参照：https://opentelemetry.io/ecosystem/registry/?s=&component=all&language=collector Processor Exporter Receiver Collector モニタリングサービス B C A テレメトリーラベリングサンプリング etc… by Attribute Processor CloudNativeDays:CNDW2024 OTLP by Tail Sampling Processor 600ms > のみサンプリング

OpenTelemetry Collector は公式に 4 つのディストリビューション（distro）が配布されている（2024/11） ◆ コアディストリビューション（core） ................................................... OTel Collector のコアとなるコンポーネントを含む distro ◆ コントリビューションディストリビューション（contrib） ....... ベンダーコンポーネントなど、全てのコンポーネントを含む distro ◆ Kubernetes ディストリビューション（otelcol-k8s） ............... Kubernetes 環境に特化したコンポーネントを含む distro ◆ OTLP ディストリビューション（otelcol-otlp） ............................ OTLP コンポーネントのみを含む最小構成の distro

OpenTelemetry Collector は公式に 4 つのディストリビューション（distro）が配布されている（2024/11） ◆ カスタム OTel Collector • contrib の商用利用はイメージサイズやアタックサーフェースの観点で非推奨 • contrib のみに含まれるコンポーネントを使いたい場合はカスタムビルドが必要 • OTel では ocb（OpenTelemetry Collector Builder）というビルドツールを使用 ◆ コアディストリビューション（core） ................................................... OTel Collector のコアとなるコンポーネントを含む distro ◆ コントリビューションディストリビューション（contrib） ....... ベンダーコンポーネントなど、全てのコンポーネントを含む distro ◆ Kubernetes ディストリビューション（otelcol-k8s） ............... Kubernetes 環境に特化したコンポーネントを含む distro ◆ OTLP ディストリビューション（otelcol-otlp） ............................ OTLP コンポーネントのみを含む最小構成の distro

◆ コアディストリビューション（core） ................................................... OTel Collector のコアとなるコンポーネントを含む distro ◆ コントリビューションディストリビューション（contrib） .......
ベンダーコンポーネントなど、全てのコンポーネントを含む distro ◆ Kubernetes ディストリビューション（otelcol-k8s） ............... Kubernetes 環境に特化したコンポーネントを含む distro ◆ OTLP ディストリビューション（otelcol-otlp） ............................ OTLP コンポーネントのみを含む最小構成の distro ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector について OpenTelemetry Collector は公式に 4 つのディストリビューション（distro）が配布されている（2024/11） ◆ カスタム OTel Collector • contrib の商用利用はイメージサイズやアタックサーフェースの観点で非推奨 • contrib のみに含まれるコンポーネントを使いたい場合はカスタムビルドが必要 • OTel では ocb（OpenTelemetry Collector Builder）というビルドツールを使用 ◆ ベンダー配布の OTel Collector ベンダーによっては、カスタム OTel Collector が配布されているケースもある • ADOT Collector（AWS） / Grafana Alloy / etc...

receivers: otlp: protocols: grpc: endpoint: 0.0.0.0:4317 http: endpoint: 0.0.0.0:4318 processors:
batch: exporters: otlp: endpoint: o11y-backend:4317 service: pipelines: traces: receivers: [otlp] processors: [batch] exporters: [otlp] metrics: ... logs: ... config.yaml ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector について設定（conﬁg）を与え、OTel Collector を起動 Batch Processor OTLP Exporter OTLP Receiver Collector Trace Pipeline ./otelcol --config=config.yaml OTel Collector のバイナリ。ここに含まれていないコンポーネントを conﬁg で指定した場合はエラーが発生

extensions: health_check: pprof: endpoint: :1888 zpages: endpoint: :55679 opamp: server:
ws: endpoint: "ws://127.0.0.1:4320/v1/opamp" … service: extensions: [pprof, zpages, health_check, opamp] pipelines: • Extensions はテレメトリーデータのパイプラインに直接的に寄与しない OTel Collector の拡張機能 • Extensions のコンポーネント（一例） config.yaml ※ extensions 部抜粋ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector について OTel Collector の Extensions について後半のリモート設定においては、 OTel Collector の Opamp Agent Extension を利用 Extensions 概要 ❶ zPages OTel Col のパイプラインの処理情報、UI を提供 ❷ Performance Proﬁler pprof エンドポイント拡張 ❸ Health Check ヘルスチェックエンドポイント拡張 ❹ OpAMP Agent OTel Col で OpAMP Agent を起動する拡張

◆ 本セッションの後半パートに関わってくる OTel Collector のまとめ • OTel Collector には core、contrib
などの distro や、カスタム OTel Collector がある商用でカスタム OTel Collector を使っている場合、コンポーネント追加にはイメージをビルドして OTel Collector を再実行する必要がある • OTel Collector には conﬁg という設定を渡して実行をする OTel Collector の構成変更が必要な場合は、conﬁg を更新して OTel Collector を再実行する必要がある • Extensions を使って OTel Collector を拡張可能後半パートの OTel Collector のリモート設定には、OpAMP Agent Extensions を利用するー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector について

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector を運用する際の構成について
OpenTelemetry Collector の立て方はいくつか考えられる　　❶　(そもそも) OTel Collector がない構成　　❷　各ノードに OTel Collector を立てる構成　　❸　多段に OTel Collector を立てる構成 Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 　　 Copyright 2024 Austin Parker and Ted Young, 9781098147181. Ref ❷: https://opentelemetry.io/docs/collector/deployment/

❶ (そもそも) OTel Collector がない構成監視ツールアプリアプリアプリテレメトリー OTel SDK から直接、監視バックエンドに送信 • システムがシンプルで、テレメトリー管理が不可欠ではない場合 • OTel Collector は後からでも追加可能 Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: https://opentelemetry.io/docs/collector/deployment/ 欠けているポイント • ホストメトリクスの収集 • テレメトリーの加工や処理、インフラ属性のタグ付け • エクスポート先変更にアプリが依存

◆ 1 つの OTel Collector を立てる構成アプリアプリアプリ監視ツール OTel Col • どこかのノードに OTel Col を配置し、テレメトリーを集約 • テレメトリーの加工、エンリッチが可能 • ただし、複数ノード構成の場合、前者同様以下は取得できない ◦ ホスト情報、ホストメトリクス Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: https://opentelemetry.io/docs/collector/deployment/ テレメトリー

❷ 各ノードに OTel Collector を立てる構成ノードノードノード OTel Col OTel Col OTel Col アプリアプリアプリ監視ツール Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: https://opentelemetry.io/docs/collector/deployment/ テレメトリー各ノードに OTel Col を配置し、アプリのテレメトリーやインフラメトリクスを集約 • ホスト名などの環境属性のテレメトリーへの付与を、 OTel Collector に委譲可能 • アプリクラッシュにおけるデータ損失の可能性を低減「ノードごとの OTel Col 配置」で十分なことが多いが、より高いスケーラビリティを実現のためには、 "OTel Collector の多段構成" が有効

❸ 多段に OTel Collector を立てる構成 ※ アプリは省略ノードノードノード OTel Col OTel Col OTel Col LB OTel Col OTel Col OTel Col 監視ツール Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: https://opentelemetry.io/docs/collector/deployment/ テレメトリー各ノードの OTel Col（前段）から、LBを挟み、 OTel Col（後段）のプールに繋ぎこむ • テレメトリーパイプラインのリソース増幅が容易 • 前段の OTel Col はアプリリソースを使っているため、なるべく負荷を小さくし、後段の OTel Col プールに委譲 ◦ 前段 Col では、下記がメインタスク ▪ アプリからテレメトリー退避 ▪ インフラメトリクス収集 ▪ インフラ属性のテレメトリーへの付与 ◦ 他の処理は後段に委譲

❸ 多段に OTel Collector を立てる構成 ※ アプリは省略ノード OTel Col OTel Col OTel Col LB OTel Col OTel Col OTel Col 監視ツールテレメトリー Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: OTel Collector (多段構成)で TailsamplingとSpanMetricsを両立させる , @gumamon33 テールベースサンプリングの実現 • トレースを構成するスパンを同じ OTel Col で収集し、サンプリングを決定する必要がある • 前段で Load Balancing Exporter を使い、トレース ID が同じスパンは同一の OTel Col に送信 • 後段で Tail Sampling Processor を使い、サンプリング処理

❸ 多段に OTel Collector を立てる構成 ※ アプリは省略ノードノードノード OTel Col OTel Col OTel Col LB OTel Col OTel Col OTel Col 監視ツールテレメトリー OTel Meetup 2024-11 の @gumamon さんの事例登壇が参考になります。 Ref ❶: Learning OpenTelemetry by Ted Young and Austin Parker (O’Reilly). 9781098147181. Ref ❷: OTel Collector (多段構成)で TailsamplingとSpanMetricsを両立させる , @gumamon33 テールベースサンプリングの実現 • トレースを構成するスパンを同じ OTel Col で収集し、サンプリングを決定する必要がある • 前段で Load Balancing Exporter を使い、トレース ID が同じスパンは同一の OTel Col に送信 • 後段で Tail Sampling Processor を使い、サンプリング処理

　このように運用においては、　いくつかのパターンの OTel Collector 配置構成が考えられる。　大規模システム運用のためにテレメトリーパイプラインをより高度にすると、　管理すべき OTel Collector
の数も増えていく傾向がある。　効率的な OTel Collector の管理をしたい... ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector を運用する際の構成について

　このように運用においては、　いくつかのパターンの OTel Collector 配置構成が考えられる。　大規模システム運用のためにテレメトリーパイプラインをより高度にすると、　管理すべき OTel Collector
の数も増えていく傾向がある。　効率的な OTel Collector の管理をしたい... ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpenTelemetry Collector を運用する際の構成について OpAMP に見る未来

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry
Collector https://opentelemetry.io/docs/collector/management/#opamp OpAMP とは Open Agent Management Protocol（OpAMP） • 大規模なデータ収集エージェント群をリモートで管理するためのネットワークプロトコル ◦ spec のステータスは Beta ◦ 実装は現状 Go のみ open-telemetry/opamp-go • OpAMP はクライアントサーバープロトコル（HTTP / WebSocket） ◦ OpAMP サーバー　　：コントロールプレーンとしてエージェント群をリモート管理する役割 ◦ OpAMP クライアント：データ収集エージェントに構成される。エージェントを制御（構成変更など）する役割 ※ エージェントは OTel Collector だけではなく、Fluent Bit など任意のエージェント

OpAMP のサポートしている機能（spec） • エージェントのリモート設定 • エージェントステータスのレポート ◦ エージェントの種別、バージョン、動作している OS など
• エージェントの稼働状態のレポート（ハートビート） • エージェント固有のパッケージ管理（e.g. OTel Col イメージ） • エージェントの自動更新 • エージェントの接続認証情報の失効とローテーションー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Ref: https://opentelemetry.io/docs/specs/opamp/ https://opentelemetry.io/docs/collector/management/#opamp OpAMP とは Control plane (OpAMP サーバー) データ収集エージェント OTel Collector など (OpAMP クライアント) OpAMP

extensions: opamp: server: ws: endpoint: "ws://[OpAMP Server]/v1/opamp" tls: insecure: true
service: extensions: [opamp] config.yaml OTel Collector における OpAMP クライアントは、 Extensions の拡張機能でサポート（ステータスは alpha） OpAMP と OTel Collector ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Control plane (OpAMP サーバー) OpAMP OTel Col OpAMP Extension （OpAMP クライアント） ※ OpAMP サーバーのポートは 4320 がよく使われる

OTel Col における OpAMP のコミュニケーションモデルー 2024-11-29 CLOUDNATIVE DAYS WINTER
2024 ー OpAMP と OpenTelemetry Collector 「❶ OpAMP サーバーと直接やり取り」または、「❷ OpAMP Supervisor を介してやり取り」 OpAMP サーバー OpAMP ❶ OpAMP サーバーと直接やり取り OTel Col OpAMP クライアント OpAMP サーバー ❷ OpAMP Supervisor を介してやり取り OTel Col OpAMP クライアント Supervisor OpAMP サーバー OpAMP クライアント OpAMP OpAMP Ref: opentelemetry-collector-contrib/blob/main/cmd/opampsupervisor/specification/README.md

2024 ー OpAMP と OpenTelemetry Collector ❶ OpAMP サーバーと直接やり取り • OpAMP Extensions では、OpAMP の一部の機能のみ実装（後述） ◦ ステータスレポート ◦ エージェントの稼働状態のレポート • このモデルでは、OpAMP を介した OTel Col のレポートのみが動作する ◦ 他のリモート設定などの OpAMP 機能はサポートされない OpAMP サーバー OpAMP ❶ OpAMP サーバーと直接やり取り OTel Col OpAMP クライアント Ref: opentelemetry-collector-contrib/blob/main/cmd/opampsupervisor/specification/README.md

2024 ー OpAMP と OpenTelemetry Collector ❷ OpAMP Supervisor を介してやり取り Supervisor に OpAMP の多くの機能が実装され動作する（後述） • OTel Col プロセスの開始と停止 • リモート設定をサポートし、OpAMP サーバーから conﬁg を受け取り、OTel Col にロードし構成更新 • ❶ の動作同様に、OpAMP Extensions からレポートを受け取り、OpAMP サーバーに報告 Ref:opentelemetry-collector-contrib/blob/main/cmd/opampsupervisor/specification/README.md Ref:open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor OpAMP サーバー ❷ OpAMP Supervisor を介してやり取り OTel Col OpAMP クライアント Supervisor OpAMP サーバー OpAMP クライアント OpAMP OpAMP 　The supervisor is currently undergoing heavy development 　and is not ready for any serious use. Supervisor は現在開発中で、本格的な使用には至っていないことに留意 exec/kil l

root@93c4e3564544:/app# ps aux USER PID %CPU %MEM VSZ RSS ...
COMMAND root 1 ... /app/opampsupervisor --config /app/supervisor-config.yaml root 43 ... /app/./otelcontribcol_linux_amd64 ./otelcontribcol_linux_amd64 --config /tmp/effective.yaml ... # directory of Collector contrib repository ❯ cd cmd/opampsupervisor ❯ go run . –config supervisor-config.yaml OpAMP Supervisor for the OTel Collector ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Ref:opentelemetry-collector-contrib/blob/main/cmd/opampsupervisor/specification/README.md Ref:open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor • OTel Collector Contrib リポジトリで開発 • Supervisor の設定ファイルを用意して実行 OTel Col OpAMP クライアント Supervisor OpAMP サーバー OpAMP クライアント OpAMP exec/kill supervisor-config config read write read • Supervisor を実行すると、Supervisor と一緒に、 OTel Collector（OpAMP Extensions は自動で有効化）が実行

Collector Ref: open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor supervisor-conﬁg で設定する項目について　❶ server：OpAMP バックエンドの接続情報　❷ capabilities：Supervisor の OpAMP 機能設定　❸ agent：実行する OTel Collector のバイナリへのパス　❹ storage：OTel Collector の conﬁg などのマウント先 server: endpoint: ws://[OpAMP Server]/v1/opamp capabilities: accepts_remote_config: true reports_effective_config: true accepts_packages: true reports_packages_statuses: true reports_own_traces: true reports_own_metrics: true reports_own_logs: true accepts_opamp_connection_settings: true accepts_other_connection_settings: true accepts_restart_command: true reports_status: true reports_remote_config: true agent: executable: ./otelcontribcol_linux_amd64 storage: directory: /tmp supervisor-config ❶ ❷ ❸ ❹ OpAMP Supervisor for the OTel Collector

server: endpoint: ws://[OpAMP Server]/v1/opamp capabilities: accepts_remote_config: true reports_effective_config: true accepts_packages:
true reports_packages_statuses: true reports_own_traces: true reports_own_metrics: true reports_own_logs: true accepts_opamp_connection_settings: true accepts_other_connection_settings: true accepts_restart_command: true reports_status: true reports_remote_config: true agent: executable: ./otelcontribcol_linux_amd64 storage: directory: /tmp supervisor-config ❷ capabilities：Supervisor の OpAMP 機能設定ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Ref: open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor ❷ OpAMP Capability 内容 accepts_remote_config リモート設定の受け入れ reports_effective_config 動作している OTel Col の config レポート accepts_packages OTel Col の PKG 更新の受け入れ reports_package_statuses OTel Col の PKG のステータスを報告 reports_own_traces/metrics/logs OTel Col のトレース/メトリクス/ログを監視ツールへ報告 accepts_opamp_connection_settings OpAMP の接続設定の受け入れ accepts_other_connection_settings エクスポーターの接続設定の受け入れ accepts_restart_command 再起動コマンドの受け入れ reports_health OTel Col のヘルスステータスレポート reports_remote_config リモート設定レポート OpAMP Supervisor for the OTel Collector

（補足）OpAMP Extensions に実装されている OpAMP 機能は以下ー 2024-11-29 CLOUDNATIVE DAYS WINTER
2024 ー OpAMP と OpenTelemetry Collector Ref: open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor OpAMP Capability 内容 accepts_remote_config リモート設定の受け入れ reports_effective_config 動作している OTel Col の config レポート accepts_packages OTel Col の PKG 更新の受け入れ reports_package_statuses OTel Col の PKG のステータスを報告 reports_own_traces/metrics/logs OTel Col のトレース/メトリクス/ログを監視ツールへ報告 accepts_opamp_connection_settings OpAMP の接続設定の受け入れ accepts_other_connection_settings エクスポーターの接続設定の受け入れ accepts_restart_command 再起動コマンドの受け入れ reports_health OTel Col のヘルスステータスレポート reports_remote_config リモート設定レポート OpAMP サーバー OpAMP ❶ OpAMP サーバーと直接やり取り OTel Col OpAMP クライアント OpAMP Supervisor for the OTel Collector

ステータス server: endpoint: ws://[OpAMP Server]/v1/opamp capabilities: accepts_remote_config: true reports_effective_config: true
accepts_packages: true reports_packages_statuses: true reports_own_traces: true reports_own_metrics: true reports_own_logs: true accepts_opamp_connection_settings: true accepts_other_connection_settings: true accepts_restart_command: true reports_status: true reports_remote_config: true agent: executable: ./otelcontribcol_linux_amd64 storage: directory: /tmp supervisor-config ❷ capabilities：Supervisor の OpAMP 機能設定ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Ref: open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor ❷ OpAMP Capability 内容 accepts_remote_config リモート設定の受け入れ ✅ reports_effective_config 動作している OTel Col の config レポート ✅🚨 accepts_packages OTel Col の PKG 更新の受け入れ reports_package_statuses OTel Col の PKG のステータスを報告 reports_own_traces/metrics/logs OTel Col のトレース/メトリクス/ログを監視ツールへ報告 mixed accepts_opamp_connection_settings OpAMP の接続設定の受け入れ ✅🚨 accepts_other_connection_settings エクスポーターの接続設定の受け入れ ✅🚨 accepts_restart_command 再起動コマンドの受け入れ ✅🚨 reports_health OTel Col のヘルスステータスレポート ✅🚨 reports_remote_config リモート設定レポート Planned Planned ※ 2024/11 時点 Planned ✅　：実装済み ✅🚨：実装済み（留意事項あり） OpAMP Supervisor for the OTel Collector

ステータス server: endpoint: ws://[OpAMP Server]/v1/opamp capabilities: accepts_remote_config: true reports_effective_config: true
accepts_packages: true reports_packages_statuses: true reports_own_traces: true reports_own_metrics: true reports_own_logs: true accepts_opamp_connection_settings: true accepts_other_connection_settings: true accepts_restart_command: true reports_status: true reports_remote_config: true agent: executable: ./otelcontribcol_linux_amd64 storage: directory: /tmp supervisor-config ❷ capabilities：Supervisor の OpAMP 機能設定 OpAMP Supervisor for the OTel Collector ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector Ref: open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor ❷ OpAMP Capability 内容 accepts_remote_config リモート設定の受け入れ ✅ reports_effective_config 動作している OTel Col の config レポート ✅🚨 accepts_packages OTel Col の PKG 更新の受け入れ reports_package_statuses OTel Col の PKG のステータスを報告 reports_own_traces/metrics/logs OTel Col のトレース/メトリクス/ログを監視ツールへ報告 mixed accepts_opamp_connection_settings OpAMP の接続設定の受け入れ ✅🚨 accepts_other_connection_settings エクスポーターの接続設定の受け入れ ✅🚨 accepts_restart_command 再起動コマンドの受け入れ ✅🚨 reports_health OTel Col のヘルスステータスレポート ✅🚨 reports_remote_config リモート設定レポート Planned Planned ※ 2024/11 時点 Planned

Collector config_v1 OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー read OpAMP サーバー（バックエンド）前提：OpAMP サーバー（バックエンド）と Supervisor と OTel Col が構成　　　OTel Col は最初 conﬁg_v1 で動作 v1 OpAMP Supervisor を使った OTel Collector のリモート設定

Collector config_v1 OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー read ServerToAgent Msg（OpAMP サーバーから OpAMP クライアントへのメッセージ）の remote_conﬁg フィールドに conﬁg を設定 ❶ config ❶ v1 OpAMP サーバー（バックエンド） OpAMP Supervisor を使った OTel Collector のリモート設定

Collector config_v1 OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー受け取った config と、既存の config_v1 をマージして新しい config（v2）を作成 ※ config のマージルールの仕様は Appendix を参照 ❷ config write ❷ Merge config_v2 v1 OpAMP サーバー（バックエンド） OpAMP Supervisor を使った OTel Collector のリモート設定

Collector OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー conﬁg_v2 を使って OTel Collector プロセスを再起動する ❸ config_v2 v1 read exec ❸ 新しい conﬁg を使って　　 OTel Col を立て直し OpAMP サーバー（バックエンド） OpAMP Supervisor を使った OTel Collector のリモート設定

Collector OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー conﬁg_v2 を使った OTel Collector が作成される ❹ v2 ❹ リモート設定完了 OpAMP サーバー（バックエンド） OpAMP Supervisor を使った OTel Collector のリモート設定

Collector OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバー OTel Collector を実際に構成している config（Effective Config）が OpAMP サーバー（バックエンド）にレポートされる ❺ Effective Config v2 ❺ Effective Config OpAMP サーバー（バックエンド） OpAMP Supervisor を使った OTel Collector のリモート設定

Collector OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバーこのようなフローで、OpAMP を使った OTel Col のリモート設定が行われる ❶ - ❺ v2 ❺ Effective Config OpAMP サーバー（バックエンド） ❶ config config_v1 config write ❷ Merge config_v2 v2 read exec ❸ ❹ OpAMP Supervisor を使った OTel Collector のリモート設定

Collector OpAMP Supervisor を使った OTel Collector のリモート設定（参考として）Remote Control for Observability Using the Open Agent Management Protocol 　　　　　　　- Jacob Aronoﬀ, Lightstep from ServiceNow & Andy Keller, observIQ 　　　　　　リモート設定において、やり取りを行う Message の中身まで触れていてとても参考になるセッション https://www.youtube.com/watch?v=t550FzDi054

Collector OpAMP Supervisor を使った OTel Collector のリモート設定 OTel Col OpAMP クライアント Supervisor OpAMP クライアント OpAMP サーバーこのようなフローで、OpAMP を使った OTel Col のリモート設定が行われる ❶ - ❺ v2 ❺ Effective Config OpAMP サーバー（バックエンド） ❶ config config_v1 config write ❷ Merge config_v2 v2 read exec ❸ ❹ 理論はなんとなくわかったが、実際にやってみないとイメージがわかない！！

実際に Supervisor や OpAMP バックエンドを構成し、 OTel Collector を Let’s リモート設定！
ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー OpAMP と OpenTelemetry Collector

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー実際に OTel Collector
をリモート設定してみる OpAMP サーバー（バックエンド） OpAMP Supervisor OTel Col Batch プロセッサ OTLP エクスポータ OTLP レシーバ監視ツール (otel-tui) アプリテレメトリーテレメトリー ※ OpAMP Extensions は有効化 OTel Collector リモート設定のデモ構成

OTel Collector リモート設定のデモ構成の参考リソースー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー
実際に OTel Collector をリモート設定してみる • OpAMP サーバー（バックエンド） ◦ open-telemetry/opamp-go が公開しているサンプルコード。UI 含む ◦ https://github.com/open-telemetry/opamp-go/tree/main/internal/examples • OpAMP Supervisor ◦ open-telemetry/otelcol-contrib/cmd の Supervisor 実装 ◦ https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/cmd/opampsupervisor • アプリ ◦ open-telemetry/opentelemetry-collector-contrib のデモコード ◦ https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/examples/demo • 監視ツール（otel-tui） ◦ Terminal OpenTelemetry Viewer ◦ https://github.com/ymtdzzz/otel-tui

をリモート設定してみる OpAMP サーバー（バックエンド） OpAMP Supervisor OTel Col Batch Attribute Sampling OTLP エクスポータ OTLP レシーバシナリオ-❶: Attribute Processor を追加。カスタム属性の付与シナリオ-❷: Sampling Processor を追加。< 600 ms のトレースをドロップ監視ツール (otel-tui) アプリテレメトリーテレメトリー OTel Collector リモート設定のデモ構成カスタム属性付与 < 600ms ドロップ

をリモート設定してみる OTel Collector リモート設定のデモ

トピック-1: OpAMP in Kubernetes 環境ー 2024-11-29 CLOUDNATIVE DAYS WINTER
2024 ー OpenTelemetry Operator の OpAMPBridge を利用 • 他にも OpenTelemetryCollector、Instrumentation • Kubernetes 環境内で Supervisor として動作 − OpAMPBridge の機能 − • OpAMP Capabilities を全て受け入れ可能 ◦ 各 OTel Collector のヘルス状態のレポート ◦ OpAMP サーバーを通じた OTel Collector のリモート設定 • コンポーネントの許可リスト。右図だと ◦ レシーバーは OTLP Receiver のみ許可する ◦ プロセッサーは Memory Limiter Processor のみ許可 OpAMP サーバー OpAMP Bridge （Supervisor） OTel Collector apiVersion: opentelemetry.io/v1alpha1 kind: OpAMPBridge metadata: name: opamp-bridge spec: endpoint: 'wss://[]:4320/v1/opamp' capabilities: acceptsRemoteConfig: true … componentsAllowed: receivers: - otlp processors: - memory_limiter … OpAMPBridge.yaml 最後、まとめる前のトピック-1

• opamp-go を利用して、OpAMP バックエンドをプラットフォームとして自前で構築は可能 ※ 現在時点でのステータスは留意 • オブザーバビリティツール提供側が利用するケース。OpAMP
に関する Issue もあり ◦ Grafana Alloy #1236 ◦ ADOT Collector #2402 ... 中長期のロードマップに OpAMP あり • 既存ツールの利用も可能。ObservIQ の Bindplane ◦ OpAMP を利用して OTel Collector 等をリモート管理するソフトウェア ◦ OpAMP サーバーとして動作する Bindplane サーバーと、Web UI を提供トピック-2: How to use OpAMP? ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ー最後、まとめる前のトピック-2 Ref: Remote Control for Observability Using the Open Agent Management Protocol https://www.youtube.com/watch?v=t550FzDi054

ー 2024-11-29 CLOUDNATIVE DAYS WINTER 2024 ーまとめ • OpenTelemetry
Collector について幅広く見ました ▪ OTel Collector の構成要素 ▪ OTel Collector 運用時における OTel Collector の構成について • エージェント管理のためのベンダーニュートラルな OpAMP について • OpenTelemetry Collector や OpenTelemetry Operator における OpAMP の実装や、実際の動作（リモート管理）について

記載されている会社名、商品名、またはサービス名は、各社の商標登録または商標です。

大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP ...

大規模システムへの OpenTelemetry Collector 導入の勘所と OpAMP に見る未来 / getting-started-opentelemetry-collector-with-opamp

More Decks by 逆井（さかさい）

Featured

Transcript