OpentelemetryでアプリケーションのObservabilityを強化しよう

2023/8/25に開催された「クラスメソッドの最新開発ノウハウを学ぶ勉強会 クラメソで使っている話題の技術編」でOpentelemetryに関して発表した際の資料です

1. Opentelemetryでアプリケーションの Observabilityを強化しよう 岩⽥ 智哉 1
2. 2 ⾃⼰紹介 l CX事業本部 Delivery部 サーバーサイドチーム l 2023 Japan AWS Top Engineer l 2023 Japan AWS All Certifications Engineer l 前⼗字靭帯再建⼿術3ヶ⽉経過 岩⽥ 智哉
3. 3 OpenTelemetry 使ってる⼈います か︖︕
4. 4 利⽤イメージ いい感じにシステムのObservability(可観測性)を強化できます
5. 5 OpenTelemetry の概要
6. 6 OpenTelemetry Project l テレメトリデータに関する標準を定義するCNCFのPJ l テレメトリデータ l ログ l トレース l メトリクス ※CNCF= Cloud Native Computing Foundation
7. 7 OpenTelemetry OpenTelemetryはテレメトリデータを計測、⽣成、収集、エクス ポートするためのAPI、SDK、およびツールのコレクション
8. 8 コンポーネント • Specification • API、SDK、Dataの仕様を策定 • Collector • アプリケーションからテレメトリデータを受信してバックエンドに送信するプロキシ • Language-specific API & SDK implementations • テレメトリデータを⽣成&送信するための各⾔語固有のSDK • K8s operator • Kubernetes Operatorの実装 • Function as a Service assets • 各種FaaS環境で利⽤可能なアセット
9. 9 今⽇喋るところ • Specification • API、SDK、Dataの仕様を策定 • Collector • アプリケーションからテレメトリデータを受信してバックエンドに送信するプロキシ • Language-specific API & SDK implementations • テレメトリデータを⽣成&送信するための各⾔語固有のSDK • K8s operator • Kubernetes Operatorの実装 • Function as a Service assets • 各種FaaS環境で利⽤可能なアセット
10. 10 Collectorについて
11. 11 Collector テレメトリデータを処理するベンダー⾮依存のコンポーネント 以下4つのコンポーネントの組み合わせでPipelineを構成して利 ⽤する • Receivers • Processors • Exporters • Connectors https://opentelemetry.io/docs/collector/
12. 12 Collector • Goで開発されており各種プラットフォームで動作可能 • Docker Hubでイメージが公開されている • ECR PublicでもAWS Distro for OpenTelemetry Collector が公開さ れている
13. 13 Pipeline • メトリクスデータはPipelineによって処理される • Receiver/Processor/Exporterのセットで構成 • 種別は以下の3つ • トレース • メトリクス • ログ
14. 14 Receivers • テレメトリデータを受信するためのコンポーネント • プラグインも含めて考えると⾮常に多くのデータソースに対応 • Jaeger • Kafka • Prometheus • …etc ココ
15. 15 Processors • データを受信してからエクスポートするまでの間に任意の処理を 実⾏するためのコンポーネント • batch • memory_limiter • filter • …etc ココ
16. 16 Exporters • テレメトリデータを送信するためのコンポーネント • プラグインも含めて考えると⾮常に多くのデータソースに対応 • logging • awsxray • datadog • sentry • …etc ココ
17. 17 Connectors • ExporterとReceiver両⽅の役割を持つコンポーネント • count • ログ/トレース/メトリクスをカウントし、メトリクスとして Exportする • Routing • PipelineからPipelineにルーティングする
18. 18 利⽤イメージ 4318ポートで待ち受け ⼀部URLへのアクセスは除外 バッチ単位で処理 送信先はX-Ray
19. 19 OTEL SDKと主にTrace について
20. 20 OTEL SDK • 各⾔語ごとに⽤意されているテレメトリデータを⽣成&エクス ポートするためのSDKが⽤意されている • OTEL SDKを利⽤してアプリケーションをインストルメント化する https://opentelemetry.io/docs/instrumentation/#status-and-releases
21. 21 インストルメンテーション(Instrumentation) • ⽇本語に直訳すると「計装」︖︖ • システムを計測可能な状態にすること…つまりテレメトリデータ を発⾏する状態にすること
22. 22 SDKに関連する概念 • Instrumentation Libraries • Exporters ※既出 • Automatic Instrumentation • Resource Detectors • Cross Service Propagators • Sampler
23. 23 Instrumentation Libraries • ⼀般的なライブラリやフレームワークをよしなにインストルメン テーションするライブラリ群 https://github.com/open-telemetry/opentelemetry-js-contrib/tree/main/plugins/node
24. 24 Automatic Instrumentation • アプリのコードに⼿を加えることなくインストルメンテーション export OTEL_TRACES_EXPORTER="otlp" export OTEL_METRICS_EXPORTER="otlp" export OTEL_EXPORTER_OTLP_ENDPOINT="your-endpoint" export OTEL_NODE_RESOURCE_DETECTORS="env,host,os" export OTEL_SERVICE_NAME="your-service-name" export NODE_OPTIONS="--require @opentelemetry/auto-instrumentations-node/register" node app.js
25. 25 Resource Detectors • リソース = テレメトリデータを⽣成するエンティティの情報を⾃ 動的に検出&付与してくれる • AWSでは以下の環境に対応 • EC2 • ECS • EKS • EB • Lambda
26. 26 Cross Service Propagators サービスやプロセス間でテレメトリデータを伝搬させる仕組み X-RayであればX-Amzn-Trace-IdヘッダにセットしたトレースIDをキーに伝搬させる
27. 27 Sampler • 処理対象のテレメトリデータの量を制限する = サンプリングする • 全リクエストを処理してしまうとパフォーマンスや料⾦に影響が ⼤きい
28. 28 実装サンプル
29. 29 実装サンプル const exporterOptions = { url: process.env.OTLP_TRACE_ENDPOINT ?? 'http://127.0.0.1:4318/v1/traces', } const traceExporter = new OTLPTraceExporter(exporterOptions) export const otelSDK = new NodeSDK({ textMapPropagator: new AWSXRayPropagator(), resource: new Resource({ [SemanticResourceAttributes.SERVICE_NAME]: 'example service', }), traceExporter, instrumentations: [ new HttpInstrumentation(), new MySQL2Instrumentation(), new PinoInstrumentation(), ], }) const tracerConfig = { idGenerator: new AWSXRayIdGenerator(), } const spanProcessor = new BatchSpanProcessor(traceExporter) otelSDK.configureTracerProvider(tracerConfig, spanProcessor)
30. 30 実装サンプル const exporterOptions = { url: process.env.OTLP_TRACE_ENDPOINT ?? 'http://127.0.0.1:4318/v1/traces', } const traceExporter = new OTLPTraceExporter(exporterOptions) Exporterを設定
31. 31 実装サンプル export const otelSDK = new NodeSDK({ textMapPropagator: new AWSXRayPropagator(), PropagatorにX-Ray向けのPropagatorを指定 X-Amzn-Trace-IdにセットされたトレースIDが伝搬される
32. 32 実装サンプル resource: new Resource({ [SemanticResourceAttributes.SERVICE_NAME] : 'example service', }), リソースの属性(ここではサービス名)を設定
33. 33 実装サンプル instrumentations: [ new HttpInstrumentation(), new MySQL2Instrumentation(), new PinoInstrumentation(), ], 利⽤しているモジュール/ライブラリに インストルメンテーション
34. 34 実装サンプル const tracerConfig = { idGenerator: new AWSXRayIdGenerator(), } X-Rayに準拠したトレースID(相関ID)を⽣成するよう設定
35. 35 実装サンプル const spanProcessor = new BatchSpanProcessor(traceExporter) Processorの設定 Batch単位でまとめて処理するように設定
36. 36 結果 トレースが容易に
37. 37 結果 { “level”: “info”, “time”: 1692705040339, “pid”: 11749, “hostname”: “localhost”, “req”: { “id”: “915b5ff7-3157-4da7-a7d2-0974ca9f6711”, “method”: “GET”, …略 }, "trace_id": "64e4a110bafcc4b6de62edd2ee9be314", "span_id": "6c1a24078dc1098b", "trace_flags": "01", "msg": "test log" } PinoInstrumentationでPinoのログにトレースID等が⾃動付与される トレースIDを使って フロント → バックエンド 横断的にログを抽出できる
38. 38 まとめ
39. 39 まとめ • OpenTelemetryはシステムのobservabilityを強化する強い味⽅ • ⾃前実装は⼤変なので、便利に使わせてもらいましょう • OpenTelemetryの今後の動向を要チェック︕