Opentelemetryでアプリケーションの Observabilityを強化しよう 岩⽥ 智哉 1

2 ⾃⼰紹介 l CX事業本部 Delivery部 サーバーサイドチーム l 2023 Japan AWS Top Engineer l 2023 Japan AWS All Certifications Engineer l 前⼗字靭帯再建⼿術3ヶ⽉経過 岩⽥ 智哉

3 OpenTelemetry 使ってる⼈います か︖︕

4 利⽤イメージ いい感じにシステムのObservability(可観測性)を強化できます

5 OpenTelemetry の概要

6 OpenTelemetry Project l テレメトリデータに関する標準を定義するCNCFのPJ l テレメトリデータ l ログ l トレース l メトリクス ※CNCF= Cloud Native Computing Foundation

7 OpenTelemetry OpenTelemetryはテレメトリデータを計測、⽣成、収集、エクス ポートするためのAPI、SDK、およびツールのコレクション

8 コンポーネント • Specification • API、SDK、Dataの仕様を策定 • Collector • アプリケーションからテレメトリデータを受信してバックエンドに送信するプロキシ • Language-specific API & SDK implementations • テレメトリデータを⽣成&送信するための各⾔語固有のSDK • K8s operator • Kubernetes Operatorの実装 • Function as a Service assets • 各種FaaS環境で利⽤可能なアセット

9 今⽇喋るところ • Specification • API、SDK、Dataの仕様を策定 • Collector • アプリケーションからテレメトリデータを受信してバックエンドに送信するプロキシ • Language-specific API & SDK implementations • テレメトリデータを⽣成&送信するための各⾔語固有のSDK • K8s operator • Kubernetes Operatorの実装 • Function as a Service assets • 各種FaaS環境で利⽤可能なアセット

10 Collectorについて

11 Collector テレメトリデータを処理するベンダー⾮依存のコンポーネント 以下4つのコンポーネントの組み合わせでPipelineを構成して利 ⽤する • Receivers • Processors • Exporters • Connectors https://opentelemetry.io/docs/collector/

12 Collector • Goで開発されており各種プラットフォームで動作可能 • Docker Hubでイメージが公開されている • ECR PublicでもAWS Distro for OpenTelemetry Collector が公開さ れている

13 Pipeline • メトリクスデータはPipelineによって処理される • Receiver/Processor/Exporterのセットで構成 • 種別は以下の3つ • トレース • メトリクス • ログ

14 Receivers • テレメトリデータを受信するためのコンポーネント • プラグインも含めて考えると⾮常に多くのデータソースに対応 • Jaeger • Kafka • Prometheus • …etc ココ

15 Processors • データを受信してからエクスポートするまでの間に任意の処理を 実⾏するためのコンポーネント • batch • memory_limiter • filter • …etc ココ

16 Exporters • テレメトリデータを送信するためのコンポーネント • プラグインも含めて考えると⾮常に多くのデータソースに対応 • logging • awsxray • datadog • sentry • …etc ココ

17 Connectors • ExporterとReceiver両⽅の役割を持つコンポーネント • count • ログ/トレース/メトリクスをカウントし、メトリクスとして Exportする • Routing • PipelineからPipelineにルーティングする

18 利⽤イメージ 4318ポートで待ち受け ⼀部URLへのアクセスは除外 バッチ単位で処理 送信先はX-Ray

19 OTEL SDKと主にTrace について

20 OTEL SDK • 各⾔語ごとに⽤意されているテレメトリデータを⽣成&エクス ポートするためのSDKが⽤意されている • OTEL SDKを利⽤してアプリケーションをインストルメント化する https://opentelemetry.io/docs/instrumentation/#status-and-releases

21 インストルメンテーション(Instrumentation) • ⽇本語に直訳すると「計装」︖︖ • システムを計測可能な状態にすること…つまりテレメトリデータ を発⾏する状態にすること

22 SDKに関連する概念 • Instrumentation Libraries • Exporters ※既出 • Automatic Instrumentation • Resource Detectors • Cross Service Propagators • Sampler

23 Instrumentation Libraries • ⼀般的なライブラリやフレームワークをよしなにインストルメン テーションするライブラリ群 https://github.com/open-telemetry/opentelemetry-js-contrib/tree/main/plugins/node

24 Automatic Instrumentation • アプリのコードに⼿を加えることなくインストルメンテーション export OTEL_TRACES_EXPORTER="otlp" export OTEL_METRICS_EXPORTER="otlp" export OTEL_EXPORTER_OTLP_ENDPOINT="your-endpoint" export OTEL_NODE_RESOURCE_DETECTORS="env,host,os" export OTEL_SERVICE_NAME="your-service-name" export NODE_OPTIONS="--require @opentelemetry/auto-instrumentations-node/register" node app.js

25 Resource Detectors • リソース = テレメトリデータを⽣成するエンティティの情報を⾃ 動的に検出&付与してくれる • AWSでは以下の環境に対応 • EC2 • ECS • EKS • EB • Lambda

26 Cross Service Propagators サービスやプロセス間でテレメトリデータを伝搬させる仕組み X-RayであればX-Amzn-Trace-IdヘッダにセットしたトレースIDをキーに伝搬させる

27 Sampler • 処理対象のテレメトリデータの量を制限する = サンプリングする • 全リクエストを処理してしまうとパフォーマンスや料⾦に影響が ⼤きい

28 実装サンプル

29 実装サンプル const exporterOptions = { url: process.env.OTLP_TRACE_ENDPOINT ?? 'http://127.0.0.1:4318/v1/traces', } const traceExporter = new OTLPTraceExporter(exporterOptions) export const otelSDK = new NodeSDK({ textMapPropagator: new AWSXRayPropagator(), resource: new Resource({ [SemanticResourceAttributes.SERVICE_NAME]: 'example service', }), traceExporter, instrumentations: [ new HttpInstrumentation(), new MySQL2Instrumentation(), new PinoInstrumentation(), ], }) const tracerConfig = { idGenerator: new AWSXRayIdGenerator(), } const spanProcessor = new BatchSpanProcessor(traceExporter) otelSDK.configureTracerProvider(tracerConfig, spanProcessor)

30 実装サンプル const exporterOptions = { url: process.env.OTLP_TRACE_ENDPOINT ?? 'http://127.0.0.1:4318/v1/traces', } const traceExporter = new OTLPTraceExporter(exporterOptions) Exporterを設定

31 実装サンプル export const otelSDK = new NodeSDK({ textMapPropagator: new AWSXRayPropagator(), PropagatorにX-Ray向けのPropagatorを指定 X-Amzn-Trace-IdにセットされたトレースIDが伝搬される

32 実装サンプル resource: new Resource({ [SemanticResourceAttributes.SERVICE_NAME] : 'example service', }), リソースの属性(ここではサービス名)を設定

33 実装サンプル instrumentations: [ new HttpInstrumentation(), new MySQL2Instrumentation(), new PinoInstrumentation(), ], 利⽤しているモジュール/ライブラリに インストルメンテーション

34 実装サンプル const tracerConfig = { idGenerator: new AWSXRayIdGenerator(), } X-Rayに準拠したトレースID(相関ID)を⽣成するよう設定

35 実装サンプル const spanProcessor = new BatchSpanProcessor(traceExporter) Processorの設定 Batch単位でまとめて処理するように設定

36 結果 トレースが容易に

37 結果 { “level”: “info”, “time”: 1692705040339, “pid”: 11749, “hostname”: “localhost”, “req”: { “id”: “915b5ff7-3157-4da7-a7d2-0974ca9f6711”, “method”: “GET”, …略 }, "trace_id": "64e4a110bafcc4b6de62edd2ee9be314", "span_id": "6c1a24078dc1098b", "trace_flags": "01", "msg": "test log" } PinoInstrumentationでPinoのログにトレースID等が⾃動付与される トレースIDを使って フロント → バックエンド 横断的にログを抽出できる

38 まとめ

39 まとめ • OpenTelemetryはシステムのobservabilityを強化する強い味⽅ • ⾃前実装は⼤変なので、便利に使わせてもらいましょう • OpenTelemetryの今後の動向を要チェック︕

40