OTel meets Wasm: プラグイン機構としてのWebAssemblyから見る次世代のObservability

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© LY Corporation 2 自己紹介井上紘太朗 / INOUE Kotaro / @musaprg LINEヤフー株式会社ソフトウェアエンジニア • Private Cloud、主にKaaSの開発に従事 • Kubernetes Org Member • Kubestronaut 土谷続季 / TSUCHIYA Tsuzuki / @tsuzu LINEヤフー株式会社ソフトウェアエンジニア • Private Cloud、主にKaaSの開発に従事 • Kubernetes Org Member https://github.com/cncf/artwork/blob/main/LICENSE.md

Slide 3

Slide 3 text

© LY Corporation OpenTelemetry(OTel) Collectorの概要と、その運用上の課題について知る WebAssembly(Wasm)の概要と、プラグイン機構としての活用方法を知る Wasmをプラグイン機構としてOTel Collectorへ組み込み、動かしてみる（OTelWasm） OTelWasmを本番環境に適用する際、その実現可能性と課題について考える 01 03 02 04 3 本発表のゴール

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© LY Corporation OpenTelemetryとは • Cloud Native Computing Foundation (CNCF)の Incubating プロジェクト • 可観測性（オブザーバビリティ）を実現するためのフレームワーク • オープンソースかつベンダーニュートラル • テレメトリー（メトリクス・ログ・トレースなど）の生成・エクスポート・収集が主な責務 • 以下のコンポーネントを含む • テレメトリーのデータモデルや送受信に関する標準プロトコル (OTLP) • 各アプリケーションを計装するための各言語向けSDK • OpenTelemetry Collector 5 OpenTelemetry https://opentelemetry.io/ https://github.com/cncf/artwork

Slide 6

Slide 6 text

© LY Corporation • テレメトリーデータのデータモデル・送受信に関する標準プロトコル • 以下の2つで構成される • テレメトリーデータのエンコーディング（Protocol Buffers: protobuf） • テレメトリーデータの送受信に関するインターフェース（gRPC/HTTP） 6 OpenTelemetry Protocol (OTLP) https://github.com/open-telemetry/opentelemetry-proto

Slide 7

Slide 7 text

© LY Corporation • テレメトリーの受信・加工・送出を担うベンダー非依存な実装 • 複数のコンポーネントでパイプラインを構築 • Receiver: 受信 • Processor: 加工 • Exporter: 送出 • OTel CollectorはGo言語で実装されている → Go言語で独自コンポーネントの実装も可能 7 OpenTelemetry (OTel) Collector https://opentelemetry.io/docs/collector/

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© LY Corporation • 以下を含む • opentelemetry-collector(Core)リポジトリの全コンポーネント • opentelemetry-collector-contrib (Contrib)リポジトリの一部コンポーネント • Coreリポジトリのコンポーネント → 新規追加の対象 • Contribリポジトリのコンポーネント → 新規追加の対象外 Core Distro 9 OTel Collectorのディストリビューション • 以下を含む • opentelemetry-collector(Core)リポジトリの全コンポーネント • opentelemetry-collector- contrib(Contrib)リポジトリの全コンポーネント • ベンダーがサポートしている多種多様なコンポーネントが含まれる • CoreリポジトリとContribリポジトリの全コンポーネントが新規追加の対象 Contrib Distro https://github.com/open-telemetry/opentelemetry-collector-releases/blob/main/distributions

Slide 10

Slide 10 text

© LY Corporation 10 OTel Collectorのディストリビューション • 以下を含む • opentelemetry-collector(Core)リポジトリの全コンポーネント • opentelemetry-collector- contrib(Contrib)リポジトリの全コンポーネント • ベンダーがサポートしている多種多様なコンポーネントが含まれる • CoreリポジトリとContribリポジトリの全コンポーネントが新規追加の対象 Contrib Distro https://github.com/open-telemetry/opentelemetry-collector-releases/blob/main/distributions 以下の観点から本番環境での利用は非推奨 1. バイナリサイズ削減 2. セキュリティ面

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© LY Corporation 何かしらのプラグイン機構を導入して、ユーザ側が任意の挙動を定義できるようにする • ドメイン固有言語(DSL)を使う • OTTL (OpenTelemetry Transform Language) • Processorにおけるテレメトリー加工に特化した言語 • Contribのtransformprocessorで実装されている • 汎用的な言語を使う • Lua • Python • WebAssembly ←今日はこの話 13 動的に挙動を変えるには？

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© LY Corporation ポータブルな仮想ISA＋ランタイム仕様 • 当初は、Webブラウザ上でネイティブに近い実行速度を実現するためのものだった • 近年は、ブラウザに限らず、ホストアプリケーションにWasmの実行環境を組み込む形で活用されている（後述するWASIにも関連） • Wasmの特徴 • 実行が速く、また十分に効率的 • 多様な実装言語 • Go, TinyGo, Rust, Zig, C++ etc. • 安全性 • サンドボックス環境 • ポータビリティ • ランタイムさえ実装すれば動作 16 WebAssembly (Wasm) https://webassembly.github.io/spec/core/intro/introduction.html https://github.com/carlosbaraza/web-assembly-logo/blob/master/dist/icon/web-assembly-icon.svg

Slide 17

Slide 17 text

© LY Corporation 様々なソフトウェアのプラグイン機構としてWebAssemblyが採用されている • Proxy-Wasm (Envoyなどのプロキシ) • Kubernetes Scheduler (kube-scheduler-wasm-extension) • Trivy (コンテナイメージの脆弱性スキャナ) • Open Policy Agent (ポリシーエンジン) 17 プラグイン機構としてのWasm

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© LY Corporation Guest側からHost側の機能を使うためのAPI/ABI仕様 • Host側の資源や機能へのアクセスを Guest側にHost Functionとして提供する共通API群 → POSIXシステムコールのようなもの • ファイルシステム、システムクロック、etc. • 現状、WASIのバージョンは2種類（非互換） • WASI 0.1 (Preview1: p1) ←今回はこちら • 広く利用されている • WASI 0.2 (Preview2: p2) • 対応する言語やランタイムが限られる 20 WebAssembly System Interface (WASI) https://wasi.dev/interfaces https://github.com/syrusakbary/wasi-logo

Slide 21

Slide 21 text

© LY Corporation Opened Socketに対するAPIのみ • sock_accept • POSIX accept(2) • sock_recv • POSIX recv(2), readv(2) • sock_send • POSIX send(2), writev(2) • sock_shutdown • POSIX shutdown(2) 21 WASI P1におけるSocket APIサポート状況 WASI P1のSocket APIだけでは HTTP Server等を書くには不十分 socket(2), bind(2), listen(2), etc. https://github.com/WebAssembly/WASI/blob/main/legacy/preview1/docs.md

Slide 22

Slide 22 text

© LY Corporation • WASI P1で不足しているSocket APIをサポートすることが目的 • WasmEdge（CNCF傘下のWasmランタイム）に実装されている • JavaScript (Node.js), Rust, C, GoのSDKが存在 WasmEdge Socket Extension 22 WASI P1拡張APIでのSocket APIサポート WASIX • 完全なPOSIX互換を目指したWASI P1拡張 • Wasmer社が主導 • 同社が開発するWasmランタイム”Wasmer”に実装されている • Rust, CのSDKが存在

Slide 23

Slide 23 text

© LY Corporation • WebAssemblyへのコンパイルをサポート (GOOS=js GOARCH=wasm) • 標準ライブラリのWasm対応 Go 1.11 23 GoのWasm (WASI) サポート状況 • wasmimportディレクティブ → Host Functionが使用可能に • WASI Preview1へのコンパイル対応 (GOOS=wasip1 GOARCH=wasm) • 標準ライブラリのWASI Preview1対応 Go 1.21 • wasmexportディレクティブ → Guest Functionを公開できるように • WASI P1 Reactor Moduleの作成に対応 → main関数をもたないライブラリ Go 1.24 Go 1.24以前は、Wasmに対応しているTinyGoが主流 https://go.dev/doc https://github.com/tinygo-org/tinygo-site/blob/release/static/images/tinygo-logo.png

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© LY Corporation • OTel Collector向けのWasm Plugin • 現時点ではGo言語SDKのみ提供 • 以下のコンポーネントをサポート • Receiver • Processor • Exporter • 以下のテレメトリーをサポート • メトリクス • ログ • トレース • OTelWasm DistroのBuilder Manifest も用意 • Core Distro + Wasm Plugin OTelWasm 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© LY Corporation 30 OTel Wasmのインターフェース Otel Col Guest Module • current*** • setResult*** • getPluginConfig • getShutdownRequested • start***Receiver • process*** • push*** ①ホストから叩かれる関数 ②ゲストから叩かれる関数 ③2者間のデータフォーマット OTLP (Protocol Buffers) & JSON Wasm Runtime (wazero) Host

Slide 31

Slide 31 text

© LY Corporation Go製のWasmランタイム実装 • 外部ライブラリへの依存がない • CGOへの依存もない • Goのアプリケーションに直接組み込める • 複数の実行モードを実装 • Interpreter • Compiler (only amd64/arm64) • 複数のOSSで利用実績がある • kube-scheduler-wasm-extension • Trivy 31 wazero

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© LY Corporation 42 CPU time / op Benchmark: Processor ここにベンチマークの表がくる Kind OtelWasm (Interpreter) OtelWasm (Compiler) Go-native Plugin Nop Processor 282995 ns 10349 ns 3.176 ns Attributes Processor 496283 ns 15965 ns 74.81 ns GOOS: linux GOARCH: amd64 CPU: 12th Gen Intel(R) Core(TM) i9-12900H

Slide 43

Slide 43 text

© LY Corporation 43 OTel Wasmのインターフェース (再掲) Otel Col Guest Module • current*** • setResult*** • getPluginConfig • getShutdownRequested • start***Receiver • process*** • push*** ①ホストから叩かれる関数 ②ゲストから叩かれる関数 ③2者間のデータフォーマット OTLP (Protocol Buffers) Wasm Runtime (Wazero) Host Marshal to OTLP Unmarshal from OTLP Unmarshal from OTLP Marshal to OTLP

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© LY Corporation 47 OpAMPとの統合 Wasmバイナリの動的更新 • OpAMP: Open Agent Management Protocol • otel-collector等のagentをリモート管理するためのプロトコル • OpAMP Server • agentの管理を行うサーバー • OpAMP Supervisor/Client • OpAMP Serverに接続し、設定を取得して利用するクライアント

Slide 48

Slide 48 text

Slide 49

Slide 49 text

© LY Corporation 49 OTel Collector ContribへのUpstream • github.com/open-telemetry/otel-collector-contrib で管理できると嬉しい • 先駆者のissueがあったが動きがなくClose • コミュニティと協力して進めていきたい https://github.com/open-telemetry/opentelemetry-collector-contrib/issues/11772