ALB ログから Trace を気合で繋げる技術

by Hayato Kawai

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

この発表はサマーインターンの成果です卒向け就業型サマーインターンを実施しました ● 28 実運用環境の課題に 2 週間で取り組んでもらう ○ 今年は Kubernetes、Terraform、Istio、Datadog APM といったテーマで募集しました ○ 清水健吾さん (@ciesle) ● 「ALB のアクセスログから APM trace に飛べるようにする」という課題に 2 週間取り組んでもらいました ○ 今日話すのはその成果です ○ © 2026 Wantedly, Inc.

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

trace はヘッダの受け渡しで繋がっている service A を始める traceparent trace trace id = abc123 span id = 001 trace id ▶ service B 引き継ぐ trace id = abc123 span id = 002 traceparent ▶ service C 引き継ぐ trace id = abc123 span id = 003 は 3 つとも同じ。span id だけがサービスごとに新しく作られる © 2026 Wantedly, Inc.

Slide 10

Slide 10 text

ヘッダが無ければ別々の trace になるヘッダを渡す場合は trace が繋がる渡さなかった場合は別の trace になってしまう span 001 service A span 001 service A span 002 service B span 003 service C © 2026 Wantedly, Inc. span 002 service B span 003 service C

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Datadog の tracer は X-Ray 形式を読まない形式 W3C ヘッダ traceparent: 00-abc123def4567890abc123def4567890-abc123de f4567890-01 Datadog x-datadog-trace-id: 1622050852406617073 X-Ray X-Amzn-Trace-Id: Root=1-abc123de-f4567890abc123def4567890 © 2026 Wantedly, Inc. Datadog の tracer 読む読む読まない

Slide 16

Slide 16 text

X-Ray の Root は W3C の trace id に変換できる X-Amzn-Trace-Id (X-Ray 形式) Root=1-abc123de-f4567890abc123def4567890 ↓ 赤い部分を落とす残る 8 hex + 24 hex = 32 hex。W3C の trace id と同じ長さ traceparent (W3C 形式) 00 バージョン固定値 abc123def4567890abc123def4567890 trace id 32 hex 変換で得た © 2026 Wantedly, Inc. abc123def4567890 span id 新しく作る 01 フラグ固定値

Slide 17

Slide 17 text

Slide 18

Slide 18 text

ログ側は Datadog の Log Pipeline で組める X-Amzn-Trace-Id: Root=1-abc123de-f4567890abc123def4567890 ↓ ① Grok Parser 文字列を分解する processor。 abc123de Root=1-… から 8 hex と 24 hex を切り出すと f4567890abc123def4567890 ↓ ② String Builder 属性を組み立てる processor。切り出した 2 つを連結して 32 hex にする abc123def4567890abc123def4567890 ↓ ③ Trace ID Remapper 予約属性を指定する processor。属性名を trace_id にするだけでは紐付かない trace_id trace_id = abc123def4567890abc123def4567890 © 2026 Wantedly, Inc.

Slide 19

Slide 19 text

ログ側はできた。まだ trace 側が残っている ALB access log trace_id = abc123 Log Pipeline で ALB の id から作った trace © 2026 Wantedly, Inc. この id を持つ trace が無い ✕ 飛べない APM trace trace_id = zzz999 tracer が ALB とは無関係に作った id 側を ALB の id で始めさせないと、繋ぐ相手がいない

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

最初に span を作るのは istio-proxy ALB X-Amzn-Trace-Id app を付ける ▶ istio-proxy 最初に span を作る X-Amzn-Trace-Id は読まない ▶ app の trace id を引き継ぐ istio-proxy 側で trace を作り直しても、istio-proxy の span が別の trace に取り残される © 2026 Wantedly, Inc.

Slide 23

Slide 23 text

istio-proxy istio-proxy に介入できる場所は 3 つしかないがリクエストを受信 app へ転送 ① span が生まれる前に ② span を生成する処理に ③ span が生まれた後に traceparent を書き込む介入する traceparent を書き換える ◯ istio-proxy はその ✕ trace id は生成時に確定し、 ✕ span はもう別の trace id。 traceparent の trace id で後から変える API が無い出口で tracer に上書きされる span を作る istio-proxy の span 自体を ALB の trace に乗せたいので、残るのは ① だけ © 2026 Wantedly, Inc.

Slide 24

Slide 24 text

span より前に走れるのは early_header_mutation だけ ✕ HTTP filter Envoy のリクエスト処理に差し込む plugin ✕ dynamic module Envoy ✕ に読ませる自前の共有ライブラリ独自の C++ filter Envoy 本体に組み込む拡張で書ける。ただし span 生成より後に走るので、書いても出口で上書きされる Lua / Wasm これも span 生成より後。加えて Istio 1.31 以降でしか使えない istio-proxy 自体のビルドと差し替えが必要になる ◯ early_header_mutation ヘッダを受け取った直後、span 生成を含む Envoy 本体のどの HCM (Envoy が HTTP を捌く本体) の拡張点処理よりも前に走る ⚠ 公式ドキュメントに「本番での稼働実績が十分でない」と明記されている拡張。使うなら注意 © 2026 Wantedly, Inc.