外接に惑わされない自システムの処理時間SLIをOpenTelemetryで実現した話

by Kotaro7750

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2025 NTT DATA Group Corporation 4 自己紹介プロフィール SREエンジニア @ 株式会社NTTデータグループ趣味 • ラーメン巡り • 宅鯖 • 週末プログラミング好きな技術領域 • コンテナ・Kubernetes • （もちろん）Observability Observabilityとの関わり • きっかけはSREとして性能調査をする中で必要性を痛感したこと • PJ内でO11yの拡充をしたりO11yエンジニアとして参画中 • 宅鯖にOtelパイプラインを導入中…！ Kotaro7750 @Kotaro7750 個人ブログ Linked icons created by Smashicons - Flaticon 新浩太朗 Kotaro Arata

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2025 NTT DATA Group Corporation 6 Omni Payment Gateway®について消費者 Omni Payment Gateway ①決済中継 ②決済代行機能チャージバック業務精算/入金包括契約加盟店審査 ③デジタルオペレーション管理画面／ダッシュボード web申込加盟店多様な決済手段・チャネルへの柔軟な対応加盟店（管理業務） • 取引/精算情報管理 • 取引データ集計/傾向分析 • 不正関連業務 • 券種追加等手続きオンライン決済対面決済クレジット決済コード決済コンビニ決済電子マネー決済ペイジー決済後払い決済・・・カード会社銀行 QR事業者 Web API 端末 CX EX チャネルを意識しないシームレスな購買体験業務の煩雑さを解消したストレスフリーな従業員体験双方の価値を高める AP P あらゆる決済シーン/ 業務にご利用いただけるチャネル統合型PSP サービス「Omni Payment Gateway」により店舗・EC双方の顧客体験、従業員体験を向上、お客様事業の成長を支援しています。お問い合わせはこちら

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2025 NTT DATA Group Corporation 9 SLI・SLOについてサービスレベル（サービス品質の尺度）を具体的に運用するための2つの概念オブザーバビリティ・エンジニアリング SRE サイトリライアビリティエンジニアリング Goal icons created by Freepik - Flaticon Performance icons created by IYIKON - Flaticon

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2025 NTT DATA Group Corporation 35 Baggageによる伝搬の実装 gRPCのinterceptor（通信処理の前後に実行されるフック）でmetadataを利用したBaggageの伝搬を行う Luggage icons created by Freepik - Flaticon ※簡単のため、Interceptor用関数のシグネチャなど一部正確でない表現をしています実際のサーバーハンドラの内部でBaggageに値をセットできなくない？と思った方はAppendixへ

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© 2025 NTT DATA Group Corporation 38 Baggageの注意点 Baggage自体は単なるKVストアでありスキーマはないため自分勝手に入れてしまうと統制が効かなくなる最大サイズや使用可能文字などが仕様によって決められているプロトコルによっては利用できない場合がある Ex. W3C Propagationでは利用可能だがB3では利用不可能 Baggage情報が外部に漏れないようにする必要がある Limitation icons created by GOWI - Flaticon No sugar icons created by Sudowoodo - Flaticon Rules icons created by Freepik - Flaticon Cyber security icons created by Graphix's Art - Flaticon

Slide 39

Slide 39 text

Slide 40

Slide 40 text

© 2025 NTT DATA Group Corporation 40 組織はどう変わったか？エンジニアからマネージャーまで全員が「このシステムの品質はどのくらいか？」を同じ言葉で確認でき意思決定に繋げられる指標マネージャーや開発・SREなど多くの人が「自システムの処理時間」を元に会話するようになり外接による見かけ上の遅延に惑わされないようになった Success icons created by hqrloveq - Flaticon Goal icons created by Freepik - Flaticon

Slide 41

Slide 41 text

Slide 42

Slide 42 text

© 2025 NTT DATA Group Corporation 42 まとめ SLIを設計する際には「そのSLIは誰がどのような判断に活用するのか？」を念頭において設計する必要がある OpenTelemetryのBaggageによってコンポーネント間で情報を伝搬させ有用な情報をテレメトリシグナルに付与することができる Solution icons created by Bartama Graphic - Flaticon Luggage icons created by Freepik - Flaticon

Slide 43

Slide 43 text

No content

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2025 NTT DATA Group Corporation 45 Baggage以外に考えられる方法机上ではあるが使えるかも？と感じた方法 ◼ Span Metrics OpenTelemetry CollectorのSpan Metrics Connectorを用いるとスパンからREDメトリクスを生成することができるこれを使って自システム処理部分のスパンをメトリクスにすれば良いのでは？というアイデアしかし、 • 「スパンAからスパンBを引いた部分のメトリクス化」のような複雑な処理はできない • スパンAのメトリクスからスパンBのメトリクスを引くことならできるが、厳密な計測ではない • SLI自体は作れるがログやトレースへの情報付与は完全にはできない • 本システムではそもそもOpenTelemetry Collectorが導入されていないなどの理由から検証は実施せず

Slide 46

Slide 46 text

© 2025 NTT DATA Group Corporation 46 Golangでリクエストハンドラ内部からBaggageの項目を変更する方法本編スライド中の例だとあくまでもinterceptor内部からしかBaggageを操作していないしかし実際のユースケースだと実際のリクエストハンドラ内部でBaggageの値を操作できる必要があるリクエストハンドラに渡すContext構造体はinterceptorからハンドラへの片方向であるため Contextに書き込み用のSyncMapを持たせてハンドラでの変更をinterceptorで取得できるようにする