Tweet
Tweet

Slide 1

Slide 1 text

Copyrights(c) Henry, Inc. All rights reserved. クラウドへの OpenTelemetry導入の ハマりどころ

Slide 2

Slide 2 text

Copyrights(c) Henry, Inc. All rights reserved. 自己紹介 @sumiren_t （発音：すみれん） ● プロダクトエンジニア @ 株式会社ヘンリー ● 技術顧問 / SWE / SRE @ フリーランス副業 数社様 1

Slide 3

Slide 3 text

Copyrights(c) Henry, Inc. All rights reserved. 会社名 株式会社ヘンリー 事業概要 電子カルテ／レセプト会計システム “Henry” を開発・販売及び、 コンサルティング事業 所在地 東京都品川区東五反田２丁目９ −５ サウスウィング東五反田 3F 創業 2018年5月 代表者 逆瀬川 光人、林 太郎 社員数 50名（正社員）+業務委託 認証取得 ISMS 国際規格「ISO 27001」 医療ISAC規定認証 Mission 社会課題を解決し続け、より良いセカイを創る Service 電子カルテ / レセプト会計システム「Henry」 株式会社ヘンリー ｜社会課題の解決を目的に設立 2

Slide 4

Slide 4 text

Copyrights(c) Henry, Inc. All rights reserved. 3 ● 〜2023/08：ログとメトリクスのみ活用 ● 2023/09〜：OpenTelemetry導入 ● 2023/12〜：Datadog導入 Henryのオブザーバビリティ推移

Slide 5

Slide 5 text

Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める 4 https://dev.henry.jp/entry/cloud-native-opentelemetry

Slide 6

Slide 6 text

Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める 5 https://dev.henry.jp/entry/cloud-native-opentelemetry

Slide 7

Slide 7 text

Copyrights(c) Henry, Inc. All rights reserved. Google Cloud上で動かしているHenryとオブザーバビリティの構成。クラウド上だ とスパンが途切れてしまう課題があり、調査が難航した 6

Slide 8

Slide 8 text

Copyrights(c) Henry, Inc. All rights reserved. Cloud RunがContext Propagationに干渉して、独自にSpanを差し込んでCloud Traceに流していた。この機能の挙動に問題があり、トレースのツリー構造が壊れ てしまっていた 7

Slide 9

Slide 9 text

Copyrights(c) Henry, Inc. All rights reserved. 8 ● アプリ間に挟まっているクラウドの振る舞いを意識する ○ 標準化されたHTTPヘッダを見たり書き換えたりしがち ● 早めにクラウドにデプロイして動かす ○ クライアント側だからといって安心してはいけない 学び

Slide 10

Slide 10 text

Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める https://dev.henry.jp/entry/cloud-native-opentelemetry 9

Slide 11

Slide 11 text

Copyrights(c) Henry, Inc. All rights reserved. OpenTelemetry導入前のオブザーバビリティアーキテクチャと、当初想定していた 導入後のアーキテクチャ 10

Slide 12

Slide 12 text

Copyrights(c) Henry, Inc. All rights reserved. 当初想定していたアーキテクチャではログに課題 1. Cloud Logging目線、Cloud Runとログの紐づけが取れ なくなり、管理画面の機能が劣化 a. アプリ側（エージェント等含む）でログにメタデータ付 与すればおそらく治る 2. OpenTelemetry Collectorのメモリも逼迫 11

Slide 13

Slide 13 text

Copyrights(c) Henry, Inc. All rights reserved. 課題を踏まえ、ログはCloud Run / Cloud Logging間のマネージドな振る舞いを 活用するアーキテクチャに変更した 12

Slide 14

Slide 14 text

Copyrights(c) Henry, Inc. All rights reserved. 13 ● 全てのシグナルをOpenTelemetryに乗せればいいわけではない ● クラウドの機能とOpenTelemetryの両方を活かす 学び

Slide 15

Slide 15 text

Copyrights(c) Henry, Inc. All rights reserved. 14 クラウドドリブンで OpenTelemetryを考えていきましょう まとめ

Slide 16

Slide 16 text

Copyrights(c) Henry, Inc. All rights reserved. Thank you We are hiring!! https://henry.jp/ https://dev.henry.jp/ 技術ブログやってます