Software Catalog – Endpointsを活用したMonitorの改善とか

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介 名前青木翔平（あおしょん） 所属東京ガス株式会社リビング戦略部デジタルプロダクト推進G SREチーム 経歴 SI -> 小売IT -> 東京ガス 好きジョギング on asics スンスンのお悩み相談室 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. （Reprise発表スライド抜粋） myTOKYOGASとは（主なコンポーネント・役割）東京ガスの内製開発チームにてフロントエンド・東京ガスiネットにてバックエンドをそれぞれ担当し、サービスの機能改善・モニタリング／オブザーバビリティ強化の推進に取り組んでいます。お客さまフロントエンドバックエンド基幹システム BFF myTOKYOGAS 4

Slide 5

Slide 5 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. （Reprise発表スライド抜粋）次に目指すMonitor全体像 5 Error Rate Monitor 内製開発チーム基幹システム BFF バックエンドチーム Notiﬁcation 基幹システム担当問合わせ問合わせ徐々にDatadogでつむいでいく活動をチーム一丸となってやっていく Error Rate Monitor バックエンド Notiﬁcation APMの機能であるAPI Catalogを元にバックエンドのMonitorを整理していく

Slide 6

Slide 6 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. （Reprise発表スライド抜粋）次に目指すMonitor全体像 6 Error Rate Monitor 内製開発チーム基幹システム BFF バックエンドチーム Notiﬁcation 基幹システム担当問合わせ問合わせ徐々にDatadogでつむいでいく活動をチーム一丸となってやっていく Error Rate Monitor バックエンド Notiﬁcation APMの機能であるAPI Catalogを元にバックエンドのMonitorを整理していくこちらの内容を少し深堀り

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. 何が嬉しかったか 13  エンジニアだけでなくビジネスメンバーがエンドポイントごとの情報を容易に参照することができる。  今まではビジネスチームからエンジニアチームへ情報提供の依頼をされて Dashboardを作成する流れだった  ちょっとDatadogが分かる人がMonitor作成を担っていることが多かったが、ほんのちょっとDatadogが分かる人でもMonitor作成を担いやすくなった  例えばMonitor作成はSREチームに要件伝えてやってもらう、からの脱却

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. まずは障害時にサービス影響が大きいエンドポイントのMonitorを作成 16 基幹システムバックエンド基幹システムA 基幹システムB 基幹システムC 基幹システムA エンドポイント基幹システムB エンドポイント基幹システムC エンドポイント Error Rate Monitor Latency Monitor バックエンドは今までサーバーメトリクス（CPU, Memoryなど）、ログ、プロセス関連の Monitorのみだったが、Endpointsを活用してエンドポイントのMonitorをサクッと作成内製開発チームバックエンドチーム基幹システム担当問合わせ Notiﬁcation

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright© TOKYO GAS Co., Ltd. All Rights Reserved. どのエンドポイントがどの基幹システムに紐づくのか見える化したくなる 18 基幹システムA (No APM Agent) 基幹システムA エンドポイントa 基幹システムA エンドポイントb 基幹システムA エンドポイントc 基幹システムB (No APM Agent) 基幹システムB エンドポイントa 基幹システムB エンドポイントb 基幹システムB エンドポイントc わ、わからん… 各基幹システムに対する総リクエスト数やエラー数も見たい