コドモンSREにおけるオブザーバビリティ改善の道のり

by コドモン開発チーム

Slide 1

Slide 1 text

コドモンSREにおけるオブザーバビリティ改善の道のり 2023年09月21日日経×コドモン×RevComm サービスの安定性、信頼性を高めるDevOps/SREの取り組み

Slide 2

Slide 2 text

2 経歴音響エンジニア(PA)からITエンジニアに転職。SIerや派遣でのインフラ業務を数社経験後、2020年10月にコドモンにSREとして入社。妻が保育士で、保育の現場を肌で感じながら、日々プロダクトの信頼性向上を目指す。趣味は週末のランニングで、社内にランニングクラブを立ち上げたので、リレーマラソンに会社で出るのが直近の目標🏃󰝋 自己紹介田中知英たなかともひで

Slide 3

Slide 3 text

3 Mission

Slide 4

Slide 4 text

4 すべての先生に子どもと向き合う時間と心のゆとりをこんなプロダクトを開発していますメインプロダクトは、保育・教育施設向けWebアプリケーション。保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版アプリケーション、外部サービスと連携するAPIなども開発しています。

Slide 5

Slide 5 text

5 今日話すことオブザーバビリティとはフェーズにおける改善の取り組み今後まとめ 1 2 3 4

Slide 6

Slide 6 text

6 今日話すことオブザーバビリティとはフェーズにおける改善の取り組み今後まとめ 1 2 3 4

Slide 7

Slide 7 text

7 CONFIDENTIAL © 2022 CoDMON Inc. 7 オブザーバビリティとは ● クラウド、マイクロサービス、分散システムの普及に伴い、システムの複雑性が増している ● システムで「いつ、何が、どこで起こっているのかを観測可能に保つ」考え方 ● オブザーバビリティのシグナルの3本柱　　　「メトリクス」「ログ」「トレース」参考：「Observability Whitepaper」CNCF https://github.com/cncf/tag-observability/blob/main/whitepaper.md

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

11 今日話すことオブザーバビリティとはフェーズにおける改善の取り組み今後まとめ 1 2 3 4

Slide 12

Slide 12 text

12 2019 2023 2022 2021 開始初期マイクロサービス導入開始マイクロサービス拡大現在

Slide 13

Slide 13 text

13 サービス開始初期

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 マイクロサービス導入開始期

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 マイクロサービス拡大期

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

27 CONFIDENTIAL © 2022 CoDMON Inc. 27 マイクロサービス拡大期 Datadogの利用範囲の拡充 ● アプリケーションの問題の特定を容易にするため、DatadogAPMの導入 ● アプリケーションレベルの異常の早期検知と調査が容易に ● ログ情報をDatadogに集約することで、ログのリアルタイム監視や Datadogで調査を完結できる状態に ● 週次で各開発チームとDatadog見る会を開催し、システム構成の理解を高めてもらいながら、Datadogを操作することに慣れてもらう

Slide 28

Slide 28 text

28 CONFIDENTIAL © 2022 CoDMON Inc. 28 マイクロサービス拡大期 Redashによるログ分析 ● ログの永続領域としてはS3を利用することで保持コストを下げ、 Athenaを活用することでRedashでの分析を容易に ● Redashをインタフェースとすることで、ビジネスサイドも分析として活用できる状態に自前でのレポートツールの作成 ● DB負荷の潜在的なリスク検知のため、pt-query-digestを利用し日次でのSlowQueryのレポートをSlack通知する運用を開始

Slide 29

Slide 29 text

Slide 30

Slide 30 text

30 現在

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

34 CONFIDENTIAL © 2022 CoDMON Inc. 34 現在 DatadogからNewRelicに移行 ● SREがボトルネックにならず、各開発チームが自律的に動ける体制が必要 ● 担当のコンサルタントがつき、初期導入のオンボーディングや、導入後も TAMがついてくれるなどサポート体制が充実 ● SREが介在せずに開発チームが直接サポートとやりとりできるため、新しい機能の導入や改善の動きを開発チームが自律的に行える体制

Slide 35

Slide 35 text

Slide 36

Slide 36 text

36 CONFIDENTIAL © 2022 CoDMON Inc. 36 現在 AWSコストの可視化 ● 何にコストがかかっているのか、どうコストが変動したのかわかりにくい ● Cost and Usage ReportをS3に保持することでRedash経由で参照 ● 前月とのサービス毎のコスト変動や、タグを用いてサービス単位でのコストを可視化 ● 開発内だけではなく、ビジネス側の数字の判断材料としても利用可能に

Slide 37

Slide 37 text

Slide 38

Slide 38 text

38 今日話すことオブザーバビリティとはフェーズにおける改善の取り組み今後まとめ 1 2 3 4

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

41 今日話すことオブザーバビリティとはフェーズにおける改善の取り組み今後まとめ 1 2 3 4

Slide 42

Slide 42 text

42 CONFIDENTIAL © 2022 CoDMON Inc. 42 まとめ ● サービスや組織の規模に適したオブザーバビリティツールを選択し、変化するニーズに対応しながら継続的に改善してきた ● すべてのデータを取得・管理するのが理想的だが、比例してコストは肥大化するので、データの重要度やリアルタイム性を考慮して、コストバランスをとりながら管理することが大切と感じた ● オブザーバビリティはツールの導入がゴールではなく、ツールを活用する文化の醸成を意識しながら導入を進めることで、はじめて効果がでる ● 今後も日々の改善を重ねながら、サービスの信頼性を高めて行きたい

Slide 43

Slide 43 text

43 終わりに

Slide 44

Slide 44 text

44 コドモン採用ページ開発ブログコドモンでは一緒に働きたい仲間を募集しています！