うちにも入れたいDatadog

by Recruit

Slide 1

Slide 1 text

うちにも入れたい Datadog うちにも入れたい Datadog @mopp Datadog Live Tokyo 2024 Reprise 2024-12-18

Slide 2

Slide 2 text

うちにも入れたい Datadog 自己紹介 (1/2) 2017.04 株式会社ドワンゴへ入社 2019.06 Quipperへ転職 (スタディサプリにJoin) 2021.10 株式会社リクルートへ転籍ソフトウェアエンジニア小檜山裕太 / mopp Yuta Kobiyama 株式会社リクルートプロダクト統括本部プロダクト開発統括室プロダクトディベロップメント室販促領域プロダクトディベロップメント５ユニット (まなび) 教育支援小中高プロダクト開発部学習支援開発グループ JDDUG Member Japan Datadog User Group

Slide 3

Slide 3 text

うちにも入れたい Datadog 自己紹介 (2/2) ⚫ 社内ではWeb devs ◆ フルスタックエンジニアが近い概念 ◆ Ruby/Rails, Go, Elixir, Kubernetes manifest, React, Terraform, etc… 基本的になんでもやる ⚫ mopp は ◆ バックエンドが得意 ◆ チームリードも務める

Slide 4

Slide 4 text

うちにも入れたい Datadog About スタディサプリこちらの領域のお話をします。

Slide 5

Slide 5 text

うちにも入れたい Datadog Agenda | 前半戦後半戦アンサーソング for 「みんな Datadog を使ってくれない...」 Datadog で何見てる？〜弊組織の Dashboard 紹介〜

Slide 6

Slide 6 text

うちにも入れたい Datadog お悩み「みんな Datadog を使ってくれない...」

Slide 7

Slide 7 text

うちにも入れたい Datadog 「みんな Datadog を使ってくれない...」 ⚫ JDDUG Meetup の懇親会にてよく耳にする自分しかメンテしてない SREよりも、アプリ実装する開発者にもっと見て欲しい Datadog 最高！弊社でもっと使っていきたいでも、どうすれば…

Slide 8

Slide 8 text

うちにも入れたい Datadog Datadog 普及は如何に？御組織で Datadog は普及していますか？

Slide 9

Slide 9 text

うちにも入れたい Datadog Datadog 普及は如何に？御組織で Datadog は普及していますか？ Yes！ (点数を付けるなら75点くらい？) ※個人の定性的感想です (統計を取る余裕がなかった…)

Slide 10

Slide 10 text

うちにも入れたい Datadog Monitoring/Observability 構成 Amazon CloudWatch Logs Dashboard Monitors, SLO APM Error Tracking Log

Slide 11

Slide 11 text

うちにも入れたい Datadog 弊組織の Datadog 普及状況サービス、チームの単位で Dashboard, Monitor, SLO が作成されている Dashboard (Integrations抜き) は約400個あったそろそろ棚卸しが必要かも？ APM はほぼ全サービスに導入済み Events に Kubernetes 関連イベントを投入

Slide 12

Slide 12 text

うちにも入れたい Datadog 以前はどうだったか？一部の Web dev や SRE が Dashboard や Monitor を利用 SLO や APM の活用度合い低他社の類似ツールと二重化していた 2019年 (mopp 入社当時)

Slide 13

Slide 13 text

うちにも入れたい Datadog アンサーソング for 「みんな Datadog を使ってくれない...」

Slide 14

Slide 14 text

うちにも入れたい Datadog 弊組織での道のりを振り返る ⚫ 「普及している」を明確にする ⚫ 弊組織で Datadog が普及したポイントを振り返る ⚫ 直近半年での事例

Slide 15

Slide 15 text

うちにも入れたい Datadog 普及しているとは？ (1/2) チームとして Datadog が使えること (いま出来ていなくてもやったらできると思えていること)

Slide 16

Slide 16 text

うちにも入れたい Datadog 普及しているとは？ (2/2) ⚫ 「みんな」を少し分解 ◆ 例: 5/30人が使えるとき ⚫ メンバ単位 ◆ 普及率は16.7% ⚫ チーム単位 ◆ 6チーム有り、5人は全員別チームなら？ ◆ 普及率は 5/6 = 83.3% 使えます使ったこと無いうちの犬種はポメラニアン (よくわかってない)

Slide 17

Slide 17 text

うちにも入れたい Datadog まずはチームで普及すれば OK (1/3) ⚫ チームの得意/苦手を把握する手法 ⚫ Skill であれば何でも OK ⚫ 全員分をまとめたものがチームの Skill となる Xさん Yさん Zさんとあるチームの Skill Star Map Datadog ☆ Ruby ☆ - まかせな、聞かれたら(調べて)答えられる ◯ - 調べたら出来るよ ✗ - ほぼ未経験、やるときは HELP 欲しい注意: 「社内で」という枕詞と共にマークすること世界レベルの人と比べても仕方がない ✗ ✗ Go ◯ ☆ Kubernetes ☆ ◯ ✗ ☆ ◯ ☆ ✗ チームとして ☆ ☆ ☆ ◯ Skill Star Map

Slide 18

Slide 18 text

うちにも入れたい Datadog まずはチームで普及すれば OK (2/3) ⚫ このチームは「Datadogを使える」！ ⚫ 潜む問題 ◆ Datadog の属人化 ◆ Go が少し苦手 Xさん Yさん Zさん Datadog ☆ Ruby ☆ - まかせな、聞かれたら(調べて)答えられる ◯ - 調べたら出来るよ ✗ - ほぼ未経験、やるときは HELP 欲しい注意: 「社内で」という枕詞と共にマークすること世界レベルの人と比べても仕方がない ✗ ✗ Go ◯ ☆ Kubernetes ☆ ◯ ✗ ☆ ◯ ☆ ✗ チームとして ☆ ☆ ☆ ◯ とあるチームの Skill Star Map

Slide 19

Slide 19 text

うちにも入れたい Datadog まずはチームで普及すれば OK (3/3) ⚫ さらなる普及はチームの問題事として扱う ⚫ 自分がXさんなら ◆ シレッと Dashboard を作って見せびらかす ⚫ チーム外なら ◆ Xさんと仲良くなって支援する Xさん Yさん Zさん Datadog ☆ Ruby ☆ - まかせな、聞かれたら(調べて)答えられる ◯ - 調べたら出来るよ ✗ - ほぼ未経験、やるときは HELP 欲しい注意: 「社内で」という枕詞と共にマークすること世界レベルの人と比べても仕方がない ✗ ✗ Go ◯ ☆ Kubernetes ☆ ◯ ✗ ☆ ◯ ☆ ✗ チームとして ☆ ☆ ☆ ◯ とあるチームの Skill Star Map

Slide 20

Slide 20 text

Slide 21

Slide 21 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る 1. チェックリストに追加 2. 社内勉強会 3. Monitor/SLO の推進 4. APM の導入自己完結チーム Supported by SRE エンジニアの雑談場下支えする文化的要素

Slide 22

Slide 22 text

うちにも入れたい Datadog 下支えする文化的要素: エンジニアの雑談場 ⚫ 毎週火曜日に1時間 ⚫ 任意参加 ◆ 意思決定は無し ⚫ 技術的な雑談を繰り広げる ⚫ 連載コーナーもある ◆ 例: 月間SRE、Datadog歯磨き random-tech-talk 〇〇を試したら最高便利だった件についてラジオ代わりに耳だけ登壇資料の壁打ちして欲しい

Slide 23

Slide 23 text

うちにも入れたい Datadog 下支えする文化的要素: 自己完結チーム (1/4) ⚫ 多くのことがほかチームと連携不要に遂行可能であること ⚫ 弊社組織の SRE により強く推進 ⚫ 自己完結ではない例かしこまり〜 SRE Web dev S3の作成お願いします！

Slide 24

Slide 24 text

うちにも入れたい Datadog 下支えする文化的要素: 自己完結チーム (2/4) SRE Web dev 要件とか聞かないと… 今すぐS3使ったコード書きたい… 欠点ブロッカーコミュニケーションコスト知識のサイロ化 SREの作業を待つ時間や精神力が必要 S3の知識が広まらない

Slide 25

Slide 25 text

うちにも入れたい Datadog チーム内下支えする文化的要素: 自己完結チーム (3/4) ⚫ 自己完結な例 Web dev SRE Terraform 環境とドキュメントの整備はするよわからないことがあったら呼んでね Web dev S3 作成PR を作ったレビューお願いよさそうマージする (デプロイされる)

Slide 26

Slide 26 text

うちにも入れたい Datadog 下支えする文化的要素: 自己完結チーム (4/4) ⚫ 設計、実装、デプロイ、監視などを一貫してチームで行える ◆ SRE チームや QA チームなどの専門チームの支援を受け Web dev チームが主体的に行う ◆ 例: Kubernetes 自体の運用保守は SRE が行うが manifest 記述などは Web devs が行う Datadog 活用でもこの原則を適用していく

Slide 27

Slide 27 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る 2. 社内勉強会 1. チェックリストに追加 3. Monitor/SLO の推進 4. APM の導入

Slide 28

Slide 28 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (1/7) ⚫ 3つは同時並行、かつ、漸進的に行われていた 2. 社内勉強会 (2020/01, 2021/06, など) 1. チェックリストに追加 (2019/02) 3. Monitor/SLO の推進 (2019/04~2020/01)

Slide 29

Slide 29 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (2/7) ⚫ チェックリストとは Production Readiness Checklist (SRE作成) ◆ 本番リリースに抜け漏れはないかな？をチェックする ◆ ここで Web dev の手で最低限の Dashboard が作成必須になった ◆ Ownership は作成したチームにある 2. 社内勉強会 (2020/01, 2021/06, など) 1. チェックリストに追加 (2019/02) 3. Monitor/SLO の推進 (2019/04~2020/01)

Slide 30

Slide 30 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (3/7) ⚫ 社内勉強会にて Dashboard の活用支援 ◆ 「関心の高い同志」を見つけるいい機会 (当時そのような振る舞いをしたか不明) 2. 社内勉強会 (2020/01, 2021/06, など) 1. チェックリストに追加 (2019/02) 3. Monitor/SLO の推進 (2019/04~2020/01)

Slide 31

Slide 31 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (4/7) ⚫ Web devs に対して SLO が推進されその手段として Datadog を利用ぬくもり運用が Datadog を活用した運用へと置換 2. 社内勉強会 (2020/01, 2021/06, など) 1. チェックリストに追加 (2019/02) 3. Monitor/SLO の推進 (2019/04~2020/01)

Slide 32

Slide 32 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (5/7) ⚫ APM を別製品から乗り換えた ◆ 料金、2製品利用する手間、が問題だった ◆ Dashboard がもっと便利になる期待もあった 4. APM 導入 (2022/06~2022/09, など)

Slide 33

Slide 33 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (6/7) ⚫ マイクロサービス間の SLI が APM に置き換えられた 4. APM 導入 (2022/06~2022/09, など) サービスA サービスB New リクエストTrace から SLI を計算 Old サービスB自身の計測値を利用サービス間ネットワークが考慮されていなかった

Slide 34

Slide 34 text

うちにも入れたい Datadog 弊組織での普及したポイントを振り返る (7/7) ⚫ 導入には有志が一時的に集まり全チームの移行を支援した ◆ 2,3名のワーキンググループ方式 4. APM 導入 (2022/06~2022/09, など)

Slide 35

Slide 35 text

Slide 36

Slide 36 text

うちにも入れたい Datadog Dashboard 磨き込み会社内通称は Datadog 歯磨き

Slide 37

Slide 37 text

うちにも入れたい Datadog Dashboard 磨き込み会 (1/4) 背景とあるモノリスサービス Ruby による1つの HTTP サーバエンドポイントは約240個関係チームは 15チーム Dashboardは 1つスキーマ定義一部のみ

Slide 38

Slide 38 text

うちにも入れたい Datadog Dashboard 磨き込み会 (2/4) チームXが Owner アプリケーションエンドポイント郡A 1つのダッシュボードを15チームで利用のためお見合い状態が発生チームY チームX このグラフいらない気がするけど誰か見てるかも… 勝手にグラフ追加してもいいのかなこれ… チームYが Owner エンドポイント郡B チームZが Owner エンドポイント郡C 問題お互いのやさしさが仇に… モノリスサービスの Ownership 概略

Slide 39

Slide 39 text

うちにも入れたい Datadog Dashboard 磨き込み会 (3/4) 勉強会を開催打ち手 Ownership を大切にモノリスサービス全体の Owner チームから一人は参加を依頼モブプロで知見共有 random-tech-talk の場を利用誰でも参加可能勉強会の声を掛けてみるとみんなうっすらと問題意識を持っていたことが判明

Slide 40

Slide 40 text

うちにも入れたい Datadog Dashboard 磨き込み会 (4/4) 成果エンドポイントのOwner 一覧が Dashboard で見られるようになった既存の施策 • エンドポイントの Owner 一覧を Spreadsheet で手動管理していた • エンドポイント実装全てに CODEOWNER が設定された • Ruby 実行時に Owner を判定社内ライブラリが作られた勉強会にてうまいこと噛み合い既存の施策の全てが偉業すぎる勉強会開催のタイミングがよかった

Slide 41

Slide 41 text

うちにも入れたい Datadog シン・エンドポイント一蘭仕組み 1. GitHub CODEOWNER からエンドポイントの Owner を判定 2. Trace に owner tag を付与 3. Generated Metrics で永続化 Generated Metrics がポイント！標準では直近15分しか Traces は保存されない利用頻度低のエンドポイントが見えなくなってしまう Traces から Custom Metrics にすることで長期間維持されるように一蘭はユーモア

Slide 42

Slide 42 text

うちにも入れたい Datadog 弊組織の普及ポイントまとめ自己完結で開発・運用をするという文化 SREチームに感謝多くをチームに閉じて遂行していくほうが中長期的に効率がよいはず徐々に組み込まれるような仕組みやはり一気に広める難しさがある新しいものから徐々に浸透させていく手法が効果的チームで使ってもらう個人ではなくチームを対象にするこれにより属人化の問題に帰着させる巻き込み力、会話の場乗っていき手本業で手が回らないことはとても多いそれでも、声を上げたり、時間を工面すること、組織を巻き込んでいくこと、が大切 4つが組み合わさり今があると痛感

Slide 43

Slide 43 text

うちにも入れたい Datadog お悩み「Dashboard どう作ってます？」

Slide 44

Slide 44 text

うちにも入れたい Datadog 「 Dashboard どう作ってます？」 ⚫ JDDUG Meetup の懇親会でたまに耳にする XYZ の監視どうしてます？ Dashboard をかっこよくしたい (スライドを見て) そのグラフいい感じだけどどうやっているの？

Slide 45

Slide 45 text

うちにも入れたい Datadog Datadog で何見てる？〜弊組織の Dashboard 紹介〜

Slide 46

Slide 46 text

うちにも入れたい Datadog CI/CD 分析 GitHub Actions を計測 (コスト都合でCI/CD Pipeline Visibilityは未利用…) Owner 技術戦略 DevOps チーム

Slide 47

Slide 47 text

うちにも入れたい Datadog CI/CD 分析 CI/CD とテストの改善に利用 Workflow 単位で集計 Workflow実行時間, Test実行時間, Failedしたテスト, Flakyなテスト, Slowest遅いテストケース, …

Slide 48

Slide 48 text

うちにも入れたい Datadog Code Metrics (1/2) 弊組織は monorepo を採用 1つの Git Repo に全コードを格納歴史深いため負債も多い古い書き方、古いライブラリ曖昧な Ownership Owner 技術戦略 DevOps チーム

Slide 49

Slide 49 text

うちにも入れたい Datadog Code Metrics (1/2) 取得メトリクス例 React の古い書き方 Ruby, Gem のバージョン Obsolete な Gem数 GitHub の CODEOWNER の設定有無可視化すると直したくなる (ふしぎ) 時系列表示することで成果として可視化できる

Slide 50

Slide 50 text

うちにも入れたい Datadog Kubernetes Pod 分析 SRE が Devs から問い合わせ対応などで利用 Owner SRE チーム OOM killed や Spot interruption は起きていないか？ Pod や Node 状態や想定通りか？などなどを見られる

Slide 51

Slide 51 text

うちにも入れたい Datadog 本番環境 Live Watch

Slide 52

Slide 52 text

うちにも入れたい Datadog お断り撮影や録画はしないようお願い申し上げます。

Slide 53

Slide 53 text

うちにも入れたい Datadog まとめ ⚫ 弊組織で Datadog がどのように推進されたのかを紹介 ◆ 振り返ると長い時間をかけて多くの devs の尽力によって普及していた ⚫ 具体の Dashboard をご紹介 ◆ 見ている観点、作り方、など参考になれば幸いです

Slide 54

Slide 54 text

うちにも入れたい Datadog ご清聴ありがとうございました