Slide 1

Slide 1 text

ツールを超えた「共通言語」へ 開発とSREがDatadogを囲んで信頼を育てる 継続的かつ地道な実践

Slide 2

Slide 2 text

自己紹介 山下 雅人 クラウド経費・クラウド債務支払 SRE チーム バックエンドエンジニアとSREの 経験を活かして活動中 Kaigi on Rails Organizer

Slide 3

Slide 3 text

今日お伝えしたいこと 「完璧なダッシュボード」より、まず「全員で見る場」を作ろう ツールは会話のきっかけ。グラフの向こうを言語化して共有する

Slide 4

Slide 4 text

オンプレミスからAWSへの移行 マネーフォワードの各プロダクトは オンプレミス環境で稼働していた 会社の方針により各プロダクトが AWS環境へ順次移行となった https://xtech.nikkei.com/atcl/nxt/column/18/000 01/11142/

Slide 5

Slide 5 text

Datadogダッシュボードの再編 オンプレ時代からダッシュボードが運用されていたが、 構成はオンプレミス前提となっていた AWS移行後はEKS・RDS・S3など見るべき対象が変わるので そのままでは何が起きているか掴めない クラウド経費・クラウド債務支払それぞれに対して再編に着手

Slide 6

Slide 6 text

Datadogのメトリクス可視化が手動から自動に 「見ようとしたもの」から「見えるもの」へ オンプレ時代:設定した箇所しか見えない(手動で仕込む) AWS時代:連携するだけで詳細まで可視化(自動で取れる) 手動から自動に変わったメリット 高品質・高解像度の情報が、連携するだけで自動的にアップ される 個別に仕込んでいた詳細が即座に可視化されるようになった

Slide 7

Slide 7 text

各メトリクスをDatadogで可視化 各マネージドサービスのメトリクスをDatadogで一元管理

Slide 8

Slide 8 text

簡単に追加できる点は良かったが... SREだけでは全容の把握が困難になってきた

Slide 9

Slide 9 text

徐々に長くなるダッシュボード サービスの成長と共に見るべき メトリクスが増加 インシデント対応で必要な メトリクスの追加も増える 結果として、ダッシュボードへの 「継ぎ足し」が続く SREだけで全容の把握は困難 ⬇︎ Still continues...

Slide 10

Slide 10 text

そこで効果を発揮した取り組みが 「インフラヘルスチェック会」

Slide 11

Slide 11 text

インフラヘルスチェック会とは オンプレミス時代からの習慣 週1回、開発チームとSREでミーティングを実施 目的 インフラの現状の認識合わせとオーナーシップ醸成 開発者がサーバーを「自分たちのもの」として意識する

Slide 12

Slide 12 text

インフラヘルスチェック会がもたらしたもの Datadogの各メトリクスと 開発側コンテキストの 照らし合わせ 開発とSRE双方で 過去や未来の変更情報共有 再編による「情報量」× 既存の「会話」→「情報の交差点」

Slide 13

Slide 13 text

「情報の交差点」から生まれるもの SREの視点(メトリクス)と開発の視点(コード/仕様)が 頻繁に行き交う グラフと原因を結びつける翻訳が繰り返される 継続的な場の開催と会話により、グラフを見るだけで全員が 同じ理解になる Datadogが開発とSREの「共通言語」として機能するようになる

Slide 14

Slide 14 text

ヘルスチェック会で培った「共通言語」は 週1回の会議を超えて広がり、 有事や改善の場でも効果を発揮する

Slide 15

Slide 15 text

活用事例1:インシデント対応(有事) 障害発生時の動き 開発者やSREが同じ画面を見て 障害の鎮火に向けて行動 迷わない初動 「どこを見ればいいか」が明確 「いつものグラフね」という 共通認識で説明のコストがゼロ

Slide 16

Slide 16 text

活用事例2:開発のパフォーマンス評価(改善) リリース前の見積もりとリリース後のモニタリング 新機能リリース前に、開発とSREでメモリ増加量や 負荷傾向を把握 リリース後のモニタリングでのフィードバック 開発コードの改善における意思決定 複数処理を「まとめるか・分けるか」の判断に、Datadogの メトリクスを活用 「過去のリソース使用傾向」と「改善後の変化」を比較し 根拠を持って意思決定した

Slide 17

Slide 17 text

Datadogを活用した改善はまだまだ継続中 ダッシュボード 分離やシンプル化も進めつつ、 今の優先順位は開発側との 認識合わせ 使い方の共有 Slack上で各メンバーが 「こんな使い方・見方がある」 といった共有を実施

Slide 18

Slide 18 text

結論:Datadogという共通言語 同じ画面を見て、同じ認識を持つ 「今何が起きているか」 「次に何をすべきか」を 開発とSREの共通言語で揃える 今日持ち帰ってほしいこと i. 「完璧なダッシュボード」より、まずは「全員で見る場」を 作ろう ii. ツールは「会話のきっかけ」 。グラフの向こうにある意図や 状況を言語化して共有する

Slide 19

Slide 19 text

ありがとうございました