SRE を立ち上げた4ヶ月後の世界

by ryurock

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© Magic Moment 2021 自己紹介とサービス概要 3 木村竜介 (Ryusuke Kimura) SRE Engineering Manager 兼 Senior Engineering Manager 高校卒業後、クライミングにハマりフリーターをしながら海外クライミングに明け暮れる。その後、システムエンジニアとして様々な業務に従事。最近はインフラ領域を主戦場としており、前職ビザスクでは SRE 責任者も経験。 2023 年 1 月に現職である Magic Moment へ入社し、営業支援 SaaS プロダクト「Magic Moment Playbook」の EM を担当。9月より SRE 責任者。 11 月より「Magic Moment Playbook」の複数チームの EM 総括に従事。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© Magic Moment 2021 自己紹介とサービス概要 5 成果の出る営業オペレーションを組織に実装誰もが実行可能な“営業の型”を組織に実装「営業活動の結果 = 顧客の反応」を瞬時に記録多種多様な業界の営業活動を支援してきた Magic Moment の業界知見と営業フレームワークを融合した営業プロセスを組織に即実装。項目やトークの個別カスタマイズをサポートし、早期の成果創出を可能とする営業手法を確立します。プレイブックコア機能

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© Magic Moment 2021 SRE チームの立ち上げの経緯 14 今回の事態を反省して、2023 年 9 月に SRE チームが発足運用・保守の部分がおざなりになっていた成長フェーズなのでしょうがない。の積み重ねが Toil やノイズを膨らませて、原因特定に大きく時間がかかったシステムパフォーマンスの定点チェックを行っておらず、システムの状態変化に気づけなかった Datadog の導入で解決しようとしていたが間に合わなかったアプリケーションや組織拡大に伴い、SRE 活動の整備が追いついていなかった SRE 活動が兼任だと、優先順位が下がってしまうその他多数反省事項があった...........

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© Magic Moment 2021 SRE チームの立ち上げた後にやったこと - 組織編成 - 17 SRE チームを立ち上げると各チームがなんとなくやっていた SRE 活動を整理・整頓しやすい聖ベルナルドゥスアプリケーションや組織拡大に伴い、SRE 活動の整備が追いついていなかった地獄への道は善意で舗装されている反省点 SRE プラクティスの整理整頓と優先順位のトリアージ顧客が本当に必要だったもの

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© Magic Moment 2021 SRE チームの立ち上げた後にやったこと - 組織編成 - 21 【重要】Alert (How)を作りたいのではない Alert を作る事によって運用・保守のおざなりとは？の認識を合わせたかった運用・保守の部分がおざなりになっていた反省点見えていなかった現実を Alert で見える化顧客が本当に必要だったものなぜやるのか？(Why) 何をやるべきか？(What)

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© Magic Moment 2021 SRE チームの立ち上げた後にやったこと - 見える化 - Performance Dashboard の作成 - 28 Datadog Dashboard で全ての Micro Service の統一的に見るべき指標を作成定期リリース後の翌日に、システムパフォーマンス Dashboard を全てのチームで確認してデグレードや、パフォーマンス劣化していないか？をチェックするシステムパフォーマンスの定点チェックを行っておらず、システムの状態変化に気づけなかった反省点統一的な指標で状態変化が見えるもの顧客が本当に必要だったもの

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© Magic Moment 2021 SRE チームの立ち上げた後の変化 31 やったのは「可視化」、「整理」、「つなぐ」だけ運用・保守の部分がおざなりになっていた ● 見えていなかった現実を Alert で見える化 ● エラーを1人で闘わないコラボレーションツール(APM)の導入システムパフォーマンスの定点チェックを行っておらず、システムの状態変化に気づけなかった ● 統一的な指標でシステムの状態変化が見えるダッシュボードの用意アプリケーションや組織拡大に伴い、SRE 活動の整備が追いついていなかった ● SRE プラクティスの整理整頓と優先順位のトリアージムダ・ムラをなくすチーム間コラボレーション見える化