チーム分割においていかれたアラートをチームで責任を持てる形に再設計した

タイミーでは元々技術で分けられたチームがあり、多くのアラートがバックエンドチーム時代に作成されていました。
しかし、2年半前にプロダクトマネジメントを考慮して技術横断のドメインで区切ったチーム分割が行われました。
この時アラートは追従することなく古い設定が変更されることなく残り、誰が管理するでもなくなってしまいました。
結果としてアラート対応や閾値、設定の修正といった責務はどのチームが持つでもなく浮いてしまいました。
またこの時タイミーは急速に成長していたため、エンジニアは機能開発に追われアラートは発報されても対応することができなくなっていきました。
このようにして失われたアラートのオーナーシップをどのようにそれぞれのチームに戻したのかを紹介します。
また、タイミーの技術横断チームにおいて現在どのようにアラートのオーナーシップを持ち、運用しているかを具体例を交えてお話しします。

Transcript

1. 2023/12/5ɹԬ໺݉໵ νʔϜ෼ׂʹ͓͍͍͔ͯΕͨΞϥʔτΛ νʔϜͰ੹೚Λ࣋ͯΔܗʹ࠶ઃܭͨ͠ @Juju_62q
2. Ԭ໺݉໵ / @Juju_62q גࣜձࣾλΠϛʔ ϓϩμΫτຊ෦ ϫʔΩϯάϦϨʔγϣϯνʔϜ ʢStream Aligned Teamʣ ฏΤϯδχΞ
3. ࠓ೔ͷςʔϚ ΞϥʔτͱFBαΠΫϧͱνʔϜ
4. ͋Δ΂͖Ξϥʔτ 🚨 ʮxxxͰ໰୊͕ى͖͍ͯ·͢ʯ 👨💻 ʮxxxͷ໰୊Λղܾ͠·͢ʂʯ ✅ ʮRecoveredʯ 🚨 ʮyyyͰ໰୊͕ى͖͍ͯ·͢ʯ 👨💻 ʮyyyͷॲཧΛҰ࣌తʹ੾Γ཭͠·͢ʂʯ ✅ ʮRecoveredʯ
5. Α͋͘ΔΞϥʔτ 🚨 ʮCPU࢖༻཰͕x%Λ௒͑·ͨ͠ʯ 👨💻 ʮ...ʯ ✅ ʮRecoveredʯ 🚨 ʮ500Τϥʔ͕yճΛ௒͑·ͨ͠ʯ 👨💻 ʮ...ʯ ✅ ʮRecoveredʯ
6. λΠϛʔʹ΋ʮΑ͋͘ΔΞϥʔτʯ͕͋Γ·ͨ͠...
7. ͨͩɺݱঢ়͸গͣͭ͠Ͱ͸͋Γ·͕͢Α͘ͳ͖͍ͬͯͯ·͢ ࠓ೔͸ͦͷಓےΛ঺հ͠Α͏ͱࢥ͍·͢
8. ૝ఆௌऺ • ʮΑ͋͘ΔΞϥʔτʯʹࠔ͍ͬͯΔΤϯδχΞ • ૊৫෼ׂΛߟ͍͑ͯΔEM΍CTO • EnablingΛ΍͍͖͍ͬͯͨSREs ࠓ೔͓࿩͠ͳ͍͜ͱ • ͲͷΑ͏ͳΞϥʔτΛઃఆ͢΂͖ͳͷ͔ • Ξϥʔτ͔Βܨ͕ΔΦϯίʔϧରԠपลͷ࿩
9. 1. λΠϛʔͰ͸ͲͷΑ͏ʹͯ͠ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨͷ͔ 1. ʮΑ͋͘ΔΞϥʔτʯΛվળ͢ΔͨΊʹͲͷΑ͏ͳ͜ͱΛͨ͠ͷ͔ 1. ݁Ռͱͯ͠ࠓͲͷΑ͏ͳมԽ͕͋ͬͨͷ͔
10. લఏ • ։ൃͱӡ༻Λಉ͡νʔϜͰ΍͍ͬͯΔ͜ͱ • ΤϯδχΞ͸Ξϥʔτ͕ͳ͍ͬͯΔ͜ͱΛ޷·͘͠ࢥ͍ͬͯͳ͍͜ͱ • ΤϯδχΞ͸ػೳ։ൃҎ֎ʹ͋Δఔ౓ͷ͕࣌ؒ࢖͑Δ͜ͱ
11. 1. λΠϛʔͰ͸ͲͷΑ͏ʹͯ͠ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨͷ͔ 1. ʮΑ͋͘ΔΞϥʔτʯΛվળ͢ΔͨΊʹͲͷΑ͏ͳ͜ͱΛͨ͠ͷ͔ 1. ݁Ռͱͯ͠ࠓͲͷΑ͏ͳมԽ͕͋ͬͨͷ͔
12. όοΫΤϯυνʔϜ WebϑϩϯτνʔϜ ϞόΠϧνʔϜ ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨྲྀΕ
13. όοΫΤϯυνʔϜ WebϑϩϯτνʔϜ ϞόΠϧνʔϜ ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨྲྀΕ Ξϥʔτઃఆ͓͖ͯ͠·͢Ͷʂ ✅ ✅ ✅ ✅ ✅
14. όοΫΤϯυνʔϜ WebϑϩϯτνʔϜ ϞόΠϧνʔϜ ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨྲྀΕ ✅ ✅ ✅ ✅ 🚨 ੺͘ͳ͍ͬͯΔ΍͕ͭ͋Δ͔Βର Ԡ͠Α͏ʂ
15. A ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ΔྲྀΕ B όοΫΤϯυΤϯδχΞ WebϑϩϯτΤϯδχΞ ϞόΠϧΤϯδχΞ ✅ ✅ ✅ ✅ ✅
16. A ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ΔྲྀΕ B όοΫΤϯυΤϯδχΞ WebϑϩϯτΤϯδχΞ ϞόΠϧΤϯδχΞ ✅ ✅ ✅ ✅ 🚨 Ξϥʔτͳ͍ͬͯΔ͚Ͳ͏ͪͷ νʔϜͱ͸ؔ܎ͳͦ͞͏ Ξϥʔτͳ͍ͬͯΔ͚Ͳͪΐͬͱ Α͘Θ͔ΒΜͳ
17. ͢Δͱ...
18. A ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ΔྲྀΕ B όοΫΤϯυΤϯδχΞ WebϑϩϯτΤϯδχΞ ϞόΠϧΤϯδχΞ 🚨 🚨 🚨 🚨 🚨 ͍ͭ΋ΞϥʔτͳͬͯΔ͠ɺ
 ଟ෼େৎ෉ͩΖ͏ ͳΜͱ͔͍͚ͨ͠Ͳ Ͳ͏΍ͬͯม͑ͨΒ͍͍ͷ͔Θ͔Βͳ͍ BνʔϜʹ֬ೝ͸ඞཁʁʁ
19. ݪҼΛߟ͑Δ
20. όοΫΤϯυνʔϜ Ξϥʔτ࡞੒౰࣌ 🚨 ✅ ✅ ✅ ✅ ΞϥʔτͷFB͕1ͭͷνʔϜʹ͔͔Γɺ୯ҰνʔϜͰ࡟আ΍मਖ਼Ͱ͖Δ
21. ॎׂΓ૊৫࡞੒ޙ 🚨 ✅ ✅ ✅ ✅ ΞϥʔτͷFB͕ෳ਺ͷνʔϜʹ͔͔Γɺ ୯ҰνʔϜͰ࡟আ΍मਖ਼Ͱ͖ͳ͍ A B
22. FB͕ػೳ͠ͳ͍݁Ռ Ξϥʔτ͸૿͍͖͑ͯɺΑ͘Θ͔Βͳ͍΋ͷʹͳΔ
23. ݁Ռ 🚨 ʮCPU࢖༻཰͕x%Λ௒͑·ͨ͠ʯ 👨💻 ʮ...ʯ ✅ ʮRecoveredʯ 🚨 ʮ500Τϥʔ͕yճΛ௒͑·ͨ͠ʯ 👨💻 ʮ...ʯ ✅ ʮRecoveredʯ
24. 1. λΠϛʔͰ͸ͲͷΑ͏ʹͯ͠ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨͷ͔ 1. ʮΑ͋͘ΔΞϥʔτʯΛվળ͢ΔͨΊʹͲͷΑ͏ͳ͜ͱΛͨ͠ͷ͔ 1. ݁Ռͱͯ͠ࠓͲͷΑ͏ͳมԽ͕͋ͬͨͷ͔
25. ݁࿦͔Β͍͖·͠ΐ͏
26. Ξϥʔτͱ૊৫ͷઃܭ A B ✅ ✅ 🚨 ✅ 🚨 FBͱ ҙࢥܾఆݖ FBͱҙࢥܾఆݖ
27. ۩ମతͳߦಈ 1. ֤νʔϜͰରԠͷඞཁ͕͋ΔͱࢥΘΕΔΞϥʔτΛબΜͰ΋Β͏ 1. Ξϥʔτʹରͯ͠νʔϜϝϯγϣϯΛ͚ͭΔ 1. Ξϥʔτ͸ϝϯγϣϯͷ͋Δ୯ҰνʔϜͰมߋ͍͍ͯ͠ͱप஌͢Δ 1. ΞϥʔτରԠʹؔ͢ΔৼΓฦΓΛ࣮ࢪ
28. ରԠͷඞཁ͕͋ΔͱࢥΘΕΔΞϥʔτΛબΜͰ΋Β͏ ԼهͷΑ͏ͳܗͰͳΜΒ͔ͷ൓ԠΛ͢ΔΞϥʔτΛબఆͯ͠΋Βͬͨ બ͹Εͳ͔ͬͨΞϥʔτ͸શͯ࡟আͨ͠
29. Ξϥʔτʹରͯ͠νʔϜϝϯγϣϯΛ͚ͭΔ ରԠऀΛ໌Β͔ʹ͢ΔͨΊʹΞϥʔτʹϝϯγϣϯΛ෇༩ͨ͠ ·ͨɺϝϯγϣϯͷνʔϜΛΞϥʔτͷΦʔφʔͱͨ͠
30. ϝϯγϣϯͷ͋Δ୯ҰνʔϜͰมߋ͍͍ͯ͠ͱप஌͢Δ աڈͷόοΫΤϯυΞϥʔτͰ͸όοΫΤϯυશମͰڐՄΛ͑ͳ͚Ε͹มߋͰ͖ͳ ͍ͱࢥΘΕΔ͜ͱ͕͋ͬͨɻ ͔͠͠ͳ͕Β૊৫ߏ଄্ৗʹҰॹʹಇ͍͍ͯΔϝϯόʔͰ͸ͳ͍ͷͰҙࢥܾఆ͕೉ ͘͠ͳΔ͜ͱ͕͋ͬͨɻ ͜ΕΛ๷͙ͨΊʹ୯ҰνʔϜͰҙࢥܾఆΛՄೳʹ͠ɺFBΛૉૣ͘൓өͰ͖ΔΑ͏ ʹप஌ͨ͠ɻ
31. ΞϥʔτରԠʹؔ͢ΔৼΓฦΓΛ࣮ࢪ ࣮ࡍʹݟ௚ͯ͠मਖ਼͍ͯ͘͜͠ͱͰΦʔφʔγοϓ͕ཆΘΕɺFBαΠΫϧ͕ճΓ΍͍͢ঢ় ଶʹͳΔͱߟ͑ͨͷͰ֤νʔϜͰৼΓฦΓΛ࣮ࢪͨ͠ νʔϜͱঢ়گʹΑͬͯෳ਺ճ࣮ࢪ͠ɺվળ͕Ұ౓Ҏ্ճΔঢ়ଶʹͨ͠
32. 1. λΠϛʔͰ͸ͲͷΑ͏ʹͯ͠ʮΑ͋͘ΔΞϥʔτʯ͕Ͱ͖ͨͷ͔ 1. ʮΑ͋͘ΔΞϥʔτʯΛվળ͢ΔͨΊʹͲͷΑ͏ͳ͜ͱΛͨ͠ͷ͔ 1. ݁Ռͱͯ͠ࠓͲͷΑ͏ͳมԽ͕͋ͬͨͷ͔
33. ݁Ռ 1. Ξϥʔτʹ൓Ԡ͢ΔਓɺνʔϜ͕૿͑·ͨ͠ 1. Ξϥʔτʹؔͯ͠มߋ΍ݟ௚͕͠ߦΘΕΔΑ͏ʹͳΓ·ͨ͠ 1. νʔϜʹΑͬͯɺRunbook͕੔උ͞ΕΔΑ͏ʹͳΓ·ͨ͠
34. 🎉Α͋͘ΔΞϥʔτΛ୤ग़🎉
35. ͱ͸͍͑ɺෆཁͳΞϥʔτ΋ଟ͚Ε͹ ෮چͷࣗಈԽͳͲ͸·ͩ·ͩͰ͖͍ͯͳ͍
36. ͋Δ΂͖ΞϥʔτΛ໨ࢦͯ͠ؤுΓ·͢
37. ·ͱΊ 1. Ξϥʔτ͸૊৫ߏ଄ͱFBΛड͚Δਓ͕ෆҰகͷ৔߹ʹػೳ͠ͳ͘ͳ͍ͬͯ͘ 2. Ξϥʔτ͸୯ҰνʔϜͰมߋͷҙࢥܾఆ͕Ͱ͖ͳ͍ͱߗ௚Խ͢Δ 3. ૊৫͕มΘͬͨࡍʹɺΞϥʔτͷ૊৫ʹ߹Θͤͯมߋ͢Δͷ͕େ੾
38. We Are Hiring! ΧδϡΞϧ໘ஊ͸ͪ͜Β͔Β
39. Thank you