いつもみてるよ、エラーもその先も

Transcript

1. いつも監視(み)てるよ 〜ヤバいオブザーバビリティLT会〜 いつもみてるよ、エラーもその先も yabaibuki.dev 株式会社スタディスト CREグループ 柳楽瑛
2. ⾃⼰紹介 2 名前: 柳楽瑛 (X: @_windupbird_) 所属: 株式会社スタディスト CREグループ 仕事: Ruby, Rails, AWS, kubernetes, Terraform etc… 趣味: 筋トレ、散歩
3. ⽬的 3 • スタディストでやっているかなり泥臭いエラー改善活動を紹介したい。
4. Teachme Biz 4 画像や動画を中⼼としたオンラインマニュアル を作成、共有、管理できるサービスです。 Teachme Biz is 何？
5. 背景 5 • 開発‧運⽤しているマイクロサービスの増加 • 機能別にチームが存在（≠マイクロサービス担当） • チームの⽣成、統廃合 • エンジニアも増加 開発‧運⽤が⽇々複雑になっている
6. 課題 6 • エラー発⽣の通知が来たけど、何のエラー？ • エラー出たけど、これはどこのチームの管轄？ • エラーの対応管理と進捗管理 「これは何のエラー？」「どこのチーム担当？」
7. 課題 7 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス 担当
8. 課題 8 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス チーム B B マイクロサービス 担当
9. 課題 9 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス チーム B B マイクロサービス チーム C C マイクロサービス 担当
10. 課題 10 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス チーム B B マイクロサービス チーム C C マイクロサービス 依存
11. 課題 11 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス チーム B B マイクロサービス チーム C C マイクロサービス チーム D D マイクロサービス （廃⽌） 担当 担当
12. 課題 12 チーム A 「これは何のエラー？」「どこのチーム担当？」 A マイクロサービス チーム B B マイクロサービス チーム C C マイクロサービス チーム D D マイクロサービス （廃⽌） 担当 担当 500 Internal Server Error NoMethodError: undefined method `xxx' for nil
13. 課題 13 • エラー発⽣の通知が来たけど、何のエラー？ • エラー出たけど、これはどこのチームの管轄？ • エラーの対応管理と進捗管理 「これは何のエラー？」「どこのチーム担当？」
14. どうするか？ 14 • 各チームから1⼈以上のエンジニアを招集 • 毎⽇30分程度の時間を使って、過去24時間に発⽣したエラーの確認 • 全マイクロサービスを確認する • 加えて...各種メトリクスも確認して、問題が発⽣しそうな兆候がないか点検する エラーを⾒る会の発⾜
15. 何をしているか？ 15 エラーを⾒る会の発⾜
16. ポイント 16 • 毎⽇やる、継続してやる • エラー発⽣の記録をつける、担当チームに割り振る • クリティカルになりそうなものは、その場でみんなで原因を調査する（可能な限り） • 常にアップデートして、エラーを⾒る会以外でも使える状態にする • グラフは⾒やすいか？過不⾜はないか？ • こんなグラフがあれば、いいのではないか？ エラーを⾒る会の発⾜
17. 効果 17 • エラーが放置されることなく、最短で修正‧リリースされるようになった • エラーに現れない兆候もキャッチアップし、未然にユーザー影響を防ぐことができた • 他のチームやマイクロサービスが何をやっているか分かるようになった • 他のエンジニアの原因究明プロセスを知ることができる • エラー対応の進捗もここで確認できる 地道な改善がユーザー体験をよくする
18. まとめ 18 • 最終的には、サービスを使ってもらっているユーザーによりよい体験をしてもらうため • 「毎⽇5分」から「クリティカルなエラーを⾒る」から始めてみるのもいいかもしれない 地道な改善がユーザー体験をよくする
19. 最後に 19 ⼀⾏のログの向こうには、⼀⼈のユーザがいる 引⽤ “ アクセスログの⼀⾏の200からは、その⽅を幸せにできたのかどうかはわかりません。ただ、⼀⾏の 500の向こうには、確実に、⼀つのがっかり体験があるはずです。” “ ⼤量にあるアクセスの中のたった⼀つかもしれませんが、そのエラーが出た瞬間、残念な思いをさ れる⽅が、インターネットのその先に確実にいらっしゃる。” https://www.tumblr.com/ihara2525/17029509298
20. いつも監視(み)てるよ 〜ヤバいオブザーバビリティLT会〜 いつもみてるよ、エラーもその先も
21. https://studist.jp/