本番環境のデータベースを吹っ飛ばした話

BIT VALLEY -INSIDE- Vol.1( https://www.facebook.com/bitvalleyinside/ )でのLTで使用したスライドです

1. 本番環境のデータベースを 吹っ飛ばした話 2018/09/26 ever sense Inc. Ryuhei Shikanai
2. 自己紹介
3. 自己紹介 ・本名: 鹿内 隆平(Shikanai Ryuhei) ・Twitter: 373.3(@373_3) ・github: @ryuhei4k9 ・所属: ever sense Inc.（https://eversense.co.jp/） RailsとかSwiftを書いたりしています。 メンダコが好きです。
4. 前置き
5. 前置き ・技術的な話は全くしません ・体験談と、それから得た心構えの話をします
6. 吹っ飛ばした話　概要
7. 吹っ飛ばした話　概要 testing環境をterminateしたと思ったら、本番環境をterminateしていた 以上！
9. 吹っ飛ばした話　概要 ・もう少し詳しく - ELB・EC2(1台)・RDS(1台)のうち、RDSのみがterminateされてしまった - 基本的にはiOSアプリのバックアップの役割であり、RDSが落ちていてもアプリその ものは動くのでユーザーへ直ちに影響が出るものではなかった - RDSは定期的にスナップショットを取っていた
10. 吹っ飛ばした話　その後
11. 吹っ飛ばした話　その後 - インシデント復旧後、すぐさま今後の対策を講じるのではなく、期限が差し 迫ったタスクを優先した - 再びtesting環境を利用した際、他のチームメンバーがダブルチェックを行 わず単独でterminateを行った
12. 吹っ飛ばした話　その後 重大なインシデントを起こした人間・チームとして 良くない動きだった
13. 何がいけなかったか
14. 何がいけなかったか ・ケアレスミス？ 間違ってterminateしたことそのものは紛うことなくケアレスミス 対策よりタスクを優先したのは「考え、判断した結果」 他のチームメンバーが単独でterminateを行ったのも「考え、判断した結果」
15. 何がいけなかったか 考えてるし、判断してるけど その判断が間違ってるよね
16. 何故判断をミスったか
17. 何故判断をミスったか 今までは製品を納期内に完成させることに優先していて、品質担保に強くコミットしてい なかったのではないか。極端に言うと「バグが出ても後から直せばいいから、早いほうが いいでしょ」寄りの思考だったのではないか。 「納期内の完成」・「品質担保」はどちらも正しく必要なことではあるが、　「今現在組織か ら求められている品質担保のレベル」に達していないのではないか
18. 何故判断をミスったか そういった普段のふるまいの積み重ねが 大きなインシデントを生んでしまったのではないか
19. 何故判断をミスったか ・そもそも「品質担保」って何 理想としては、インフラの話だけでなく、設計、コーディング、コードチェックなど様々な フェーズにおいて、考慮漏れやバグが発生しないようにすること。 実際には、その理想を実現できる方向にリソースを注ぐこと。
20. 何故判断をミスったか 「品質担保にコミットする」ことを目標に 行動を少しずつ変えていくことにした
21. 何を変えたか
22. 何を変えたか ・インフラと関係ない部分も含む - 本番環境に影響のあるコマンド実行時のダブルチェックの徹底 - コードレビュー依頼時に、「自分は何を確認したか」「相手には何を確認してほしい か」を共有するようにした - アプリ開発時に、メンバー全員で集まる時間を作りデグレチェックをするようにした - チームメンバー間で「今品質担保できてる？」と互いに確認し合う習慣を作った - リスクがある点において、他人の力を適切に借りることができるようになった - etc...
23. 何を変えたか 今まで意識できていなかった部分が 習慣として少しずつ定着してきた
24. 余談
25. 余談 このインシデントを受けて、AWSとgithubの権限を一時的に縛ってもらった - AWS: コンソールでの操作権限剥奪（ReadOnlyに） - github: 本番環境へ影響を与えることのできるansibleなどの構成ツールの参照権 限剥奪（readができるとgit cloneもできてしまうので、readすらできないように）
26. 余談 （当たり前だが）めちゃくちゃ不便だった
27. 余談 「大いなる力には、大いなる責任が伴う」 ということを、身をもって理解できた
28. まとめ
29. まとめ 結果として、やらかしたことはいい経験になり、 エンジニアとしての今後のふるまいを変える きっかけにもなった （もちろん二度と起こしてはいけないことではある）
30. まとめ 常日頃から「品質担保」にコミットしていこう 意識するときだけ意識しても一時的な力にしかならないし、 必ずどこかほころびが発生してしまう。 習慣として自然に身に付けることで、「品質」のベースラインが上がってくる
31. 終わりです