本番環境のデータベースを吹っ飛ばした話

本番環境のデータベースを吹っ飛ばした話 2018/09/26 ever sense Inc. Ryuhei Shikanai

自己紹介

自己紹介・本名: 鹿内隆平(Shikanai Ryuhei) ・Twitter: 373.3(@373_3) ・github: @ryuhei4k9 ・所属:
ever sense Inc.（https://eversense.co.jp/） RailsとかSwiftを書いたりしています。メンダコが好きです。

前置き

前置き・技術的な話は全くしません・体験談と、それから得た心構えの話をします

吹っ飛ばした話　概要

吹っ飛ばした話　概要 testing環境をterminateしたと思ったら、本番環境をterminateしていた以上！

吹っ飛ばした話　概要・もう少し詳しく - ELB・EC2(1台)・RDS(1台)のうち、RDSのみがterminateされてしまった - 基本的にはiOSアプリのバックアップの役割であり、RDSが落ちていてもアプリそのものは動くのでユーザーへ直ちに影響が出るものではなかった - RDSは定期的にスナップショットを取っていた

吹っ飛ばした話　その後

吹っ飛ばした話　その後 - インシデント復旧後、すぐさま今後の対策を講じるのではなく、期限が差し迫ったタスクを優先した - 再びtesting環境を利用した際、他のチームメンバーがダブルチェックを行わず単独でterminateを行った

吹っ飛ばした話　その後重大なインシデントを起こした人間・チームとして良くない動きだった

何がいけなかったか

何がいけなかったか・ケアレスミス？間違ってterminateしたことそのものは紛うことなくケアレスミス対策よりタスクを優先したのは「考え、判断した結果」他のチームメンバーが単独でterminateを行ったのも「考え、判断した結果」

何がいけなかったか考えてるし、判断してるけどその判断が間違ってるよね

何故判断をミスったか

何故判断をミスったか今までは製品を納期内に完成させることに優先していて、品質担保に強くコミットしていなかったのではないか。極端に言うと「バグが出ても後から直せばいいから、早いほうがいいでしょ」寄りの思考だったのではないか。「納期内の完成」・「品質担保」はどちらも正しく必要なことではあるが、　「今現在組織から求められている品質担保のレベル」に達していないのではないか

何故判断をミスったかそういった普段のふるまいの積み重ねが大きなインシデントを生んでしまったのではないか

何故判断をミスったか・そもそも「品質担保」って何理想としては、インフラの話だけでなく、設計、コーディング、コードチェックなど様々なフェーズにおいて、考慮漏れやバグが発生しないようにすること。実際には、その理想を実現できる方向にリソースを注ぐこと。

何故判断をミスったか「品質担保にコミットする」ことを目標に行動を少しずつ変えていくことにした

何を変えたか

何を変えたか・インフラと関係ない部分も含む - 本番環境に影響のあるコマンド実行時のダブルチェックの徹底 - コードレビュー依頼時に、「自分は何を確認したか」「相手には何を確認してほしいか」を共有するようにした - アプリ開発時に、メンバー全員で集まる時間を作りデグレチェックをするようにした -
チームメンバー間で「今品質担保できてる？」と互いに確認し合う習慣を作った - リスクがある点において、他人の力を適切に借りることができるようになった - etc...

何を変えたか今まで意識できていなかった部分が習慣として少しずつ定着してきた

余談

余談このインシデントを受けて、AWSとgithubの権限を一時的に縛ってもらった - AWS: コンソールでの操作権限剥奪（ReadOnlyに） - github: 本番環境へ影響を与えることのできるansibleなどの構成ツールの参照権限剥奪（readができるとgit cloneもできてしまうので、readすらできないように）

余談（当たり前だが）めちゃくちゃ不便だった

余談「大いなる力には、大いなる責任が伴う」ということを、身をもって理解できた

まとめ

まとめ結果として、やらかしたことはいい経験になり、エンジニアとしての今後のふるまいを変えるきっかけにもなった（もちろん二度と起こしてはいけないことではある）

まとめ常日頃から「品質担保」にコミットしていこう意識するときだけ意識しても一時的な力にしかならないし、必ずどこかほころびが発生してしまう。習慣として自然に身に付けることで、「品質」のベースラインが上がってくる

終わりです

本番環境のデータベースを吹っ飛ばした話

本番環境のデータベースを吹っ飛ばした話

Ryuhei Shikanai

More Decks by Ryuhei Shikanai

Other Decks in Programming

Featured

Transcript