過信した「Syntax OK 」インシデントから考える品質の担保

Toranomon Tech Hub 第8回 IT業界、本当にあった怖い話での登壇資料です

Transcript

1. 過信した「Syntax OK 」 インシデントから考える品質の担保 しろみ
2. アジェンダ 今回はこんな話をしていきます • どんなインシデントを起こしてしまったか • なぜ起きたのか • 作業時に何を確認しなければいけないか(何をどう確認するか）
3. 自己紹介 名前: しろみ ロール: 金融業界のシステム基盤の運用保守担当 夏のいいところ: ペンギングッツが色々販売されている 最近焦ったこと: 本番作業端末が爆音をあげてフリーズし始める(つい2時間前)
4. 全てはSyntax OK この表示を過信したことから始まりました
5. その結果、どんなインシデントを起こしたか
6. 検証環境のApacheを停止させてしまった
7. Apacheの停止 • いわゆるWebサイトを提供するのに必要なミドルウェア • 停止すると以下のことが起こります ◦ ECサイトの場合、商品の購入ができない ◦ お金や金券の換金サイトの場合、換金ができない • 会社の利益を出すために必要なあれこれができなくなってしまう • 場合によっては損害が数千万以上になる、リカバリもできないなども
8. 経緯 具体的な経緯としてはこのような内容です • • 証明書の差し替え作業を実施 ◦ その年毎にフォルダを作成 ◦ その中にSSL証明書を格納 ◦ Apacheの設定ファイルの証明書パスを差し替え ◦ Apacheのリロード実施 リロード後、Apacheが停止していることが発覚
9. なぜ起きたのか
10. なぜ起きたのか 原因としては指定したファイルパスのタイポでした • 当然、指定したファイルパスにはSSL証明書は配置されていない • Apacheは存在しないファイルを参照しようとする • 暗号化処理に必要なファイルをApacheが参照できないため、停止
11. なぜ気づかなかったのか
12. http -t Syntax OK
13. このコマンドと実行結果を過信していたことでした
14. なぜ気づかなかったのか • このコマンドはApacheの構文チェック を実施するコマンドです • 構文に問題がない場合 Syntax OKと表示されます • 実行した結果、Syntax OKと表示される • 問題ないと判断(過信)し、Apacheをリロードを実行
15. しかしこのコマンドには、落とし穴が存在します
16. 全ての項目をチェックできるものではない
17. チェックできること・出来ないこと • httpdコマンドに限らない話ですが、次のことが挙げられます • 確認できること ◦ • 設定ファイルの書き方に問題がないか (構文チェック) 確認できないこと ◦ 指定したパラメータが本当に正しいか ▪ 参照しているファイルパスに誤りがないか、処理に必要なファイルがそこにあるか ▪ 記述している位置が正しいか (対象のドメイン以外のドメインに記述されていないか ) ▪ プロセス数等のパラメータの場合、引き上げすぎていないか • 引き上げすぎた場合、サーバーのリソースが枯渇する
18. このインシデントから皆さんに伝えたいこと
19. 何をどういう方法で確認するのかを考える
20. 何をどういう方法で確認するのかを考える • なので次のことを皆さんにお伝えします • 何をどういう方法で確認できたらいいのか • 今回だとファイルパスのタイポはどうしたら気づけるのか ◦ lsコマンドでファイルがあるかを確認 ◦ 書いている位置が正しいのかを lessコマンドで開いてみる
21. 何をどういう方法で確認するのかを考える • 今日のLT会のテーマはIT業界、本当にあった怖い話 • 他の方の面白怖い話からも得られるものがあると思います • 今日の話が誰かのためになりましたら幸いです
22. ご清聴ありがとうございました ※こちらのイラストとスライドの背景は GPT-4oに描いていただきました