資材レビューのつもりが 本番環境に影響を与えていたお話

2026.07.28　Toranomon Tech Hub 第8回
IT業界、本当にあった怖い話　登壇資料

Transcript

1. 資材レビューのつもりが 本番環境に影響を与えていたお話 2026.07.28 Toranomon Tech Hub 第8回 IT業界、本当にあった怖い話 祈織
2. 自⼰紹介 祈織 -Inori所属：某クソデカ大⼿SES企業 ロール：クラウドに憧れるインフラエンジニア 運営：JAWS-UG 彩の国埼⽟⽀部 JAWS配信部(⾒習い) LinuC OpenNetwork(LiON) 趣味：野球観戦 ⭐️🦁、映画鑑賞、DQ10 ひとこと：本番作業無事終わりました！ Twitter Qiita
3. 注意事項 本内容は特定の企業を批判・否定する意図はありません。 あくまで個人の経験に基づくお話となります。
4. Agenda 01 02 02 03 03 04 04 01 はじめに やらかした作業について 影響 リカバリ対応 05 06 06 07 07 05 反省 検討した再発防止策 まとめ
5. はじめに 本内容は社内ヘルプデスクに常駐していた際に起こしたものです。 .batファイルの中身を⾒ようとしたら、本番環境で実⾏されてしまう インシデントを起こしてしまいました。 自分の⾏動を省みる必要があると同時に、この⼀件で 運用⾯での課題も感じました。 第二の私や同様の仕組みを⽣まないためにもここで供養して、 一つの知⾒として持ち帰ってもらえたら嬉しいです。
6. やらかした作業について どんなシステム？ →提供サービスのスケジュールを作成するシステム スケジュールは各店舗⽉1回⼀⻫にエンドユーザへ公開される どんな作業？ →スケジュールを月次バッチで公開できるようにする作業 当時は別TMから移管されている最中 主担当と副担当の2人体制で実施 主担当が資材作成、検証、実装、副担当は資材レビュー →私は副担当だった為、本番環境で適用する資材(.bat、.json)を 前月作成分と差分⽐較をする資材レビューを実施
7. やらかした作業について 【作業に使用したもの】 差分比較ツール：WinMerge 前月分資材：⾃⾝のローカル環境に配置 当月分資材：ファイルサーバ内作業フォルダに配置 前月分（⾃⾝のローカル配置）を「右クリック→編集」で ファイルを開いて中身をコピーし、別の.txtファイルへ貼り付けしようと した際に一瞬⿊い画⾯が⾒えたよう気が…。しかしそれを⾒落とす。
8. 影響 数時間後…
9. 影響 数時間後… スケジュールが作成できません A店舗 スタッフ
10. 影響 【システムの状態を確認】 店舗スタッフが操作不可のステータスに →フラグを書き換えて対応。 もう１店舗問い合わせがあったが この時点では事象に気づかず…
11. 影響 その後、作業の移管元のチームから
12. 影響 その後、作業の移管元のチームから あなたのUser_IDで スケジュールが一斉に 操作されています 移管元チームの元担当者
13. 影響 連携されたDBキャプチャを見ると… User_ID ：⾃分のもの Update_date：資材レビューの時間 →完全一致
14. 影響 なんで自分のUser_IDなの？ 理由は資材作成に用いるマクロ側の挙動 資材作成時、作成者がマクロにUser_IDを入⼒して実⾏ 生成された資材には「マクロ実行時のUser_ID」が残る仕組み 結果 当月分：当時の作成者のUser_ID 前月分：作成者が⾃分の為、⾃分のUser_ID （当月分でやっていた場合、とばっちりが当時の作成者に⾶んでいたと思うと…）
15. 影響 なんで自分のUser_IDなの？ 理由は資材作成に用いるマクロ側の挙動 結果的 資材作成時、作成者がマクロにUser_IDを入⼒して実⾏ に ほ ス ぼ全 生成された資材には「マクロ実行時のUser_ID」が残る仕組み ケジ ての店 ュール 舗で が操作 できな 結果 い 事態に 当月分：当時の作成者のUser_ID 前月分：作成者が⾃分の為、⾃分のUser_ID （当月分でやっていた場合、とばっちりが当時の作成者に⾶んでいたと思うと…）
16. リカバリ対応 リカバリの為検証、エビデンス取得、本番適用に取り掛かる （この時すでに17時ごろ） 移管元のチームの元担当者からのフォローを得て 当日21時半ごろ復旧 作業内容はほぼ全店舗のスケジュールステータスを一気にDB上で 変更するという内容 （update文の実⾏）
17. 反省 .batファイルの扱いが軽率だった 黒い画面が見えた気がしたのに即座に報告しなかった 店舗問い合わせが複数あったにも関わらず気づけなかった、 TM内共有をしていなかった
18. 反省 .batファイルの扱いが軽率だった 操作時に違和感を覚えたのに即座に報告しなかった 自分の 信 用 な 回復の 店舗問い合わせが複数あったにも関わらず気づけなかった、 んかや た っ めにも たらす 報告しなかった ぐ報告 しまし ょう
19. 反省 ∼運⽤⾯で感じたこと∼ エビデンスを取る文化が存在していなかった .batに対し右クリックが発生することにより 操作次第でバッチを叩いてしまう可能性が誰でもある 粒度の細かい手順書を作成したにも関わらず、 確認する資材の配置場所が定まっていなかった （個人の判断に委ねるような感じになっていた） 移管後に手順書を作成しなおした際、 起こりうるリスクの洗い出しができていなかった
20. 反省 ∼運⽤⾯で感じたこと∼ エビデンスを取る文化が存在していなかった .batに対し右クリックが発生することにより 誰かが 操作次第でバッチを叩いてしまう可能性が誰でもある やら かして から対 仕組み 策 粒度の細かい手順書を作成したにも関わらず、 の検討 として は もよく 確認する資材の配置場所が定まっていなかった ない （個人の判断に委ねるような感じになっていた） 移管後に手順書を作成しなおした際、 起こりうるリスクの洗い出しができていなかった
21. 検討した再発防止策 .batファイルに対話式のスクリプトを入れる →ここで「No」と回答する事で誤実行を防⽌ 資材出力時に.batと.jsonだけでなく、.batファイルと中身 が同じ.txtファイルを出力する →そもそも.batを右クリックしなくて良いようにする
22. 検討した再発防止策 .batファイルに対話式のスクリプトを入れる →ここで「No」と回答する事で誤実行を防⽌ 資材出力時に.batと.jsonだけでなく、.batファイルと中身 が同じ.txtファイルを出力する →そもそも.batを右クリックしなくて良いようにする 💦 再発防止策を確定する前に所属元の退職が決まり、 正式な再発防止策は不明
23. まとめ 自⾝のローカル環境であっても本番環境に影響を与えた 違和感は止まるべきサイン、そして速やかに報告を 思い込み、ダメ、ゼッタイ。 新しい作業をする際はリスクの洗い出しを エビデンスは自分を救うので必ず取る （この経験のおかげでエビデンス取る癖がついた） 誰かがやらかしてから検討は仕組みとしても良くないので、 一刻も早く改善を
24. 宣伝 本LTの内容はQiitaの記事にも載せているので よかったら読んでいってあげてください！
25. 宣伝 JAWS SONIC2026 彩の国埼⽟⽀部で登壇します！ 9/5(土) 15:50∼16:10 JAWS Sonic Radio 5kiro.fm ー 彩の国からON AIR！
26. ご清聴 ありがとうございました！ また新たな犠牲者が出ていないことを祈りますm(_ _)m