Codex を使った障害対応机上演習の実際

AI時代の「障害対応訓練」 ～インシデントに強いチームをつくる～
https://levtechlab.connpass.com/event/406941/

関連記事
https://note.coincheck.com/n/n2eebbdb61ccf

Transcript

1. Codex を使った障害対応机上演習の実際 2026-10-22 Kuniwak (PMO/QMO/SET) 1
2. Kuniwak 2025/09 にコインチェック株式会社に入社。 最初は SET だったはずがなぜか Project Management O cer に。 https://github.com/Kuniwak https://x.com/orga̲chem ffi 2
3. 伝えたいこと 1 ゲームマスターの不足により机上演習を実施できなかった 2 机上演習のゲームマスターを AI に任せた 3 机上演習を AI に任せたら安価で何度でも実施できた 3
4. まずは 最初の一歩 4
5. 最初の一歩 新サービスのリリースにあたって障害対応手順書を書いたはいいが 手順書の品質を評価できていなかった。弊社サービスは金融水準の 品質を求められているので品質の未評価を看過できなかった。 そこで手順書の品質評価を机上演習形式でおこなうことを PMO へ 提案した。机上演習によって検索容易性や可読性を含めて総合的に 評価することを狙った。 5
6. 最初の壁 ただし効果的な机上演習にはゲームマスターをできる人が必要。 ゲームマスターとは、障害の状況を設定しつつ演習中は質問に 応じて段階的に情報を開示する役割。 弊社の稼働の余裕のあるメンバーでこれをできる人がいなかった。 6
7. 壁の乗り越え方 AI にゲームマスターをやらせる方法を思いつき、少ない工数でできると予想した。 VPoE のいる場で「1-2w でできると思うのでやっていいですか」と相談した。 金融水準のサービス品質を確保するために必要な投資とすぐに認めてもらえた。 必要なデータ（FTA/FMEA の成果物。後述）が揃っていたこともあり、 見通し通りの工数（11営業日）で Codex をゲームマスターとする 机上演習システムの運用を開始できた。 このシステムは github.com/Kuniwak/ttx で体験可能。これは弊社が実際に 使っているシステムからデータをサンプルで置き換えただけのもの。自社データを 入れればそのまま活用可能。 7
8. 実現したもの 8
9. https://youtu.be /vFTzJiRL340
10. 動画は Terminal で実施しているが、実際には Slack で実施できるようにしている。 会話を見つける… # tabletop-exercise 障害対応机上演習用のチャン… 23 … Example, Inc. メッセージ 未読メッセージ 今日 スレッド 山田 太郎 12:30 # チャンネル # general # random # tabletop-exercise # foo @ttx-bot ttx-bot アプリ 12:30 障害対応机上演習を開始します。このスレッドで @ttx-bot に質問や対応 行動を伝えてください。中断する場合は @ttx-bot /abort、お手上げは @ttxbot /giveup です。 # baz この演習では、本番の障害対応で使ってよいものは何でも使ってかまいません （社内ドキュメント、Runbook、検索、この演習システム以外のAIツールな ど）。実際の障害対応と同じ環境・道具で臨んでください。 # qux 🛠 準備中です…（最初の状況提示まで1〜2分ほど。それまで操作は不要で # bar 10
11. 実際の運用 シナリオは 30 ケースを用意。のべ 22 人が机上演習を実施。これまでに 集まっての実施が 5 回、個人での実施が 100 回、計105 回実施された。 人間のゲームマスターで 100 回実施するのは難しいので AI を使わないと 達成できなかったことだと後でわかった。 11
12. 事前に必要な準備 今回は FTA と FMEA を入力とした。別用途で使うつもりで最初からあった。 • 故障の木解析（FTA; Fault Tree Analysis） 起きてほしくない事象をまとめ、それぞれの事象がどういう原因で 起こるか木構造で分析する手法 • 故障モード影響解析（FMEA; Failure Mode and E ects Analysis） 設計などを入力にどういう故障が起きてその結果システムがどう 振る舞うかを分析する手法 ff 12
13. 周りの反応 13
14. 運用中にいただいた声 「臨場感がある」 「運用してから数ヶ月分のノウハウを運用前に得られそう。画期的」 「胃が痛くなる」 「インストールが難しい」← Slack 越しにできるようにして解決 「何をしたらいいかわからない」← 最初はモブ障害対応回で一緒に操作 14
15. コストと工数 15
16. かかったコスト • 机上演習システムの開発コスト：11営業日 • 机上演習システムの運用コスト： • 固定費用：Slack の裏で Codex を動かす GCE ¥8,000/月 • 変動費用：OpenAI API の代金 ¥100-200/回 x 105回 • （参考）別用途であらかじめあった成果物のコスト • FTA の実施コスト：インシデント事例をもとに AI を駆使して 5営業日 • FMEA の実施コスト：設計書を入力に AI を駆使して 1営業日 16
17. 割り切り 17
18. 割り切り 机上演習なので実際に故障させる方法と比べると正確さは高くない。ただし 準備と実施の両方が安価なので網羅的に実施しやすい。 FTA や FMEA から漏れた障害のシナリオは机上演習からも漏れる。 そのため FTA と FMEA の精度が重要。今回の事例では社内外の多人数の ドメインエキスパートでのレビューによって FTA/FMEA の品質を 担保している。また FTA でトップダウンに、FMEA でボトムアップに、 これを繰り返すことで想定する障害の漏れを減らしている。 18
19. 想定外だったこと 19
20. 想定外だったこと ① Coding Agent は人間に親切にするよう教育されているので、すぐヒントを 出しがち。これだと訓練にならない。 例：Codex「X が失敗しています。Y と Z のログを確認しますか？」 この問題はネタバレ検知エージェントとプロンプトで押さえ込んだ。 20
21. 想定外だったこと ② なるべく不親切にしたら頑なに現実とは異なることを言って認めないときが 出てきた。 人間「X のログを確認します」 Codex「そんなログはありません」 人間「え、そんなはずはないです。あると思います」 Codex「いいえ、そんなログはありません」 21
22. 想定外だったこと ② そういうときのために /claim コマンドで AI の認識を上書きする機能を用意。 人間「X のログを確認します」 Codex「そんなログはありません」 人間「/claim X 実際には X というログは存在します」 Codex「わかりました。X というログがあることを認めます。X に … と書か れています」 22
23. 想定外だったこと ③ 最初は開発に使っていた Claude Code での実施を考えていた。しかし モデルを Sonnet に、e ort を最低にしても応答が遅くテンポが悪かった。 Codex の E ort の Low は応答が速くテンポよくできることを発見した。 ff ff 23
24. 想定外だったこと ④ 手順書がダメそうに見えても、手順書を書いた本人なら机上演習を 難なくこなせてしまっていた。つまり書いた本人が演習しても 手順書の品質評価の役には立たなかった。 ただし時間が経って、担当者が変わってから再度やると結論が 変わる可能性がある。 24
25. 諦めたこと 25
26. 諦めたこと ① 開発が佳境だったこともあり、忙しい人が多く全員参加は諦めた。 関係する部署ごとそれぞれで最低1人は個人で実施してもらう ぐらいの規模に抑えた。そのため個人演習が多くなった。 26
27. 諦めたこと ② 前述の通り、机上演習は書いた本人がやると手順書の評価の 役には立たなかった。書いた本人以外の担当者にやってもらう ことも検討したが、余裕がなく見送った。つまり本手法は 当初の目的である手順書の品質評価の役には立てられていない。 結局、手順書の品質は別の方法で評価した（方法は割愛）。 27
28. まとめ 1 ゲームマスターの不足により机上演習を実施できなかった 2 机上演習のゲームマスターを AI に任せた 3 机上演習を AI に任せたら安価で何度でも実施できた ※ github.com/Kuniwak/ttx で体験可能 & データ入れ替えれば実運用できる 28