日々のSlackアラート確認運用をCustom Chat Modesで楽にした話 / 日々のSlackアラート確認運用をCustom Chat Modesで楽にした話

Transcript

1. 日々のSlackアラート確認運用を Custom Chat Modesで楽にした話 今本 光(Imamoto Hikaru) | 1 of 17
2. 自己紹介 今本 光 (Imamoto Hikaru) 株式会社ラクス 開発本部 開発推進部 SRE課 課長 趣味：野球観戦、夫婦でアイドル応援（日向坂46） | 2 of 17
3. 今回紹介する取り組み 🤖 Copilot Custom ChatModesによるアラート確認の自動化 監視対象のSlackチャンネルのアラート確認運用を、 作成したChatModeでコマンド実行するだけで完結できるように自動化しました。 | 3 of 17
4. 従来のアラート確認運用 運用の流れ 1. 毎朝7チャンネルを目視確認して見落としがない か確認 2. アラート内容の分析・判断 3. 必要に応じて対応実施 4. 対応状況の記録 解決したかった困りごと 🔍 1. 見落とし・対応漏れのリスク 📊 2. 横展開の必要性 👥 3. 対応の属人化 Slackチャンネルを目視確認しているが、 「どのアラートまで確認済みか」 の管理が不十分で非効率。見落としリスクもある SRE課以外でスプレッドシートでアラート情報を管理しているという事例 あり。何らかの仕組みで管理を楽にして横展開したい。 アラートメッセージを見て対応方法を決定する際、習熟度による対応速 度の差が発生し、アラート対応が属人化してしまう。 | 4 of 17
5. 解決策のアプローチ 🤖 ChatMode①:analyzer 📊 主な機能 Slackアラートメッセージの収集・分類・フィルタリング 未知のアラートのLLMによる分析 GitHub Issueの自動作成 🔧 ChatMode②:resolver ✅ 主な機能 GitHub Issue番号を指定して実行 チェック済みSlackメッセージに✅リアクション GitHub Issueのクローズ GitHub CopilotのCustom Chat Modesで自動化 | 5 of 17
6. Custom Chat Modes 📝 特徴 専用プロンプト: 特定タスクに特化した指示 簡単起動: Chatのプルダウンから選択可能 ツール・モデル制限: 指定したツール/モデルのみ 使用可能 一貫性: 毎回同じ品質で実行 💡 ポイント: コマンド一つで複雑な運用タスクが完結 | 6 of 17
7. 実現したワークフロー ✅ resolver 実行 Slack に✅リアクション Issue 自動クローズ 👤 運用作業 GitHub を起点に運用実施 Runbook 作成Issue 起票 🔍 analyzer 実行 Slack アラート収集 分類・フィルタリング LLM で未知のアラート分析 GitHub Issue 作成 自動化されたアラート対応の流れ | 7 of 17
8. 📋 analyzerが作成したGitHub Issue (1/2) 発生したアラートの分類や原因を自動的に集約し、Issueとして記録 アラート情報のサマリーを自動的にIssueに記録 | 8 of 17
9. 📋 analyzerが作成したGitHub Issue (2/2) Slackメッセージ全文、アラート原因、対応手順リンクが一箇所に集約 グルーピングされたアラート情報やRunbookリンクをIssueコメントに追加 | 9 of 17
10. ✅ resolver実行後のSlackメッセージ 対応完了したアラートメッセージに✅リアクションが自動追加され、視覚的に対応状況を確認可能 自動的にリアクションが追加されて、analyzerに拾われなくなる | 10 of 17
11. 📋 開発工程 1. 要件定義 (Copilot Agent): 現在の運用と理想状態を具体化 2. プロトタイプ作成 (30分): Go CLIツールの基本機能実装 3. Chat Modes作成: analyzer/resolverのプロンプト作成 4. 機能拡張: 実際の運用で発見した課題に対応 | 11 of 17
12. 工夫した点① プログラムとLLMの適切な分担 ❌ 当初のアプローチ Slack MCPとGitHub MCPでプロンプトのみ 毎回結果が変わってしまう 複雑な処理が困難 ✅ 改善後のアプローチ プログラム: 確実性が求められる処理 LLM: 推論・分析が必要な処理 全てLLMに任せる 役割分担を明確化 | 12 of 17
13. 工夫した点① プログラムとLLMの適切な分担 🎯 分担の詳細 処理内容 担当 理由 Slack API呼び出し プログラム 確実性・再現性が必要 メッセージの構造化 プログラム データ形式の統一が必要 未知エラーの分析 LLM 推論・判断が必要 GitHub Issue作成 プログラム API仕様に従った確実な実行 | 13 of 17
14. 工夫した点② 制約の明確化 ⚠️ 発生していた問題 意図していない動作が勝手に行われる 処理エラー時に勝手にコードを修正して再実行 アラート0件時に勝手に異常判定 予期しない動作による運用への影響リスクあり | 14 of 17
15. 工夫した点② 制約の明確化 🛡️ 解決策: 必須遵守事項の明記 🔥 反省点: 指示の出し方ではなく、使用するTool自体の制御も本来頑張るべきだった ** 【最重要指示】すべての応答は必ず日本語で行い、以下のシステム動作制約を絶対に遵守してください:** ### 必須遵守事項 1. ** 即座実行**: ユーザーからの指示があった瞬間に、確認なしで全コマンドを自動実行する 2. ** エラー即停止**: エラー発生時は理由を日本語で報告後、即座に全作業を終了する 3. ** 編集完全禁止**: リポジトリ内のあらゆるファイルの修正・作成・削除を一切行わない 4. ** 空結果継続**: Slack メッセージが0 件でも正常として処理を継続する ** これらの制約に違反した場合、システムは自動的に停止します。** ... ** 【最終確認】常にシステム動作制約を最優先とし、SRE チームの効率的なアラート対応をサポートしつつ、制約違反は絶対に行わない。** | 15 of 17
16. まとめ Copilot Custom Chat Modesでアラート確認運用を自動化 専用プロンプトで一貫性のある実行を実現 チーム内で簡単に共有・利用可能 プログラムとLLMの適切な分担で信頼性向上 | 16 of 17
17. ご清聴ありがとうございました | 17 of 17