Share
Embed
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
Gaku07jp
November 19, 2026
Transcript
26 slides
-
New Relic のアラート対応を Claude Code で自動修正する ワークフローを作った話 アラート対応どうしてますか? 〜設計・自動化・マインドなどの知見共有会〜 2026-11-19
株式会社MIXI みてね事業本部 関 学 ©MIXI 1 -
自己紹介 関 学(せき まなぶ) 株式会社MIXI みてね事業本部 バックエンドエンジニア 好きな言語は Ruby 主に参加しているコミュニティ
#Omotesando.rb / #Roppongi.rb #Tokyu.rb / #RailsTokyo など ©MIXI 2 -
家族アルバム みてね(2/2) 2015年のリリースから、7言語・175の国と地域で3,000万人以上の方にご利用いただいています。 世界累計利用者数の推移 100万 2017年2月 300万 2018年7月 500万 2019年6月
800万 2020年8月 1,500万 1,000万 2021年3月 2,000万 2,500万 3,000万人 2022年8月 2023年11月 2025年1月 2026年5月 ※ iOS・Android アプリ登録者数とブラウザ版登録者数の合計。海外ユーザーが4割超 出典: MIXI プレスリリース「「家族アルバム みてね」世界累計利用者数が3,000万人突破!」(2026-05-07) ©MIXI 4 -
アラート対応で困っていたこと 通知が放置されがち Slack に New Relic のエラー通知が流れ続け、誰も拾わないまま埋もれる ノイズが多い ユーザー影響のない例外が多く、本当に見るべきものが見つけにくい 調査に手間がかかる
1件ずつ発生箇所を特定して直すのが重く、後回しになる そもそも AI にどこまで任せられるのか、試してみたかった ©MIXI 6 -
全体像 エラー発生 Slack に通知 マージ 収集・issue 化 ノイズが減る 承認 →
draft PR /nr-promote /nr-collect 毎朝まわる 指摘あり 差分レビュー /nr-review ©MIXI AI(Claude Code)が実行 人が判断・承認 ローカルで直してから、 PR を出す 調査・修正 /nr-fix 調査・修正・レビューはローカルで完結 人間が承認したものだけ push して draft PR にする ここまでローカル 8 -
4つのコマンド コマンド /nr-collect /nr-fix /nr-review /nr-promote やること Slack の通知を読み、New Relic
API で詳細を取得して issue を作る issue を 1 件選んで原因調査とトリアージ。直せるものはローカルで修正・テスト・コミットまで 修正の差分を difit で開き、人間のレビューを手伝う 人間が承認した issue だけ GitHub に push し、draft PR を作る 調査の結果は fixable / wontfix / needs-decision の 3 種類に振り分ける(次のページ) ©MIXI 9 -
トリアージの判断基準 判定 fixable wontfix needs-decision 基準 サーバー側の小さな変更で、例外を出さずに 同じ(または妥当な)レスポンスを返せる アプリケーションに届いていない または、直す価値が低い
仕様・セキュリティ・トランザクション設計の判断が要る または、クライアント側の修正が本命 その後 AI が修正まで進める 直さない理由を issue に残す 選択肢と推奨をコメントし、 人間の判断を待つ 調査結果には、発生箇所をファイルと行番号で示した根拠を必ず付けさせる 裏が取れていないことは「推定」と明記させる 修正の途中でテストが通せない、方針が定まらないときは needs-decision に切り替える ©MIXI 10 -
例: 1 件が直るまで(1/2) 1 2 3 4 5 6 段階
通知 収集 調査 修正 レビュー PR 起きること Slack に ActiveRecord::RecordNotFound の通知が届く 同じエラーグループの issue が無いか確認して issue 化。発生回数・URL・HTTP ステータスを API で取得 「見つからないと例外 → 共通の例外処理で 404。ユーザーへの応答は正しく、通知だけが出ている」→ fixable worktree でテスト → 修正 → Lint → ローカルコミット。結果を issue に記録 人間が差分を見て、問題なければ approved ラベルを付ける 人間の承認を得たものだけ push して draft PR に ※ よくあるパターンを単純化した例 ©MIXI 11 -
例: 1 件が直るまで(2/2) 応答は 404 のまま変えず、例外だけを出さないようにする 修正前 見つからないと例外が発生し 共通の例外処理が を返す
# # 404 item = Item.find(params[:id]) 修正後 item = Item.find_by(id: params[:id]) return not_found if item.nil? テストは「404 を返すこと」に加えて「例外を投げないこと」を確認する 挙動が変わらない根拠は、コミットメッセージに書かせる ※ コードは説明用に単純化したもので、実際のコードではありません ©MIXI 12 -
① 人間の承認が唯一の関門 ラベルを付けられるのは人間だけ。AI 側には付けることを禁止している /nr-promote は、ラベルを付けたのが本人かを履歴で確認してから動く push して PR を作るのは、人間が承認した後。PR
も draft で作る レビュー指摘は issue にコメントすると、 /nr-fix が追加コミットで対応する approved AI が勝手に push しない ©MIXI 14 -
② 作業はすべてローカルで完結させる issue 管理もローカルで動かす チームの場を汚さない。承認前の issue が増えると、調査だけでもノイズになる 放置されれば、そのまま負債になる 試行錯誤がしやすい issue
に書くのはエラーのメタ情報と結果だけ。コードや差分は貼らない 修正は 1 件ごとに git worktree を作って、その中で行う push の前に、コミットメッセージに内部情報(issue 番号など)が混ざっていないか検査する 秘密情報はパスワードマネージャーから都度取得し、会話やログに出さない ©MIXI 15 -
③ 役割分担と TDD 役割 オーケストレーター 調査 実装 担当 メインの会話 サブエージェント
サブエージェント やること issue 選択、ラベル操作、差分の検証、最終判断 発生箇所と原因の特定、トリアージ案(コードは変更しない) 指定された worktree の中だけで修正 実装は必ず 失敗するテストを書く → 最小の修正 → テストが通る → Lint の順で進める サブエージェントは会話の文脈を持たないので、前提知識は毎回プロンプトに埋め込む ©MIXI 16 -
④ 毎朝の自動実行 Claude Code の cron で毎朝自動実行 まず /nr-collect (直近の通知を
issue 化) 続けて /nr-fix (未トリアージの issue を 1 件処理) 人間は出社したら、レビュー待ちの差分を見て承認するだけ /nr-promote は当面、手動で実行している ©MIXI 17 -
結果 トリアージ fixable wontfix needs-decision 集約・未判定 合計 件数 57 36
3 5 101 fixable 57 件は、すべて修正を作成済み 順次レビュー・マージ中 wontfix 36 件は、直さない理由を issue に記録 ※ 2026-09-02〜2026-10-14 に検知したエラーグループが対象。2026-10-15 時点の社内集計 ©MIXI 20 -
どんなエラーが多かったか fixable に多かった例外 ActiveRecord::RecordNotUnique ActiveRecord::RecordNotFound wontfix に多かった例外 ActionController::BadRequest リクエストパラメータのバリデーションエラー NoMethodError
ActionController::UnknownFormat ArgumentError ユーザー影響はないが通知のノイズになっていた例外を、挙動を変えずに消す修正が多かった 不正なリクエストなど、アプリケーションに届いていないものは wontfix として根拠を残す ©MIXI 21 -
運用しながら足した集約ルール 再発しても issue を作り直さない エラーグループの ID で重複を判定する。閉じた issue も対象にする 同時刻に出たインフラ系のエラーは
1 件にまとめる 原因は明確なので、個別に対応しない ID だけが違う「類似エラー」は既存の issue に寄せる 同じ修正で一緒に直るので、個別の issue を作らない アプリケーションに届かない不正なリクエストは集約 issue に追記する 続くようなら、New Relic 側で「想定内のエラー」として扱う設定を提案させる issue が増えすぎると、今度は issue がノイズになる ©MIXI 22 -
つまずいたところ つまずき API ではスタックトレースが取れない テストが先に失敗してくれない worktree だけではテストが動かない 内部の情報が外に出そうになる AI が説明コメントを書きすぎる
©MIXI 対処 発生箇所は、トランザクション名と URL から特定させる 例外が 4xx 応答に変換されるため。変換を切って例外の有無を検証する Git 管理外の生成物が無い。準備の手順をコマンドに書き足した ブランチ名に issue 番号を使わず、エラーグループ ID の先頭 8 桁にした Why が必要な場合だけ書く。それ以外の不要なコメントは書かせない 23 -
ご清聴ありがとうございました New Relic は New Relic, Inc. の、Slack は Slack
Technologies, LLC の、GitHub は GitHub, Inc. の、 Claude および Claude Code は Anthropic, PBC の商標または登録商標です。 Android は Google LLC の商標です。IOS は Cisco の米国その他の国における商標または登録商標であり、ライセンスに基づき使用されています。 その他、記載の会社名・製品名は各社の商標または登録商標です。 ©MIXI 26