No More Log Digging 〜AIを一次調査係にする アラートレビュー改善〜

2026年7月23日に開催された Tamachi.sre#5 の発表資料です。

Tamachi.sre#5
https://tamachi-sre.connpass.com/event/394914/

Transcript

1. No More Log Digging 〜AIを一次調査係にする アラートレビュー改善〜 LINEヤフー株式会社 検索広告開発ユニット 長崎 俊紀 © LY Corporation Tamachi.sre #5 2026/07/23
2. 2017: 大手SI企業で工場向け 画像処理アプリの開発 2019: Eコマースやレストラン検索 サービスの開発エンジニアに従事 Toshiki Nagasaki 長崎 俊紀 検索広告開発ユニット © LY Corporation 2025: LINEヤフー株式会社 検索広告開発ユニットにバック エンドエンジニアとして中途入社
3. 検索連動型ショッピング広告とは 検索クエリに連動して、検索結果上に商品広告を表示する仕組み 1. 検索クエリ 「冷蔵庫」 3. 商品広告枠 2. 検索結果ページ (通常枠) 商品A 商品B 商品C ¥89,800 ¥74,500 ¥120,000 広告 広告 広告 開発に加えて、レイテンシー/サービス稼働率/データ更新鮮度などの SLO運用も同チームで行っている © LY Corporation
4. 本日は AIを活用してアラート運用のトイル を削減したというお話をします © LY Corporation
5. 以前のアラート対応の状況 チームイベント 課題感 日次のアラートレビュー会 運用上の課題 • 前夜〜当日の朝までのアラートを チェックする • 日次のミーティングが60分を 超える状態 • 発生事象についてチームメンバー 全員で共有する • チームメンバーのアラート確認負 担も徐々に増えていった • 必要に応じてチケットを起票し 担当者をアサイン © LY Corporation
6. 以前のアラート対応の状況 チームイベント 課題感 日次のアラートレビュー会 運用上の課題 • 前夜〜当日の朝までのアラートを チェックする • 日次のミーティングが60分を 超える状態 • 発生事象についてチームメンバー 全員で共有する • チームメンバーのアラート確認負 担も徐々に増えていった • 必要に応じてチケットを起票し 担当者をアサイン © LY Corporation
7. 以前のアラート対応の状況 チームイベント 課題感 日次のアラートレビュー会 運用上の課題 • 前夜〜当日の朝までのアラートを チェックする • 日次のミーティングが60分を 超える状態 • 発生事象についてチームメンバー 全員で共有する • チームメンバーのアラート確認負 担も徐々に増えていった • 必要に応じてチケットを起票し 担当者をアサイン © LY Corporation
8. ログDB API & AIによる大幅運用改善 1. 意思決定がSlack内で完結する ◦ 対応要否判断に必要な情報がSlack上に集約されている 2. 過去履歴にもすぐにアクセスできる ◦ AIが過去の対応状況を自動返信してくれる 3. オンボーディングも楽に ◦ AIがログ内容を噛み砕いて解説してくれる 日次のアラート定例の時間 最大60分超 → 10分程度 © LY Corporation
9. アジェンダ 1 丁寧なアラート対応が運用を大変にしていた 2 アラート対応をトイルと捉える 3 自動化とAIで運用現場の何が変わったか 4 実際に使ってみて見えてきたこと 5 得られた学びと今後に向けて © LY Corporation
10. アラート対応をトイルと捉える © LY Corporation
11. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 © LY Corporation 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン
12. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 © LY Corporation 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン
13. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 © LY Corporation 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン
14. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 © LY Corporation 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン
15. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン 複数のツールを行き来して人力で対応要否材料を収集するのは 認知コストが高い © LY Corporation
16. 1. なぜログ検索が大変なのか • Slack通知でわかるのはアラートが発火したことだけ • 人が手を動かして初めて意思決定に必要な情報が集まる • 時間ベースのフィルタ条件は用意しているが、確認が遅れると 該当ログの検索が難しくなる 開発作業もしながら、すべてのアラート発火に迅速に 対応するのは容易ではない © LY Corporation
17. 2. なぜ意思決定のための分析が大変なのか 長大なシステムログを読み解くのは大変 意思決定のために必要な要素 タイムアウトが 出ているけど、 これって静観可能 なもの？ • プログラミング知識 • ログ分析の経験 • 現場固有の運用知見 新人メンバーにはハードルが高い © LY Corporation
18. 自動化前のアラート対応の流れ Slack通知 をトリガー に調査開始 手動でログ DBを開く ログ検索と 内容分析 分析結果と 意思決定内 容をSlack に投稿 チケットを 切って担当 者をアサイ ン 「手動」、「反復」、「突発業務」、「サービス成長に伴って増加」 これって”トイル”と呼べるのでは？ © LY Corporation
19. ① ログをSlackに持ってこよう ② AIにログを翻訳させよう © LY Corporation
20. AI支援が入ったログ分析 AI Proxy経由 GPTなど アラート通知 トリガー 社内のFaaS Log DB API 生ログ 私たちが読みやすい形式にログが分析/要約された状態で通知される © LY Corporation
21. AI支援が入ったログ分析 AI Proxy経由 GPTなど アラート通知 トリガー 社内のFaaS Log DB API 生ログ 私たちが読みやすい形式にログが分析/要約された状態で通知される © LY Corporation
22. AI支援が入ったログ分析 AI Proxy経由 GPTなど アラート通知 トリガー 社内のFaaS Log DB API 生ログ 私たちが読みやすい形式にログが分析/要約された状態で通知される © LY Corporation
23. 解決策1: Slackにログを持ってくる • ログはSlackに自動投稿される • 人力で時間ベースフィルターで ログ検索する必要はない • 各種ツールの行き来も不要に ログ調査の必要はなくなって、私たちは意思決定に集中できる まるでアラート対応専任のメンバーが加わったような状態 © LY Corporation
24. 解決策2: AIによるのログの翻訳と分析 AIが長大なログを意思決定可能なレベルに 分解してくれる • 緊急度とログ概要 • 影響範囲と関連文脈 • 推奨アクション © LY Corporation
25. 自動化・AIに任せたこと／人間に残したこと 任せたこと •ログ収集 •ログ翻訳・要約 •既知事象との照合 •推奨アクション案の提示 状態変化を伴わない 任せなかったこと •対応要否の最終判断 •システム操作 •担当者の決定 © LY Corporation 状態変化を伴う
26. 導入した効果 アラート定例の時間が1/6に短縮 単に早くなっただけでなく – 自信を 持って人が判断できるようになった © LY Corporation
27. 実際に導入してみてどうなったか © LY Corporation
28. 人もAIもオンボーディングが必要だった • Errorでも、すべての環境で緊急 対応が必要とは限らない • 自動リトライでリカバリー可能 なアラートは静観可 • 既知の対応中のアラートは静観 運用している ログ内容だけでは判断には不十分 現場の運用知見が合わさって初めて 意思決定可能な情報量になる © LY Corporation
29. 運用知見プラスで人間の判断に近いAIアラート整理へ ❏ 環境情報や過去事例を プロンプトに追加 ❏ チームのルールや運用知見も 私たちに近い基準で、AIも 対応優先度の目安を出せる “運用で頑張る”を AIに一部任せられる状態に © LY Corporation
30. ルールベースも組み合わせて運用のしやすさアップ ❏ よく使うスタンプを事前 に自動投稿し人は選んで 押すだけ ❏ 重要キーワードもスタン プ化して一目で内容わか るように AI + ルールベース = 迅速な意思決定 © LY Corporation
31. 実際にAIエスカレーションで気づけた事例 スレッド # alert-log-digger AI Log Digger APP 12:05 AM 異常検知アラート (QA環境) 一見すると既知のエラーに 見えるがAIが拾った違和感 一見すると単純な処理失敗アラートに見えますが、優先的に対応が必 要なアラートの可能性が高いです。 • 未知の事象：合致する過去事例がありませんでした。 • 超高頻度発生：短時間に集中して発生しています。 • ロジック影響可能性あり：発生箇所的にビジネスロジックに 関する内容であり、自然解消しない可能性あります。 自チーム 12:15 AM 確かに見慣れないエラーなので調査しましょう。 ローカルでも再現性ありそうです。 意図しないエラーの可能性あるので@関連コンポーネントチームに 問い合わせます。 関連コンポーネントチーム 12:45 AM 調査ありがとうございます！ こちらでも再現確認できました。 意図通りではないので、急ぎ修正します！ 実際に自分たちでも急ぎ対応 が必要なアラートと判断 問い合わせたところ、 意図しない挙動だった 本番リリース前に不具合にいち早く気づいて修正できた © LY Corporation
32. 運用に入れてから直したこと •出力フォーマットの固定 •トークンの節約 •長文出力の抑制 •環境情報＋過去事例注入による過大評価抑制 •メンテスケジュールや対応予定チケットの添付 •事前スタンプ配置 © LY Corporation
33. 使ってみて得られた学び © LY Corporation
34. 教訓1: 小さく始めよう 最初から完璧な自動化を目指さなくて良い •対象アラートを1つに絞る •キーワード抽出だけやってみる •手動で集められる分だけコンテキストに入れる 使われ始めると、改善したい箇所が 自然と見えてくる © LY Corporation
35. 教訓2: ボトルネック改善を主眼に置く すべてをAIで解決することにこだわらない チームの課題に一番効く最短手段を選ぶ (ツールの行き来、ログ調査、文脈キャッチアップなど) 派手さより使いやすさが現場を助ける © LY Corporation
36. 教訓3: 運用には現場の知見が欠かせない AIシステムは一度作って終わりではない 現場の知見を反映し続けることで、AIの整理 結果が実運用の判断基準に近づいていく 信頼できるツールだからこそ使ってもらえる © LY Corporation
37. まとめ アラート対応の最初の敵 ×AIの精度 ◦人間が判断する前に疲れてしまう アラート対応をトイルと考えて、 AIを情報収集の強力なパートナーとして使う まずは、”ログを探す”を止めるところから 最後に”判断を支える文脈”を育てる © LY Corporation
38. Appendix © LY Corporation
39. Trademarks & Disclaimers ▪ Trademarks Splunk and Splunk> are trademarks or registered trademarks of Splunk LLC in the United States and other countries. Slack is a trademark and service mark of Slack Technologies, Inc., registered in the U.S. and in other countries. All other company names, product names, and service names are trademarks or registered trademarks of their respective owners. ▪ Disclaimer • This presentation is provided for informational purposes only and does not constitute sponsorship, endorsement, or recommendation by Splunk LLC, Slack Technologies, Inc., or their affiliates. • The information contained herein is as of the date of creation and is subject to change without notice. • We assume no responsibility or liability for any damages arising from the use of this presentation. © LY Corporation