使いこなすために知っておきたい Azure SRE Agent アンチパターン

Transcript

1. 使いこなすために知っておきたい Azure SRE Agent アンチパターン 日本マイクロソフト株式会社 シニアクラウドソリューションアーキテクト 真壁 徹
2. はじめに
3. 背景  Azure SRE AgentはAIエージェントという新しい概念、技術を土台にした製品  新しい概念や技術は、浸透の過程で様々な課題や苦労を生む  開拓者の課題や苦労した事例（アンチパターン）を学び、使いこなそう
4. SRE（Site Reliability Engineering）とは “サイト信頼性エンジニアリングとは、組織がシステム、サービス、および製品に対し て適切なレベルの信頼性を持続的に達成できるようにすることを目的としたエン ジニアリング分野です” SRE の内容と重要な理由 - Training | Microsoft Learn • • SRE -> Site Reliability “Engineer” 表現されることもあるが、この資料では “Engineering” とする この資料で役割やチームは、”SREチーム” とする
5. SREチームの関与モデル事例（Embedded SRE） Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム SREチーム SREチーム SREチーム SREチーム SREチーム 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する • SREチームがプロダクトチームに参加し、責任を共有するモデル • プロダクトの信頼性を合意した基準まで高め、維持する仕組みを作る • 参加期間は数か月から、1年を超えることもある Extend （広げる）
6. SREにおけるAzure SRE Agentの価値 “Azure SRE Agentは、稼働時間の向上、インシデントへの影響軽減、運用の 負担削減を支援するAI搭載のオペレーションチームメイトです。 トリアージの自動 化、根本原因分析の加速、Azure環境全体でのガバナンス済み緩和策の実行 などです。” Azure SRE エージェントのドキュメント | Microsoft Learn
7. Embedded SREモデルにおけるAzure SRE Agent Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム SREチーム SREチーム SREチーム SREチーム Extend （広げる） SREチーム Azure SRE Agent プロダクト知識 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り • Azure SRE Agentは、常駐自律型のLLMベースAIエージェント • プロダクトの運用フェーズで使われる • プロダクト固有の知識が問題解決に寄与する 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する
8. Azure SRE Agent 概念図 What is SRE Agent? | Azure SRE Agent
9. アンチパターン
10. 英雄頼り  概要  Azure SRE Agentを英雄視し、単独で解決してくれると期待してしまう  しかしプロダクト自体を改善しないと、起こる問題は減らない  再試行や適切なタイムアウト設定、安全なシャットダウン/起動、計装、etc をやらない  問題の対応時間が短くなっても頻度は減らないので、幸せになった感が薄い  対応時間が短くなっても、月に3回夜中に起こされるのは変わらない  背景  インフラチームだけで信頼性を高めたいという想いが強く、単独でAzure SRE Agentを推進してしまう  プロダクトチームに信頼性を改善する動機がない/インフラチームの仕事だと思っている
11. AIの無駄遣い  概要  「とりあえずアラートは何でもAzure SRE Agentに分析、フィルタさせよう」  Azure SRE Agentは基本料金 + 使ったトークン分の従量課金  Azure SRE Agentがどれだけトークン使うかは非決定論的  「見れば分かる/対応できる」アラートにしておけば、設定あたり$0.1/月で済むのに  上の価格はAzure Monitor メトリックアラートの固定しきい値設定（10設定まで無料）  背景  期待する信頼性、基準が定義できておらず、アラート設定に落とし込めていない  アラートの重要度づけが出来ていない  「とりあえずアラート」文化
12. 認知的降伏  概要  Azure SRE Agentの対応や成果物を鵜呑みにし、理解しようとしない  利害関係者のいるプロダクトには説明責任がある  理解していないことは説明できない  背景  認知（cognition）: 知識獲得の過程とそれによって得られた知識  認知的降伏: AIの答えを十分に吟味せず、自分で考えたり判断したりする部分までAIに委ね、その回答をそ のまま採用してしまう状態  Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender by Steven D Shaw, Gideon Nave :: SSRN
13. 誰も読まないレポート  概要  Azure SRE Agentがいい感じにレポートを作ってくれるので、うっかり勢いで作ってしまう  結果、誰も読んでいない  背景  そのレポートで評価される、または判断、対応する必要がある人がいないなら、読まれない  信頼性と関係ないレポートを作っている  いい感じに作れてしまうかもしれないが、適しているかは考えたほうがよい
14. 飼い殺し  概要  Azure SRE Agentに十分な情報を与えず、超能力による解決を期待する  典型的なケース  Azure SRE Agentにソースコードリポジトリへのアクセス権を与えない  アプリケーションがログなどのテレメトリを出力していない  Azure SRE Agent 「原因は分かりませんでした」  背景  インフラチームだけで信頼性を高めたいという想いが強く、単独でAzure SRE Agentを推進してしまう  プロダクトチームに信頼性を改善する動機がない/インフラチームの仕事だと思っている
15. どうしてこうなるか
16. ここだけで解決しようとするから Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） Extend （広げる） Azure SRE Agent 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する
17. 救急救命に例えると  凄腕の救急救命医 Azure SRE Agent  救急搬送の多さが問題になっている都市の病院に派遣される  ところが頑張っても救急搬送の数は減らない  見通しの悪い交差点、治安の悪さ、etc  患者の既往歴や服薬状況もわからない  言葉が通じない  レントゲンやエコー診断も拒否される  専門医の協力も得られない 事故や事件はゼロにはできないので、救急救命医は必要 ただし活躍、貢献できるかは大きく環境に依存する
18. どうすればいいか
19. これをやる Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム SREチーム SREチーム SREチーム SREチーム Extend （広げる） SREチーム Azure SRE Agent プロダクト知識 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り • SREチーム -> インフラチーム と読み替えても可 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する
20. もしくは これをやる Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム Extend （広げる） Azure SRE Agent プロダクト知識 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り • SREチームが不要、と言っているわけではありません • プロダクトチームだけでもできることがある、という話です 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する
21. プロダクトチームがAzure SRE Agentを活用している事例 Azure Functionsプロダクトチーム 牛尾さんの記事 コーディングエージェントからクラウド自動化へ：Azure Functions におけるAIを活用した顧客インシデント対応 #AzureFunctions - Qiita
22. 理解と改善でもAIを活かす Define （定義する） Learn （理解する） Improve （改善する） Own （主体的に運用する） プロダクトチーム プロダクトチーム プロダクトチーム プロダクトチーム SREチーム SREチーム SREチーム SREチーム Coding Agent Coding Agent Azure SRE Agent Extend （広げる） SREチーム プロダクト知識 成功基準とスコープを 決める プロダクトの置かれた 環境や構造を学ぶ 信頼性を高める改善 や仕組み作り 共に運用する 学びをSREチームに持 ち帰り、他プロジェク トに展開する • 担当者がいなくなった、そんな昔のことは忘れた、ドキュメントがない、などの理由であきらめない • GitHub Copilotなどのコーディングエージェントを活用し、プロダクトをさらに理解し、改善する • 再試行や計装などの実装だけでなく、適切なアラート設定検討なども支援してくれる
23. まとめ
24. まとめ  新しい概念や技術は、浸透の過程で様々な課題や苦労を生む  課題や苦労から得られることもあるが、仕事なら勝率を上げたい  アンチパターンを知ることで、少しでも幸せ勝率がアップすることを願っています