イオンスマートテクノロジーの「SRE×AI」実践録 -インシデントからIaC、可観測性まで-/Aeon Smart Technology’s SRE × AI in Practice

Embed

Start on current slide

Slide 1

Slide 1 text

イオンスマートテクノロジーの「SRE×AI」実践録 -インシデントからIaC、可観測性まで- イオンスマートテクノロジー株式会社 Developer Enablement Div. SREユニット林如弥 2026年06月09日 EnterpriseZine Day 2026 Summer

Slide 2

Slide 2 text

自己紹介もりはや aka 林如弥（X:@morihaya55）イオンスマートテクノロジー株式会社(AST) Developer Enablement Div. SREユニット所属（2024/3入社）趣味：Podcast鑑賞・映画鑑賞・読書・ジョギング・F1観戦おすすめのPodcast 「COTENラジオ」おすすめの書籍「数理思考モデルで紐解く RULE DESIGN」おすすめの映画「RRR」 2

Slide 3

Slide 3 text

3 iAEONアプリについて膨大なIDと購買データを集約したアプリ「iAEON」 iAEONはイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。

Slide 4

Slide 4 text

4 iAEONアプリについて膨大なIDと購買データを集約したアプリ「iAEON」 iAEONはイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。イオングループ内の多数の事業会社がもつ顧客IDを一つのアプリに統合しています。

Slide 5

Slide 5 text

紹介（宣伝）終了

Slide 6

Slide 6 text

本日のテーマとアジェンダ

Slide 7

Slide 7 text

「SRE」の領域は広いですが、本日は以下の３つ！ • IaCによるクラウドリソース管理 × AI • 可観測性・パフォーマンス分析 × AI • インシデント対応 × AI o ＋それらを支える「AI利用スキル」 7 本日のテーマ「SRE x AI」と、3本柱

Slide 8

Slide 8 text

• なぜ「SRE x AI」なのか • IaC × AI：HCP Terraformと検証環境全削除からの復旧 • 可観測性 × AI：New Relicと「AI窓口」 • インシデント対応 × AI：各社SRE Agentを備えている • 実践ノウハウ：SREのためのAI利用スキル • これからの展望、まとめ 8 アジェンダ

Slide 9

Slide 9 text

なぜ「SRE x AI」なのか

Slide 10

Slide 10 text

なぜ「SRE x AI」なのか - 「SRE業務をAIで全部置き換える」のは現状困難 - ただし、調査・要約・比較・初動支援はAIが得意 - 人が判断し、AIが速度と探索範囲を広げる 10 難易度の高いSRE業務を、AIを使って加速する

Slide 11

Slide 11 text

なぜ「SRE x AI」なのか当社はAI以前から、SRE業務をSaaSを活用しながら進化させてきた。 - オンコール対応：PagerDuty - IaCによるリソース管理：HCP Terraform - 可観測性の実装：New Relic 11 AI以前から行ってきたSRE業務例

Slide 12

Slide 12 text

なぜ「SRE x AI」なのか - 膨大なログ・メトリクスから、必要な情報を引き出すのは重い作業（grep, awk, nQL, Script, etc..) - 複雑化するIaCコードを、正しく読み解き扱うのも難しい（module, drift, workspace, state) その難しさに、AIが実践レベルで効き始めている。 12 SREの難しさに、AIをどう効かせるか

Slide 13

Slide 13 text

IaC × AI： HCP Terraform と検証環境全削除からの復旧

Slide 14

Slide 14 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 14 通常運用でのIaC x AI活用（イメージ）

Slide 15

Slide 15 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - 主要Azure環境の9割以上をTerraformでIaC管理している - SaaS（New Relic, PagerDuty）の一部機能もIaC管理対象としている - 日々発生する更新や、差分(terraform drift)への対応にはAIによるコード生成・レビューは最早必須 15 通常運用でのIaC x AI活用

Slide 16

Slide 16 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - 1,000弱のリソースが誤操作によって削除 - 幸いなことに、ストレージ、DB、VMのディスクなどは手動で復旧が可能だった（AzureとMicrosoftサポートへ感謝） - 手動復旧後に、IaC（Terraform）を実行すれば大体のリソースを復旧できるか？→いいえ 16 ある日、発生した検証環境の全削除

Slide 17

Slide 17 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - 手動復旧したリソース＝IaCで作成していないため、 IaC側への取り込みが必要 - 取り込みはTerraform importと呼ばれる中級者でも大変な作業 - それらを手動復旧した数百リソースへ行うのは膨大な量で従来なら1日以上掛かりかねない 17 手動で直したものはImportするか除外が必要

Slide 18

Slide 18 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - 復旧計画の相談（IaCへの取り込みをするか、部分的に新規のIaCコード群へ切り出して復旧するか） - 取り込みのためのimportコードの生成 - コード修正後に、IaCのドライランの結果も踏まえたコードのレビュー 18 AIによる迅速なIaCコードの修正

Slide 19

Slide 19 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - 一部のIaC未管理の領域に対して、一括実行のシェルスクリプトを作成 - 復旧後、IaCツールが持つ削除前のTerraform State （状態ファイル）と、MCPを利用して細かなパラメータまで削除前と一致するかの実環境の状態レビュー 19 コード修正以外にもAIの効果は大きかった

Slide 20

Slide 20 text

IaC × AI：HCP Terraformと検証環境全削除からの復旧 - IaC管理していたからこそ、復旧作業にAIを活用して加速できた - 「AIがあればIaCは要らない」ではなく「IaCがあるからAIを活用できた」と言える - 人間とIaCとAIの三位一体で復旧をやりきった手応えがある 20 復旧作業を通しての学び

Slide 21

Slide 21 text

可観測性 × AI： New Relicと「AI窓口」

Slide 22

Slide 22 text

可観測性 × AI：New Relicと「AI窓口」 • APM • メトリクス • ログ • トレース • アラート/SLO 22 New Relicはデータの宝庫

Slide 23

Slide 23 text

可観測性 × AI：New Relicと「AI窓口」 • 便利なツールとして存在していることを知る • ログインのためのアカウントを作る • 高機能だが情報量の多いUIを活用する • NRQLによる柔軟な問い合わせ方法を学ぶ 23 宝庫だが、使いこなすには、いくつかの”壁”がある

Slide 24

Slide 24 text

可観測性 × AI：New Relicと「AI窓口」 • 「だっしゅぼーどを眺める会」の定期実施 • New Relicさん支援で社内勉強会の開催 • 社内ドキュメントの整備・展開 • SSOによる簡単にログインできる環境 • 社用スマホでの利用を可能に 24 New Relic普及の取り組みは行ってきた

Slide 25

Slide 25 text

可観測性 × AI：New Relicと「AI窓口」 • 利用者は数百名に（Basicユーザを含む） • ビジネス部門、一部の経営層の方も利用しかし、大半の方は用意されたダッシュボードを参照するだけで、NRQLなどを利用し「自分が見たい情報」を能動的に取得できるのは極一部のみ 25 利用者は増え、普及に関して成果はでてきたが...

Slide 26

Slide 26 text

可観測性 × AI：New Relicと「AI窓口」 26 事前準備した情報以外への壁がある先月リリースしたAPI について、1時間ごとの平均のレスポンスタイムを知りたい SELECT average(properties.timeTaken) * 1000 AS 'avg_response_ms' FROM Log WHERE resourceId LIKE '%hogehoge%' AND properties.httpMethod = 'GET' AND properties.originalRequestUriWithArgs LIKE '/api/fuga/piyo%' SINCE 1 WEEK AGO TIMESERIES 1 hour LIMIT MAX

Slide 27

Slide 27 text

可観測性 × AI：New Relicと「AI窓口」 27 AI窓口として、Slack上にチャットボットを実装「重くない？」のような雑な自然言語の問い合わせをうまく処理してくれる

Slide 28

Slide 28 text

可観測性 × AI：New Relicと「AI窓口」 28 ボットの回答には実行NRQLを付与させる最終的に確認するのは人間であり、それができる情報を提示ハルシネーションの対策としても有効

Slide 29

Slide 29 text

可観測性 × AI：New Relicと「AI窓口」 • 単にNew Relicを利用するだけのツールではなく、システム構成や組織用語などのドメイン知識をプロンプトとしてセット • GitHub（ソースコード）、Jira/Confluence（チケット、ドキュメント）など他ツールのMCPも実装し手広い窓口としても機能している 29 AI窓口としての工夫

Slide 30

Slide 30 text

インシデント対応 × AI：各社SRE Agentを備えている

Slide 31

Slide 31 text

インシデント対応 × AI：各社SRE Agentを備えている 31 従来のインシデント検知の流れ

Slide 32

Slide 32 text

インシデント対応 × AI：各社SRE Agentを備えている 32 以前から期待している：Azure SRE Agentによる支援

Slide 33

Slide 33 text

インシデント対応 × AI：各社SRE Agentを備えている 33 各社それぞれがSRE Agentを提供中

Slide 34

Slide 34 text

インシデント対応 × AI：各社SRE Agentを備えている • 「SRE Agent」の役割を持つ機能を各社が提供している時代になった（うれしい悲鳴） • 当社が扱うクラウド・SaaSにおいては以下 o Azure SRE Agent：クラウド o New Relic SRE Agent: 可観測性 o PagerDuty SRE Agent: インシデント管理 34 ベストで、最高のSRE Agentはどれ？

Slide 35

Slide 35 text

インシデント対応 × AI：各社SRE Agentを備えている • Azure SRE Agent：クラウド o クラウドの中で調査・思考・対応実行までを行う • New Relic SRE Agent: 可観測性 o 保持しているアプリからインフラまでのデータを一気通貫で活用して調査 • PagerDuty SRE Agent: インシデント管理 o 障害対応時のメンバーのように振る舞い、過去のナレッジや情報の整理、対応案の提示などを行う 35 名前は同じでも強みと用途が異なる

Slide 36

Slide 36 text

インシデント対応 × AI：各社SRE Agentを備えている • いずれも可能性は感じつつも、全面的な採用は現状では難しい感触 • 検証段階としながら小規模に試していくフェーズと捉えている • また、それぞれのAgentがそれぞれのMCPを活用できるため、可能性は広がり続けている • A2AプロトコルのようにAgent同士が直接やりとりする未来も期待できる 36 強みも違うし、変化が激しい中で正解はない？

Slide 37

Slide 37 text

インシデント対応 × AI：各社SRE Agentを備えている 37 MCPを用いた各Agentがそれぞれを利用できるどこを起点に Agentを活用していくのか、は人間が判断する必要がある

Slide 38

Slide 38 text

実践ノウハウ： SREのためのAI利用スキル

Slide 39

Slide 39 text

実践ノウハウ：SREのためのAI利用スキル • AI料金はトークン従量課金へ料金体系が変更 • Instruction, Skill, Sub agentなどを使い分ける • AIモデルの適切な選択 • ファイル、プロンプトの渡し方なども工夫が必要になっていく以降はいくつかの具体例を提示します。 39 「使ってみた」から、「使いこなす」フェーズへ

Slide 40

Slide 40 text

実践ノウハウ：SREのためのAI利用スキル 40 IaCにおける良くない指示「Storage Accountを1つ作成してください」

Slide 41

Slide 41 text

実践ノウハウ：SREのためのAI利用スキル 41 IaCにおける良くない指示-2 「Storage Accountを1つ作成してください」 - 何を？：リソース名の指定 - どこに？：リージョン、サブスクリプション、RG - どうやって？：Blobなど種別、Smart Tierなど各種パラメタの指定

Slide 42

Slide 42 text

実践ノウハウ：SREのためのAI利用スキル 42 IaCにおける"良い"指示「Storage Accountを1つ作成してください。リソース名は"morihaya-sandbox-sa-001"。blobで japaneastでCool層でversiongとchange feedを有効にしてPrivate endpointも作成してsoft deleteは7日間でpublic network accessは...」具体的であればあるほど想定通りとなるが、正直大変

Slide 43

Slide 43 text

実践ノウハウ：SREのためのAI利用スキル 43 IaCにおける"良い"指示-2 「Storage Accountを1つ作成してください。リソース名は"morihaya-sandbox-sa-001"。各種設定は既存の"hoge-sa-001"と同じで良いです」 - 多くのケースでは”既存環境”が存在するため参考にと指示すればCopilot Agentが自ら調査してくれる - 既存がなければポータルで検証作成、その後に指示

Slide 44

Slide 44 text

実践ノウハウ：SREのためのAI利用スキル 44 IaCにおける"良い"指示-3 繰り返しはSkill化「今回のStorage Accountの作成は今後も何度も行うため、Skillとして保存し、再利用可能としてください」 - この指示によって .github/skills//SKILL.mdが作成される - Skillはただのテキストなためレビューも修正も容易

Slide 45

Slide 45 text

実践ノウハウ：SREのためのAI利用スキル 45 IaCにおける"良い"指示-4 次回からSkillを利用「Skill ＜Skill名＞を利用して、新しいStorage Accountの”morihaya-sandbox-sa-002”を作成してください」一度Skill化しておけば、細かい指示が不要で再現してくれる。自分はSkill＝AI向けの手順書として認識。

Slide 46

Slide 46 text

実践ノウハウ：SREのためのAI利用スキル 46 IaCにおける"良い"指示-5 Skill＝手順書について補足より細かいIaCのSkill活用については以下の記事も好評いただきました。 https://zenn.dev/aeonpeople/articles/morihaya-20260224-copilot-skills-is-tetsuzukisho 泥臭いコード修正も一度やれば、git diffなどの差分から Skillに落とし込める！

Slide 47

Slide 47 text

実践ノウハウ：SREのためのAI利用スキル 47 IaCにおける"良い"指示-6 Custom instructionの作成事前準備として、以下のような情報を「IaCドメイン知識」として Instructionファイルとして保存しておくとさらに精度が上がる。 - コーディング規約 - ネーミングルール - サービスのリクエストフローや連携

Slide 48

Slide 48 text

実践ノウハウ：SREのためのAI利用スキル 48 ログフォレンジックでの活用 - 訓練として、ソーシャルエンジニアリングによるアカウントハッキングがあった場合を想定 - Entra IDやSaaSログの解析、脅威判定をAI補助で効率化できる - あらゆるアクティビティログを横断検索できるようにSIEMが完璧に整備されていれば不要（だけど...）

Slide 49

Slide 49 text

実践ノウハウ：SREのためのAI利用スキル 49 ログフォレンジックでの活用 - 2 各種ログを一箇所にまとめてCopilotで横断調査！

Slide 50

Slide 50 text

実践ノウハウ：SREのためのAI利用スキル 50 ログフォレンジックでの活用 - 3 - 誰が、いつ、なにを、と具体的に問いかける - 先月と比較して異常なといった質問も効果的「各種ログを参照し、ユーザ<ユーザ名>について、 2026/03の期間で、作成したリソースの一覧を洗い出してください」

Slide 51

Slide 51 text

実践ノウハウ：SREのためのAI利用スキル 51 ログフォレンジックでの活用 - 4 IaCでも説明した以下を用意しておくと便利 - Custom instructions: ログの名前とサービスの関係を紐づける。ログの形式なども記載する（UTCなど - Skills: 社内に報告したい、いつもの報告書形式で作成するSkillなどを作成

Slide 52

Slide 52 text

実践ノウハウ：SREのためのAI利用スキル 52 ログフォレンジックでの活用 - 5 注意・懸念事項もある - 日頃から各SaaSへのアクセスをSSOで一元化しておくと効果的。当社の場合まずEntra IDのログを見れば行動の概要は把握できる - 巨大なログなどローカル作業の限界はあるため、ログ・SIEM 基盤の整備は今後も重要なまま

Slide 53

Slide 53 text

これからの展望、まとめ

Slide 54

Slide 54 text

これからの展望、まとめ 54 これからの展望 - 変化の激しい、正解の見えないSRE Agent/各種AI機能について「検証し続ける」ことを前提とし、適切な範囲を見極めて展開して成果を出していく - AIで従来のSREを置き換えるのではなく、部分委譲と人間支援の観点でAI利用領域を広く深くする o IaC, 可観測性, インシデント対応

Slide 55

Slide 55 text

これからの展望、まとめ 55 まとめ - 「SRE x AI」AI機能の充実によって従来のSRE業務でも活用が可能になっている - ただし進化が早くフルベットしようにも半年先が予想できない状況 - トライを続け、ナレッジのシェアしながらシステムを最適化し、サービスを通して顧客価値へ！！

Slide 56

Slide 56 text

宣伝 56 イオン、オンラインイベントやります！！ https://aeon.connpass.com/

Slide 57

Slide 57 text

テックブログ Meetup SNS オウンドメディア 1 2 3 4 会社紹介：いろいろやっています！！イオングループのエンジニアたちにより、 Zennの Publicationで運用されているテックブログ毎月オンライン or オフラインで実施されているAEON主催のテック系イベント AEON TECH HUB関連の活動についての情報をポストしていきます AEONグループの社員インタビューや登壇レポート、イベントのお知らせなどの様々な記事をお届けします