AI AgentによるEmbedded SREの取り組み

2026/10/30(金)に開催された Tech Reliability Jam #1 での登壇資料です。

Transcript

1. AI Agentによる Embedded SREの取り組み KINTOテクノロジーズ株式会社 2026/10/29 長内 則倫
2. はじめに 本日の発表資料はこちら ©KINTO Corporation. All rights res erved. 2
3. 自己紹介 長内 則倫 (おさない のりみち) @tgidgd KINTOテクノロジーズ株式会社 プラットフォーム開発部 Cloud Engineering G SREチーム TL • 社内のSRE文化の醸成 • トヨタグループに向けたSRE支援 ©KINTO Corporation. All rights res erved. 3
4. Index 目次 1 会社紹介と組織構成 2 KTCのSREのアプローチと課題感 3 AI Agentの作成 4 人のように振る舞うAI Agent 5 おわりに 6 ©KINTO Corporation. All rights res erved. 4
5. 1 ©KINTO Corporation. All rights res erved. 会社紹介と組織構成 5
6. KINTOテクノロジーズ株式会社(KTC)について トヨタ自動車株式会社 トヨタファイナンシャルサービス株式会社（TFS） 海外販売金融会社 トヨタファイナンス 株式会社 世界40以上の国と地域で サービスを展開 販売金融・クレジットカード など KINTOテクノロジーズ 株式会社KINTO 株式会社 2021年4月設立 2019年1月設立 トヨタグループ唯一のBtoC・DtoC領域に特化した内製開発組織 ©KINTO Corporation. All rights res erved. 6
7. プロダクト紹介 https://kinto-jp.com/ https://factory.kinto-jp.com/ 気軽にマイカーを持てる、 クルマがより持ちやすくなる、 クルマのサブスクサービス 中古車のサブスクサービス 任意保険や自動車税など、車にかかる諸経 「KINTO ONE」でご利用いただいた良質な車から厳 費がコミコミで月々定額で車を持つことが 選した中古車を、諸経費コミコミ月々定額で乗るこ できるサブスクリプションサービス。WEB とができる中古車のサブスクリプションサービスで でも簡単にお申込みから契約まででき、気 https://up.kinto-jp.com/ す。WEBからお申込み可能、乗りやすさ、手放しや 軽にカーライフをはじめることができます。 すさが自慢です。 クルマのオーナーに向けた ハードウェアもソフトウェアも 愛車のカスタム・機能向上サービス アップグレードし続ける特別なクルマ トヨタ・レクサス既販車のソフトウェア・ハー 保険やメンテナンスなどのクルマの維持費に加え、 ドウェアの機能やアイテムを最新の状態に「進 トヨタのコネクティッド技術により最新の安全・便 化」させるサービスです。購入時設定が無かっ 利機能を装備できる特別な車をサブスクリプション たオプションの後付けや、経年劣化した内外装 の交換などを正規品質でご提供します。 で気軽にご利用いただけるサービスです。 https://kinto-jp.com/unlimited/ and more... ©KINTO Corporation. All rights res erved. 7
8. KTCにおけるSREの立ち位置 エンジニア組織：約30グループ 従業員数 ：約400名 アプリケーション開発組織 アプリケーション 開発組織 アプリケーション 開発組織 アプリケーション 開発組織 アプリケーション 開発組織 … アプリケーション 開発組織 ・KINTOサービス開発 ・決済/ID基盤開発 ・バックオフィスシステム開発 ・モバイルアプリ開発 etc... 横断組織 プラットフォーム開発部 Platform G ©KINTO Corporation. All rights res erved. Cloud Solution G Quality Engineering G Cloud Engineering G … ・Platform G ・Cloud Solution G ・Quality Engineering G ・Cloud Engineering G ・SRE (4名: 兼務4名) ・DBRE (5名) ・Infra (7名: 兼務3名) ・Security (4名: 兼務1名) etc… 8
9. 2 ©KINTO Corporation. All rights res erved. KTCのSREのアプローチと課題感 9
10. KTCのSREのアプローチ ← Embedded SRE → ← Central SRE → 0点 60点 Central SRE 全社横断 Embedded SRE 横断ソリューション ・全社的な信頼性向上の取り組み ・汎用的なツール・仕組みの作成 ・Embedded SREへの提供 ©KINTO Corporation. All rights res erved. 100点(信頼性) プロダクト密着型 ・特定プロダクトの信頼性向上 フィードバック ・プロダクトの課題解決 ・チームに対するSREのEnabling 10
11. なぜEmbedded SREを始めたか？ • Embedded SREを始めた頃はSREチームは2人 • もう少しメンバーが増えたらやろうと思っていた • 横断部署の立場から各プロダクトごとの本質的な課題にはなかなか気付けない • 自分のやったことが現場にどのような良い影響を与えているかが見えにくい →チームメンバー1人を一部プロダクトにEmbedded SREとしてアサイン 結果として… 新規プロダクト 既存プロダクト • • • • • • • • オブザーバビリティの整備 負荷試験によるキャパシティプランニング ローンチ時点でメトリクスを見る習慣 信頼性の話を設計段階からできるように 既存オブザーバビリティの改善 プロダクト最適化したアラート設計 エラーログの状況を MySQLバージョンアップやリアーキテクチャ プロダクトごとに合わせた形で信頼性向上に対する取り組みを進めることができた ©KINTO Corporation. All rights res erved. 11
12. スケールしないEmbedded SRE • 1人が関わるプロダクトは2~3プロダクトが限界 • チームメンバーは4人 • プロダクト数は大小合わせて80くらい • 全てのプロダクトにEmbedded SREを配置することは難しい… プロダクトA プロダクトB プロダクトC プロダクトD … プロダクトE プラットフォーム開発部 Platform G Cloud Solution G Quality Engineering G Cloud Engineering G … AI Agentを各プロダクトごとに作成して、Embeddedさせよう！ ©KINTO Corporation. All rights res erved. 12
13. 3 ©KINTO Corporation. All rights res erved. AI Agentの作成 13
14. なぜAI Agentを作るのか？ • 世の中には様々なSRE Agentが存在している • AWS DevOps Agent、New Relic Autopilot、HolmesGPT etc... • 広範なSREプラクティスを実践できるエージェントに拡張できるようにしたい • KTCの2026年の展望の後押し(Agentファースト) 折角だし自分の手で作りたいじゃん… • とはいえ既存製品の開発スピードは速いし、どんどん機能が拡充される • 継続的に比較をして、いざという時は自分たちのエージェントを手放す勇気も必要 ©KINTO Corporation. All rights res erved. 14
15. AI Agentの構成 • Amazon Bedrock AgentCoreを利用 • AgentCore Gatewayのターゲットに様々なものを紐付ける • AgentCore Runtimeはそこから必要なもの(tool)を選んでタスクを遂行する • Slackをインターフェースにプロダクトごとに構築 ©KINTO Corporation. All rights res erved. 15
16. 実際の動き(一例) ©KINTO Corporation. All rights res erved. 16
17. エージェントの成熟度をどう定義するか Postmortem / Root Cause Analysis Testing / Release Capacity Planning Development Product Level Monitoring Incident Response Lv1 観測 メトリクス/ロ グ/トレース収 集 インシデント 情報を収集 障害情報・時 系列を収集 リリース影響 を観測 使用量・負荷 を継続観測 CI/CD・変更 履歴を観測 SLO/UX/事業 指標を観測 Lv2 判断 正常から逸脱 を判断 対応優先度と 方針を判断 原因と再発傾 向を分析 異常と失敗兆 候を判断 将来負荷とボ トルネックを 分析 信頼性リスク の高い変更を 分析 ユーザー価値 への影響を分 析 Lv3 実行 アラート調整 ダッシュボー ド生成 障害対応を実 行 ポストモーテ ム作成・改善 実行 安全なリリー ス制御を実行 キャパシティ 調整を実行 信頼性向上の 変更を実行 信頼性とUXを 考慮し制御 Figure III-1. Service Reliability Hierarchy ©KINTO Corporation. All rights res erved. 17
18. エージェントの成熟度をどう定義するか Postmortem / Root Cause Analysis Testing / Release Capacity Planning Development Product Level Monitoring Incident Response Lv1 観測 メトリクス/ロ グ/トレース収 集 インシデント 情報を収集 障害情報・時 系列を収集 リリース影響 を観測 使用量・負荷 を継続観測 CI/CD・変更 履歴を観測 SLO/UX/事業 指標を観測 Lv2 判断 正常から逸脱 を判断 対応優先度と 方針を判断 原因と再発傾 向を分析 異常と失敗兆 候を判断 将来負荷とボ トルネックを 分析 信頼性リスク の高い変更を 分析 ユーザー価値 への影響を分 析 Lv3 実行 アラート調整 ダッシュボー ド生成 障害対応を実 行 ポストモーテ ム作成・改善 実行 安全なリリー ス制御を実行 キャパシティ 調整を実行 信頼性向上の 変更を実行 信頼性とUXを 考慮し制御 Figure III-1. Service Reliability Hierarchy ©KINTO Corporation. All rights res erved. 18
19. エージェントの成熟度をどう定義するか - 参考 Site Reliability Engineering, 2nd Edition 21章 (How AI Supports SRE) より ©KINTO Corporation. All rights res erved. 19
20. 4 ©KINTO Corporation. All rights res erved. 人のように振る舞うAI Agent 20
21. いかに人のように振る舞わせるか • Embedded SREの役割を補完するために作り始めたエージェント • チャットをすることでしか動かないエージェントでは人がEmbeddedしているようには見えない ・・・ 人のように振る舞うとは何か？ ©KINTO Corporation. All rights res erved. 21
22. 人のように振る舞うとは？ • • • • • SREとしての価値観を持って判断、行動すること 過去の出来事や経験から学び、それを活用すること 分からないことは適切な人にエスカレーションすること 自律的に行動を開始すること テレメトリデータなどの違和感に気付けること etc... ◎△ ＄♪×￥◦ ＆％＃？！ これらをどうエージェントで実現させていくか ©KINTO Corporation. All rights res erved. 22
23. SREとしての価値観を持って判断、行動すること • SREとしての価値観や行動指針を与えて実行の精度を上げる • オンコールのランブックは深夜2時の意識が朦朧とした状態でも適切に実行できるような内容で書く • ポストモーテムは特定の誰かを非難するような内容にしない etc... • こういった内容を毎回プロンプトに入れていてはコンテキストを圧迫する • 特定のシチュエーションにおける価値観をドキュメント化してBedrockのナレッジベースに格納 • 依頼された内容と関連性の高い価値観や行動指針を取得してプロンプトに含める # ランブック作成の指針 ◎△ ＄♪×￥◦ ＆％＃？！ ## 対応する依頼の例 - ランブック作成 ## 価値観 - ランブックは深夜2時の意識が 朦朧とした状態でも適切に実行... ## 行動指針 1. 曖昧な表現は使わない 2. 1ステップ1アクション 3. … ©KINTO Corporation. All rights res erved. 23
24. 過去の出来事や経験から学び、それを活用すること • 例) 過去の障害対応の履歴から学び、次に同じような状況が発生した際に適切に対応できるようにする • エージェントとの会話履歴はAgentCore Memoryの短期記憶に保存している • Slackのスレッドごとの名前空間のため過去のやり取りを他のやり取りに活かせない • 一般化して長期記憶に格納し、他の対応でも活用できるようにする • 格納される情報はエージェントをメンションしてやり取りした内容のみ • 他者同士がやり取りしている内容からも得られる情報はある ◎△ ＄♪×￥◦ ＆％＃？！ ©KINTO Corporation. All rights res erved. 24
25. 分からないことは適切な人にエスカレーションすること • エージェントが自分で判断できない場合に中途半端な対応をせず、人に助けを求める • 色々な場所で動いているエージェントが適切なレスポンスを返せているかを全て把握するのは難しい • 判断に迷った場合はSlackでSREチームをメンションしてもらう HELP！ ©KINTO Corporation. All rights res erved. 25
26. 自律的に行動を開始すること • アラートを受けた際に、人間からの依頼を待たずに調査を行う • アラートメッセージでエージェントをメンションして調査してもらう • ダッシュボードのメトリクスを自ら定期的にチェックする • 定期的に実行したいタスクはスラッシュコマンドで設定 • モーダルに必要事項を入れて登録するとEventBridgeが作成され、定期実行される ©KINTO Corporation. All rights res erved. 26
27. テレメトリデータなどの違和感に気付けること • エージェントが自律的に動くことはできそう • アラートをトリガーとした自律的な調査 • 定期的なタスクの実行 • 確認するべきものが分かっていることが前提 • 人であっても「気付く」は難しいが、エージェントにそれを模倣させるのはもっと難しい • 既存の監視ルールの拡充 • Anomaly Detectionなどの通常と異なるパターンの通知 • ダッシュボードに様々なメトリクスを置いて、定期的にチェックさせる • 人間が設定した観測範囲だけの行動に留まってしまう • 現状は観測範囲を広げることでしか模倣は難しそう ・・・！！ ©KINTO Corporation. All rights res erved. 27
28. 5 ©KINTO Corporation. All rights res erved. おわりに 28
29. とはいえ、人のSREにしかできないことも沢山ある 人が担う範囲 エージェントが担う範囲 0% 100% インシデント発生時の調査 インシデント対応 ランブックの作成 ポストモーテムの作成 アクションプランの検討 コードの修正 • サービスレベルを決めるためのコミュニケーションや合意形成 • 開発チームに働きかけて、信頼性を意識した行動変容を促す • チームメンバーに対する指導や育成 etc... 人が担うべき役割に注力できる環境を ©KINTO Corporation. All rights res erved. 29
30. 実現したい世界 開発チームA プロダクトA プロダクトB プロダクトC SRE 開発チームB ©KINTO Corporation. All rights res erved. 開発チームC 30
31. 実現したい世界 開発チームA プロダクトA 協調 協調 プロダクトB プロダクトC SRE 協調 開発チームB 開発チームC 人間とエージェントが協業する未来へ ©KINTO Corporation. All rights res erved. 31
32. Thank you！