SREの仕事は「壊さないこと」ではなくなった〜自律化していくシステムに、責任と判断を与えるという価値〜 / 20260515 Naoki Shimada

Embed

Start on current slide

Slide 1

Slide 1 text

Copyright SHIFT Inc, All Rights Reserved. 2026 / Copyright SHIFT Inc, All Rights Reserved. 1 〜自律化していくシステムに、責任と判断を与えるという価値〜株式会社SHIFT 開発本部開発事業部 AIアジャイル開発部 NAOKI SHIMADA 15 5 12:00 ～ 12:30 島田直樹 SREの仕事は「壊さないこと」ではなくなった (センリツSRE)

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright SHIFT Inc, All Rights Reserved. 6 ➢ 自律的な × コード生成 ➢ 自律的な × デプロイ ➢ 自律的な × テスト ➢ 自律的な × 障害検知 ➢ 自律的な × 復旧処理 Agentic AI はここまで来た Gartner Identifies the Top 10 Strategic Technology Trends for 2025 より引用 https://www.gartner.com/en/newsroom/press-releases/2024-10-21-gartner-identifies-the-top-10-strategic-technology-trends-for-2025 ✓ Gartnerは「2025年の戦略的テクノロジートップトレンド」の筆頭に Agentic AIを挙げている。 ✓ Gartnerの予測によれば、2028年までに企業の業務意思決定の少なくとも15%がAgentic AI によって自律的に行われるようになるとしている。実行は、すでに自立化

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright SHIFT Inc, All Rights Reserved. 13 第2層：判断の評価（1/2） One year of agentic AI: Six lessons from the people doing the work より引用 https://www.mckinsey.com/capabilities/quantumblack/our-insights/one-year-of-agentic-ai-six-lessons-from-the-people-doing-the-work ✓ PoCでは動くのに、実運用で使うと微妙な出力（AI Slop=AIが吐き出す低品質なゴミ）を出しつづけ、ユーザーの信頼を失うケースが多発している。 ✓ これを防ぐには、従業員教育と同じくらい「エージェントの教育（評価）」に投資する必要がある。 ➢ 出力は妥当か。 ➢ 想定通りに振る舞っているか。 ➢ 基準に照らして問題はないか。 “AI Slop” を防ぐには、評価設計が不可欠。

Slide 14

Slide 14 text

Copyright SHIFT Inc, All Rights Reserved. 14 第2層：判断の評価（2/2）評価は設計である AIの「信頼性」をどう担保するか？SHIFTのSREがNew Relicで挑む「AIオブザーバビリティ」の実践 AIの「信頼性」をどう担保するか？SHIFTのSREがNew Relicで挑む「AIオブザーバビリティ」の実践｜SHIFT Group 技術ブログ ✓ AIの出力を測ることはできるが、最後の判断は、人が行うという構図を表している。 ✓ 「エージェントの教育（評価）」への投資とは、こうしたObservabilityから始まる。 ✓ この話の詳細は以下のブログをご覧ください。判断の評価アーキテクチャモデル (登壇者作成) ➢ Evals ➢ Observability ➢ Human-in-the-loop 評価は完全には自律化できない。

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright SHIFT Inc, All Rights Reserved. 17 なぜ評価が必要か最適化は、正しさを保証しない。 The state of AI in 2025: Agents, innovation, and transformation より引用 https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai ✓ 回答企業の62%がAgentic AIを実験中。しかし、スケーリング（全社展開）できているのは、全体の23%に留まる。 ✓ 多くの企業が “パイロットの壁” に直面している。 ➢ AI は、自身の出力を客観的に評価することが難しい ➢ 評価モデルは、ハルシネーションを吐き出すこともある ➢ バイアスは、再生産され、しかもそれが高速化している

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

21 Copyright SHIFT Inc, All Rights Reserved. 99.9% と 99.99% の違い SLOレベル月間ダウンタイム許容時間年間ダウンタイム許容時間 90% 3日 36.5日 99% 7時間12分 3.65日 99.9% 43分12秒 8.76時間 99.99% 4分19秒 52.56分 99.999% 26秒 5.26分 99.9%は1ヶ月に約43分の停止を許容する 99.99%は1ヶ月に約4分の停止を許容する目標値が変わると、前提が変わる

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

31 Copyright SHIFT Inc, All Rights Reserved. 境界実行と判断の間に、境界がある。実行責任を伴う判断 Agentic AI時代の判断の層と境界 ➢ 目的関数の中で最良を選ぶ ➢ コード生成・デプロイ・障害検知など ➢ どの選択肢が合理的か ➢ どの順序が効率的か ➢ その水準を採用するか ➢ その結果を引き受けるか ➢ 出力が妥当か検証する ➢ Evals・Observability・Human-in-the-loop 最適化の判断境界線：責任の確定で引かれる (変動する) 判断の評価人 Agentic AI

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

37 Copyright SHIFT Inc, All Rights Reserved. エピソード① ～誰に説明するかが変わった話プロダクト直結型SRE から機能単位型SRE に転身した。同じ技術をやっていた。変わったのは「誰の前に立つか」だけだった。プロダクト直結型SRE 機能単位型SRE SREs「障害が発生したぞ！」プロダクトオーナーやうユーザーで直接説明 SREs「障害が発生したぞ！」複数チームのリードに説明責任の距離がとても近い責任の届け先が変わった技術は同じ。説明する相手が変わると、判断の質が変わる。