AIでサービス運用はどう変わるのか

Transcript

1. AIでサービス運用はどう変わるのか ゆるAI勉強会#1 渡部 龍一
2. 自己紹介 • 渡部龍一 • X: ryuichi_1208 • マイブーム ◦ 自作プログラミング言語遊び
3. 従来のサービス運用の課題
4. 従来のサービス運用が抱える課題 • システムの複雑化 ◦ マイクロサービス化、マルチクラウド • アラート疲れと、それに伴う見落としのリスク • ドキュメントの形骸化と、特定の人への属人化
5. モグラ叩き運用問題 • 出てきた課題を倒していく ◦ とりあえず再起動が最適解になっている • アラートが鳴る ➔ 叩く（対処） ➔ また鳴る の無限ルー プ • 気がついたら1日が終わっていた • 何も生み出せていないぞ...?
6. AI全盛期で全て解決！
7. とは行かなかった
8. AIは間違う • ハルシネーション • サービス運用で起きると...?
9. フィクション 私「サーバの一部でエラー出てるな。調査お願い！」 AI「原因が完全にわかりました修正を反映します」 私「さすが！お願いします！」 AI「$ terraform apply」
11. フィクション • 修正自体はあっていた • IaCされていない状態がAWSにあってそれが巻き戻って しまった • AIの間違いが原因だが責任はAIは取ってくれない
12. 責任論 • AIはどれだけ賢くなってもソフトウェア • CloudのAIサービスの利用規約 • 人の介在が必要
13. じゃあAI使えないじゃん！
14. というわけでもない
15. Human-in-the-loop
16. Human-in-the-loop • AIを運用に組み込むときはAIに自律で判断させない領 域を明確に作る • AIの役割 ◦ ログから原因を特定し、対策コマンドを提案 • 人間の役割 ◦ その提案が正しいかを責任者としてレビューし、実行 ボタンを承認する
17. トイル（単純作業）の削減 • 膨大なログ調査や、調査用スクリプト・定型コマンドの生 成をAIにやらせて • 実行は人間がレビューした上で実行
18. アラート疲れからの解放 • 類似アラートの集約や、本当に対応が必要なアラートの フィルタリング • 夜間に発生したアラートはPRを自動で作らせて朝確認 してマージ
19. 自動でPR
20. ポイント • 捨てる前提でPRを作らせている • 10個に1個くらい何か改善のヒントがあれば • トークンが安い今だから取れる手法
21. AIが運用に入る混むことの不安
22. 障害時に AIにも人にも対処できない空白地帯が生まれる • (良くも悪くも)運用経験とは、抽象化できない怖さを身体 で知ること • エラーで困ったことがない人が設計すると起き得る
23. 色々なお仕事への対応力 • 開発支援も重要だが、エンジニアの仕事はそれだけで はない • 開発に偏っている印象があるしでまだまだ白地 ◦ 問い合わせ対応・障害対応・EOL対応... ◦ 開発しないでできるんだっけ...?
24. まとめ
25. まとめ • AIは万能ではない（ハルシネーションも起こすし、責任は取っ てくれない） • AIに自律させない Human-in-the-loop の設計が不可欠 • AIを最高のアシスタントとして扱い、人間が最後の砦としてレ ビューする • AI×人間のコラボレーションで、サービス運用をもっとスマート に、もっと楽しくしていきましょう！
26. ご清聴ありがとうございました