AIでサービス運用はどう変わるのか

AIでサービス運用はどう変わるのかゆるAI勉強会 #1

• 渡部龍一 • X: ryuichi_1208 • マイブーム ◦ 自作プログラミング言語遊び自己紹介

従来のサービス運用の課題

• システムの複雑化 ◦ マイクロサービス化、マルチクラウド • アラート疲れと、それに伴う見落としのリスク • ドキュメントの形骸化と、特定の人への属人化従来のサービス運用が抱える課題

• 出てきた課題を倒していく ◦ とりあえず再起動が最適解になっている • アラートが鳴る ➔ 叩く（対処） ➔ また鳴る
の無限ループ • 気がついたら1日が終わっていた • 何も生み出せていないぞ...? モグラ叩き運用問題

AI全盛期で全て解決！

とは行かなかった

• ハルシネーション • サービス運用で起きると...? AIは間違う

私「サーバの一部でエラー出てるな。調査お願い！」 AI「原因が完全にわかりました修正を反映します」私「さすが！お願いします！」 AI「$ terraform apply」フィクション

• 修正自体はあっていた • IaCされていない状態がAWSにあってそれが巻き戻ってしまった • AIの間違いが原因だが責任はAIは取ってくれないフィクション

• AIはどれだけ賢くなってもソフトウェア • CloudのAIサービスの利用規約 • 人の介在が必要責任論

じゃあAI使えないじゃん！

というわけでもない

Human-in-the-loop

• AIを運用に組み込むときはAIに自律で判断させない領域を明確に作る • AIの役割 ◦ ログから原因を特定し、対策コマンドを提案 • 人間の役割 ◦
その提案が正しいかを責任者としてレビューし、実行ボタンを承認する Human-in-the-loop

• 膨大なログ調査や、調査用スクリプト・定型コマンドの生成をAIにやらせて • 実行は人間がレビューした上で実行トイル（単純作業）の削減

• 類似アラートの集約や、本当に対応が必要なアラートのフィルタリング • 夜間に発生したアラートはPRを自動で作らせて朝確認してマージアラート疲れからの解放

自動でPR

• 捨てる前提でPRを作らせている • 10個に1個くらい何か改善のヒントがあれば • トークンが安い今だから取れる手法ポイント

AIが運用に入る混むことの不安

• (良くも悪くも)運用経験とは、抽象化できない怖さを身体で知ること • エラーで困ったことがない人が設計すると起き得る障害時にAIにも人にも対処できない空白地帯が生まれる

• 開発支援も重要だが、エンジニアの仕事はそれだけではない • 開発に偏っている印象があるしでまだまだ白地 ◦ 問い合わせ対応・障害対応・EOL対応... ◦ 開発しないでできるんだっけ...? 色々なお仕事への対応力

まとめ

• AIは万能ではない（ハルシネーションも起こすし、責任は取ってくれない） • AIに自律させない Human-in-the-loop の設計が不可欠 • AIを最高のアシスタントとして扱い、人間が最後の砦としてレビューする
• AI×人間のコラボレーションで、サービス運用をもっとスマートに、もっと楽しくしていきましょう！まとめ

ご清聴ありがとうございました

AIでサービス運用はどう変わるのか

AIでサービス運用はどう変わるのか

ryuichi1208

More Decks by ryuichi1208

Featured

Transcript