AIでサービス運用はどう変わるのか

AIでサービス運用はどう変わるのかゆるAI勉強会#1 渡部龍一

自己紹介 • 渡部龍一 • X: ryuichi_1208 • マイブーム ◦ 自作プログラミング言語遊び

従来のサービス運用の課題

従来のサービス運用が抱える課題 • システムの複雑化 ◦ マイクロサービス化、マルチクラウド • アラート疲れと、それに伴う見落としのリスク • ドキュメントの形骸化と、特定の人への属人化

モグラ叩き運用問題 • 出てきた課題を倒していく ◦ とりあえず再起動が最適解になっている • アラートが鳴る ➔ 叩く（対処） ➔
また鳴るの無限ループ • 気がついたら1日が終わっていた • 何も生み出せていないぞ...?

AI全盛期で全て解決！

とは行かなかった

AIは間違う • ハルシネーション • サービス運用で起きると...?

フィクション私「サーバの一部でエラー出てるな。調査お願い！」 AI「原因が完全にわかりました修正を反映します」私「さすが！お願いします！」 AI「$ terraform apply」

フィクション • 修正自体はあっていた • IaCされていない状態がAWSにあってそれが巻き戻ってしまった • AIの間違いが原因だが責任はAIは取ってくれない

責任論 • AIはどれだけ賢くなってもソフトウェア • CloudのAIサービスの利用規約 • 人の介在が必要

じゃあAI使えないじゃん！

というわけでもない

Human-in-the-loop

Human-in-the-loop • AIを運用に組み込むときはAIに自律で判断させない領域を明確に作る • AIの役割 ◦ ログから原因を特定し、対策コマンドを提案 • 人間の役割
◦ その提案が正しいかを責任者としてレビューし、実行ボタンを承認する

トイル（単純作業）の削減 • 膨大なログ調査や、調査用スクリプト・定型コマンドの生成をAIにやらせて • 実行は人間がレビューした上で実行

アラート疲れからの解放 • 類似アラートの集約や、本当に対応が必要なアラートのフィルタリング • 夜間に発生したアラートはPRを自動で作らせて朝確認してマージ

自動でPR

ポイント • 捨てる前提でPRを作らせている • 10個に1個くらい何か改善のヒントがあれば • トークンが安い今だから取れる手法

AIが運用に入る混むことの不安

障害時に AIにも人にも対処できない空白地帯が生まれる • (良くも悪くも)運用経験とは、抽象化できない怖さを身体で知ること • エラーで困ったことがない人が設計すると起き得る

色々なお仕事への対応力 • 開発支援も重要だが、エンジニアの仕事はそれだけではない • 開発に偏っている印象があるしでまだまだ白地 ◦ 問い合わせ対応・障害対応・EOL対応... ◦ 開発しないでできるんだっけ...?

まとめ

まとめ • AIは万能ではない（ハルシネーションも起こすし、責任は取ってくれない） • AIに自律させない Human-in-the-loop の設計が不可欠 • AIを最高のアシスタントとして扱い、人間が最後の砦としてレ
ビューする • AI×人間のコラボレーションで、サービス運用をもっとスマートに、もっと楽しくしていきましょう！

ご清聴ありがとうございました

AIでサービス運用はどう変わるのか

AIでサービス運用はどう変わるのか

ryuichi1208

More Decks by ryuichi1208

Featured

Transcript