Slide 1

Slide 1 text

AIでサービス運用はどう変わるのか ゆるAI勉強会 #1

Slide 2

Slide 2 text

● 渡部龍一 ● X: ryuichi_1208 ● マイブーム ○ 自作プログラミング言語遊び 自己紹介

Slide 3

Slide 3 text

従来のサービス運用の課題

Slide 4

Slide 4 text

● システムの複雑化 ○ マイクロサービス化、マルチクラウド ● アラート疲れと、それに伴う見落としのリスク ● ドキュメントの形骸化と、特定の人への属人化 従来のサービス運用が抱える課題

Slide 5

Slide 5 text

● 出てきた課題を倒していく ○ とりあえず再起動が最適解になっている ● アラートが鳴る ➔ 叩く(対処) ➔ また鳴る の無限ルー プ ● 気がついたら1日が終わっていた ● 何も生み出せていないぞ...? モグラ叩き運用問題

Slide 6

Slide 6 text

AI全盛期で全て解決!

Slide 7

Slide 7 text

とは行かなかった

Slide 8

Slide 8 text

● ハルシネーション ● サービス運用で起きると...? AIは間違う

Slide 9

Slide 9 text

私「サーバの一部でエラー出てるな。調査お願い!」 AI「原因が完全にわかりました修正を反映します」 私「さすが!お願いします!」 AI「$ terraform apply」 フィクション

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

● 修正自体はあっていた ● IaCされていない状態がAWSにあってそれが巻き戻って しまった ● AIの間違いが原因だが責任はAIは取ってくれない フィクション

Slide 12

Slide 12 text

● AIはどれだけ賢くなってもソフトウェア ● CloudのAIサービスの利用規約 ● 人の介在が必要 責任論

Slide 13

Slide 13 text

じゃあAI使えないじゃん!

Slide 14

Slide 14 text

というわけでもない

Slide 15

Slide 15 text

Human-in-the-loop

Slide 16

Slide 16 text

● AIを運用に組み込むときはAIに自律で判断させない領 域を明確に作る ● AIの役割 ○ ログから原因を特定し、対策コマンドを提案 ● 人間の役割 ○ その提案が正しいかを責任者としてレビューし、実行 ボタンを承認する Human-in-the-loop

Slide 17

Slide 17 text

● 膨大なログ調査や、調査用スクリプト・定型コマンドの生 成をAIにやらせて ● 実行は人間がレビューした上で実行 トイル(単純作業)の削減

Slide 18

Slide 18 text

● 類似アラートの集約や、本当に対応が必要なアラートの フィルタリング ● 夜間に発生したアラートはPRを自動で作らせて朝確認 してマージ アラート疲れからの解放

Slide 19

Slide 19 text

自動でPR

Slide 20

Slide 20 text

● 捨てる前提でPRを作らせている ● 10個に1個くらい何か改善のヒントがあれば ● トークンが安い今だから取れる手法 ポイント

Slide 21

Slide 21 text

AIが運用に入る混むことの不安

Slide 22

Slide 22 text

● (良くも悪くも)運用経験とは、抽象化できない怖さを身体 で知ること ● エラーで困ったことがない人が設計すると起き得る 障害時にAIにも人にも対処できない空白地帯が生まれる

Slide 23

Slide 23 text

● 開発支援も重要だが、エンジニアの仕事はそれだけで はない ● 開発に偏っている印象があるしでまだまだ白地 ○ 問い合わせ対応・障害対応・EOL対応... ○ 開発しないでできるんだっけ...? 色々なお仕事への対応力

Slide 24

Slide 24 text

まとめ

Slide 25

Slide 25 text

● AIは万能ではない(ハルシネーションも起こすし、責任は取っ てくれない) ● AIに自律させない Human-in-the-loop の設計が不可欠 ● AIを最高のアシスタントとして扱い、人間が最後の砦としてレ ビューする ● AI×人間のコラボレーションで、サービス運用をもっとスマート に、もっと楽しくしていきましょう! まとめ

Slide 26

Slide 26 text

ご清聴ありがとうございました