Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI前提のサービス運用ってなんだろう?
Search
ryuichi1208
November 18, 2024
Technology
9
1.9k
AI前提のサービス運用ってなんだろう?
ryuichi1208
November 18, 2024
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
AI前提のサービス運用について再考する
ryuichi1208
6
1.2k
A Shallow Dive into the World of TCP
ryuichi1208
1
560
入門リトライ
ryuichi1208
19
7.3k
超入門SRE 2025
ryuichi1208
4
1.4k
Goで作って学ぶWebSocket
ryuichi1208
5
3.7k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
13k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.9k
コロナ禍とその後:地方エンジニアが学んだキャリア戦略の変遷
ryuichi1208
6
490
Other Decks in Technology
See All in Technology
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
310
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
2
410
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
3
7.4k
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
420
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
410
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
54
20k
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
3
17k
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
140
Operating Operator
shhnjk
1
610
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
280
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
25
1.7k
A Modern Web Designer's Workflow
chriscoyier
695
190k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
RailsConf 2023
tenderlove
30
1.1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
960
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Speed Design
sergeychernyshev
32
1k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Building an army of robots
kneath
306
45k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
For a Future-Friendly Web
brad_frost
179
9.8k
Navigating Team Friction
lara
187
15k
Transcript
AI前提のサービス運⽤ってなんだろう? 渡部⿓⼀ JAWS-UG SRE⽀部 #10 SREでもAI活⽤がしたい!
⾃⼰紹介 • 株式会社IVRy SWE ◦ 2024/11/1 ⼊社 • 渡部⿓⼀ •
仙台在住 • EOL対応‧障害対応
サービスの運⽤⼤変じゃないですか?
課題 • システムは複雑化していき運⽤コストは増えていきがち • WebサーバとDBだけがあるというようなシンプルな構成と同様の運⽤をしていく のは難しい ◦ 技術要素、クラウド、プラットフォームエンジニアリング、SRE • 何が⼤変なのかわからないくらい⼤変になったり
どうするとよいのかの考察 • ベテランエンジニアを囲って置く ◦ IT業界は特に流動性が⾼いと⾔われている中で現実的ではない • たくさんエンジニアを採⽤して育てる ◦ プロダクトの成⻑速度に対して間に合う場合を除いて現実的ではない •
今いる⼈が全⼒で頑張る ◦ 複雑なシステムを完全に理解する努⼒をしてそのメンバーだけで運⽤ ◦ 組織改編、異動⼀つで変わる
どうするとよいのかの考察 • チームメンバーに依存した運⽤のやり⽅でどうにかするのは難しそう • チームの⼊れ替わりを前提とした運⽤が必要となる ◦ チームレジリエンス
⼈の⼊れ替わりが発⽣しても強いチームを作る • ⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ◦ 属⼈化、暗黙知が少ない ◦ オブザーバビリティが⾼いシステム ◦
ドキュメントがある
ドキュメントの運⽤は難しい • ドキュメントがあることでチームレジリエンスが⾼まりそう • ⼀⽅でドキュメント⾃体の運⽤は難しい ◦ サービス運⽤のためのドキュメントとなるとシステムの複雑化に対して、 ド キュメント数が多くなる ◦
その多いドキュメントを更新するのも検索するのも⼤変
いい感じに更新していい感じに検索をしたい
いい感じに検索したい • キーワード検索だけだと⾟い • GitHubやNotionに情報散らばっていたりもする • ⽣成AIを使っていい感じにする ◦ ChatGPTそのままだとできない ◦
プロンプトエンジニアリング、ファインチューニング、RAG
いい感じに検索したい • RAG (Retrieval Augmented Generation) ◦ ⼤規模⾔語モデル(LLM)によるテキスト⽣成に外部情報の検索を組み合わ せることで、回答精度を向上させる技術
RAG実装⽅法 • ⾃前実装 ◦ 特定のユースケースに合わせて検索や⽣成ロジックを柔軟に調整可能 • ノーコード(Dify) ◦ ⼿軽にAIアプリを作れるOSSのLLMアプリ開発プラットフォーム ◦
コードを書く量が少なく、簡単な設定で利⽤可能 ◦ クラウドサービスもある ▪ ローカルで動かしてます
ざっくり構成
RAGで検索性はよくなるのか? • 集約してベクトル検索にするだけでキーワード検索よりだいぶマシ • チャット形式で欲しい情報までアクセスできるのは体験として良い
いい感じに更新されたい • ドキュメント⾃体が古い場合でもその情報を元に回答が⽣成されてしまう • いい感じに鮮度が保たれたドキュメントを維持したい • が、うまくいく⽅法は思いついてないです • 今後変わらない情報以外は古すぎるドキュメントを検索対象から外す? •
RAGとか⾔ってる場合じゃなくドキュメントを更新するようにすべきなので は?みたいに⽴ち戻ったり
その他
ハルシネーション対策 • ハルシネーション ◦ AIが事実にもとづかない情報や、実際には存在しない情報を⽣成する現象 • とりあえずBotに情報元を吐かせてそれを⼈が判断してるだけ ◦ 特別なハルシネーション対策はしてない •
AIOpsで⾃動化までやれると良いが結局は⼈の判断が最終的には必須であるので そこまで今は頑張らなくても良いかなと
Graph RAGとかも便利そう • Microsoft ResearchがRAGの新たなアプローチ、グラフ理論を応⽤したRAG • RAGに知識グラフを導⼊すると精度が3倍も上がるという調査結果 ◦ ⽂章内でキーワード同⼠の関連をグラフ構造として保持して、そのデータを もとにRAGをする
• LLMが⽣成した知識グラフを使⽤してプロンプトを拡張し、検索、⽣成を⾏う ◦ 例 ⼀つの障害でも複数の事象が絡み合う運⽤で相性が良さそう
None
感想とまとめ
感想とまとめ • Notionでドキュメント書いてDifyでお試しで動かしているが使えている • オペレーションへの疑問をChat形式で回答をもらえる&ソースを持ってきてくれ るので便利 • ⾼いオブザーバビリティにシニアな運⽤エンジニアがいれば未知の事象に対して もAIの助けがいらない気もする