Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI前提のサービス運用ってなんだろう?
Search
ryuichi1208
November 18, 2024
Technology
9
1.7k
AI前提のサービス運用ってなんだろう?
ryuichi1208
November 18, 2024
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
Goで作って学ぶWebSocket
ryuichi1208
0
34
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
19
8.8k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.7k
コロナ禍とその後:地方エンジニアが学んだキャリア戦略の変遷
ryuichi1208
6
410
入門オンコール対応
ryuichi1208
10
3.6k
MySQLのOOMと戦った話
ryuichi1208
7
3.1k
障害対応を楽しむ7つのコツ
ryuichi1208
9
4.8k
超入門 SRE
ryuichi1208
10
3.8k
Other Decks in Technology
See All in Technology
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
6.1k
一度 Expo の採用を断念したけど、 再度 Expo の導入を検討している話
ichiki1023
1
160
あれは良かった、あれは苦労したB2B2C型SaaSの新規開発におけるCloud Spanner
hirohito1108
2
550
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
240
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
390
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
「海外登壇」という 選択肢を与えるために 〜Gophers EX
logica0419
0
700
アジャイル開発とスクラム
araihara
0
170
地方拠点で エンジニアリングマネージャーってできるの? 〜地方という制約を楽しむオーナーシップとコミュニティ作り〜
1coin
1
220
Classmethod AI Talks(CATs) #16 司会進行スライド(2025.02.12) / classmethod-ai-talks-aka-cats_moderator-slides_vol16_2025-02-12
shinyaa31
0
100
The Future of SEO: The Impact of AI on Search
badams
0
190
表現を育てる
kiyou77
1
210
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
Side Projects
sachag
452
42k
Unsuck your backbone
ammeep
669
57k
Done Done
chrislema
182
16k
A designer walks into a library…
pauljervisheath
205
24k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
How to Think Like a Performance Engineer
csswizardry
22
1.3k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Designing for humans not robots
tammielis
250
25k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
AI前提のサービス運⽤ってなんだろう? 渡部⿓⼀ JAWS-UG SRE⽀部 #10 SREでもAI活⽤がしたい!
⾃⼰紹介 • 株式会社IVRy SWE ◦ 2024/11/1 ⼊社 • 渡部⿓⼀ •
仙台在住 • EOL対応‧障害対応
サービスの運⽤⼤変じゃないですか?
課題 • システムは複雑化していき運⽤コストは増えていきがち • WebサーバとDBだけがあるというようなシンプルな構成と同様の運⽤をしていく のは難しい ◦ 技術要素、クラウド、プラットフォームエンジニアリング、SRE • 何が⼤変なのかわからないくらい⼤変になったり
どうするとよいのかの考察 • ベテランエンジニアを囲って置く ◦ IT業界は特に流動性が⾼いと⾔われている中で現実的ではない • たくさんエンジニアを採⽤して育てる ◦ プロダクトの成⻑速度に対して間に合う場合を除いて現実的ではない •
今いる⼈が全⼒で頑張る ◦ 複雑なシステムを完全に理解する努⼒をしてそのメンバーだけで運⽤ ◦ 組織改編、異動⼀つで変わる
どうするとよいのかの考察 • チームメンバーに依存した運⽤のやり⽅でどうにかするのは難しそう • チームの⼊れ替わりを前提とした運⽤が必要となる ◦ チームレジリエンス
⼈の⼊れ替わりが発⽣しても強いチームを作る • ⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ◦ 属⼈化、暗黙知が少ない ◦ オブザーバビリティが⾼いシステム ◦
ドキュメントがある
ドキュメントの運⽤は難しい • ドキュメントがあることでチームレジリエンスが⾼まりそう • ⼀⽅でドキュメント⾃体の運⽤は難しい ◦ サービス運⽤のためのドキュメントとなるとシステムの複雑化に対して、 ド キュメント数が多くなる ◦
その多いドキュメントを更新するのも検索するのも⼤変
いい感じに更新していい感じに検索をしたい
いい感じに検索したい • キーワード検索だけだと⾟い • GitHubやNotionに情報散らばっていたりもする • ⽣成AIを使っていい感じにする ◦ ChatGPTそのままだとできない ◦
プロンプトエンジニアリング、ファインチューニング、RAG
いい感じに検索したい • RAG (Retrieval Augmented Generation) ◦ ⼤規模⾔語モデル(LLM)によるテキスト⽣成に外部情報の検索を組み合わ せることで、回答精度を向上させる技術
RAG実装⽅法 • ⾃前実装 ◦ 特定のユースケースに合わせて検索や⽣成ロジックを柔軟に調整可能 • ノーコード(Dify) ◦ ⼿軽にAIアプリを作れるOSSのLLMアプリ開発プラットフォーム ◦
コードを書く量が少なく、簡単な設定で利⽤可能 ◦ クラウドサービスもある ▪ ローカルで動かしてます
ざっくり構成
RAGで検索性はよくなるのか? • 集約してベクトル検索にするだけでキーワード検索よりだいぶマシ • チャット形式で欲しい情報までアクセスできるのは体験として良い
いい感じに更新されたい • ドキュメント⾃体が古い場合でもその情報を元に回答が⽣成されてしまう • いい感じに鮮度が保たれたドキュメントを維持したい • が、うまくいく⽅法は思いついてないです • 今後変わらない情報以外は古すぎるドキュメントを検索対象から外す? •
RAGとか⾔ってる場合じゃなくドキュメントを更新するようにすべきなので は?みたいに⽴ち戻ったり
その他
ハルシネーション対策 • ハルシネーション ◦ AIが事実にもとづかない情報や、実際には存在しない情報を⽣成する現象 • とりあえずBotに情報元を吐かせてそれを⼈が判断してるだけ ◦ 特別なハルシネーション対策はしてない •
AIOpsで⾃動化までやれると良いが結局は⼈の判断が最終的には必須であるので そこまで今は頑張らなくても良いかなと
Graph RAGとかも便利そう • Microsoft ResearchがRAGの新たなアプローチ、グラフ理論を応⽤したRAG • RAGに知識グラフを導⼊すると精度が3倍も上がるという調査結果 ◦ ⽂章内でキーワード同⼠の関連をグラフ構造として保持して、そのデータを もとにRAGをする
• LLMが⽣成した知識グラフを使⽤してプロンプトを拡張し、検索、⽣成を⾏う ◦ 例 ⼀つの障害でも複数の事象が絡み合う運⽤で相性が良さそう
None
感想とまとめ
感想とまとめ • Notionでドキュメント書いてDifyでお試しで動かしているが使えている • オペレーションへの疑問をChat形式で回答をもらえる&ソースを持ってきてくれ るので便利 • ⾼いオブザーバビリティにシニアな運⽤エンジニアがいれば未知の事象に対して もAIの助けがいらない気もする