Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI前提のサービス運用ってなんだろう?
Search
ryuichi1208
November 18, 2024
Technology
9
1.7k
AI前提のサービス運用ってなんだろう?
ryuichi1208
November 18, 2024
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
超入門SRE 2025
ryuichi1208
0
320
Goで作って学ぶWebSocket
ryuichi1208
3
2.3k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
8.9k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.7k
コロナ禍とその後:地方エンジニアが学んだキャリア戦略の変遷
ryuichi1208
6
410
入門オンコール対応
ryuichi1208
10
3.6k
MySQLのOOMと戦った話
ryuichi1208
7
3.1k
障害対応を楽しむ7つのコツ
ryuichi1208
9
4.8k
Other Decks in Technology
See All in Technology
全文検索+セマンティックランカー+LLMの自然文検索サ−ビスで得られた知見
segavvy
2
130
偏光画像処理ライブラリを作った話
elerac
1
120
ローカルLLMを活用したコード生成と、ローコード開発ツールへの応用
kazuhitoyokoi
0
130
Swiftの “private” を テストする / Testing Swift "private"
yutailang0119
0
140
わたしのOSS活動
kazupon
2
300
短縮URLをお手軽に導入しよう
nakasho
0
110
クラウドサービス事業者におけるOSS
tagomoris
3
950
Active Directory攻防
cryptopeg
PRO
7
4.4k
Raycast AI APIを使ってちょっと便利な拡張機能を作ってみた / created-a-handy-extension-using-the-raycast-ai-api
kawamataryo
0
150
php-conference-nagoya-2025
fuwasegu
0
110
Culture Deck
optfit
0
480
EDRの検知の仕組みと検知回避について
chayakonanaika
2
490
Featured
See All Featured
Building Adaptive Systems
keathley
40
2.4k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Automating Front-end Workflow
addyosmani
1368
200k
YesSQL, Process and Tooling at Scale
rocio
172
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Embracing the Ebb and Flow
colly
84
4.6k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Scaling GitHub
holman
459
140k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.1k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Transcript
AI前提のサービス運⽤ってなんだろう? 渡部⿓⼀ JAWS-UG SRE⽀部 #10 SREでもAI活⽤がしたい!
⾃⼰紹介 • 株式会社IVRy SWE ◦ 2024/11/1 ⼊社 • 渡部⿓⼀ •
仙台在住 • EOL対応‧障害対応
サービスの運⽤⼤変じゃないですか?
課題 • システムは複雑化していき運⽤コストは増えていきがち • WebサーバとDBだけがあるというようなシンプルな構成と同様の運⽤をしていく のは難しい ◦ 技術要素、クラウド、プラットフォームエンジニアリング、SRE • 何が⼤変なのかわからないくらい⼤変になったり
どうするとよいのかの考察 • ベテランエンジニアを囲って置く ◦ IT業界は特に流動性が⾼いと⾔われている中で現実的ではない • たくさんエンジニアを採⽤して育てる ◦ プロダクトの成⻑速度に対して間に合う場合を除いて現実的ではない •
今いる⼈が全⼒で頑張る ◦ 複雑なシステムを完全に理解する努⼒をしてそのメンバーだけで運⽤ ◦ 組織改編、異動⼀つで変わる
どうするとよいのかの考察 • チームメンバーに依存した運⽤のやり⽅でどうにかするのは難しそう • チームの⼊れ替わりを前提とした運⽤が必要となる ◦ チームレジリエンス
⼈の⼊れ替わりが発⽣しても強いチームを作る • ⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ◦ 属⼈化、暗黙知が少ない ◦ オブザーバビリティが⾼いシステム ◦
ドキュメントがある
ドキュメントの運⽤は難しい • ドキュメントがあることでチームレジリエンスが⾼まりそう • ⼀⽅でドキュメント⾃体の運⽤は難しい ◦ サービス運⽤のためのドキュメントとなるとシステムの複雑化に対して、 ド キュメント数が多くなる ◦
その多いドキュメントを更新するのも検索するのも⼤変
いい感じに更新していい感じに検索をしたい
いい感じに検索したい • キーワード検索だけだと⾟い • GitHubやNotionに情報散らばっていたりもする • ⽣成AIを使っていい感じにする ◦ ChatGPTそのままだとできない ◦
プロンプトエンジニアリング、ファインチューニング、RAG
いい感じに検索したい • RAG (Retrieval Augmented Generation) ◦ ⼤規模⾔語モデル(LLM)によるテキスト⽣成に外部情報の検索を組み合わ せることで、回答精度を向上させる技術
RAG実装⽅法 • ⾃前実装 ◦ 特定のユースケースに合わせて検索や⽣成ロジックを柔軟に調整可能 • ノーコード(Dify) ◦ ⼿軽にAIアプリを作れるOSSのLLMアプリ開発プラットフォーム ◦
コードを書く量が少なく、簡単な設定で利⽤可能 ◦ クラウドサービスもある ▪ ローカルで動かしてます
ざっくり構成
RAGで検索性はよくなるのか? • 集約してベクトル検索にするだけでキーワード検索よりだいぶマシ • チャット形式で欲しい情報までアクセスできるのは体験として良い
いい感じに更新されたい • ドキュメント⾃体が古い場合でもその情報を元に回答が⽣成されてしまう • いい感じに鮮度が保たれたドキュメントを維持したい • が、うまくいく⽅法は思いついてないです • 今後変わらない情報以外は古すぎるドキュメントを検索対象から外す? •
RAGとか⾔ってる場合じゃなくドキュメントを更新するようにすべきなので は?みたいに⽴ち戻ったり
その他
ハルシネーション対策 • ハルシネーション ◦ AIが事実にもとづかない情報や、実際には存在しない情報を⽣成する現象 • とりあえずBotに情報元を吐かせてそれを⼈が判断してるだけ ◦ 特別なハルシネーション対策はしてない •
AIOpsで⾃動化までやれると良いが結局は⼈の判断が最終的には必須であるので そこまで今は頑張らなくても良いかなと
Graph RAGとかも便利そう • Microsoft ResearchがRAGの新たなアプローチ、グラフ理論を応⽤したRAG • RAGに知識グラフを導⼊すると精度が3倍も上がるという調査結果 ◦ ⽂章内でキーワード同⼠の関連をグラフ構造として保持して、そのデータを もとにRAGをする
• LLMが⽣成した知識グラフを使⽤してプロンプトを拡張し、検索、⽣成を⾏う ◦ 例 ⼀つの障害でも複数の事象が絡み合う運⽤で相性が良さそう
None
感想とまとめ
感想とまとめ • Notionでドキュメント書いてDifyでお試しで動かしているが使えている • オペレーションへの疑問をChat形式で回答をもらえる&ソースを持ってきてくれ るので便利 • ⾼いオブザーバビリティにシニアな運⽤エンジニアがいれば未知の事象に対して もAIの助けがいらない気もする