Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI前提のサービス運用ってなんだろう?

ryuichi1208
September 18, 2024

 AI前提のサービス運用ってなんだろう?

ryuichi1208

September 18, 2024
Tweet

More Decks by ryuichi1208

Other Decks in Technology

Transcript

  1. 2

  2. 4 • ベテランエンジニアを多く囲っておく ◦ 流動性が⾼い業界でこれはほぼ無理 • たくさんエンジニアを雇って育てる ◦ 複雑性が⾼くなる⼀⽅で時間がかかる •

    今いる⼈で頑張る ◦ アンラーニングによる異動とかは世界的にみても起きてるし今後異動がないチームはあんま 存在しない • ⼈の⼊れ替わりが発⽣しても強いチームを作る(チームレジリエンス) どうすると良いか
  3. 6 • ⼈の⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ▪ 最新のシステムの構成説明 ▪ 参画してすぐにプロダクションデプロイできる ◦

    属⼈化/暗黙知の排除 ▪ プロセスや⼿順の明⽂化、更新までセットで ▪ 定期的なナレッジシェアリング ▪ コードレビューやペアプログラミング • ドキュメントが⼤事! ⼈の⼊れ替わりが発⽣しても強いチームを作る
  4. 7 • ドキュメント施策は過去にもやってきた ◦ Docsに書く、Postmortemに書いて読む、playbookとかrunbookとか • 原因考察 ◦ 優先度の低さ ->

    ⼝頭の共有でもなんとかなるメンバー構成 ▪ チーム⽂化としてなんとかしていく ▪ ⼀回作ったはいいけどあんま使われない ◦ ツールやシステムの使いにくさ -> NotionにあったりGitHubにあったりで検索しにくい ▪ キーワード知ってないとダメ出し、分散してる前提で考えるから検索しようとも思わない ▪ O(1)で辿り着くための秘伝のブックマークがあったり ドキュメントはなぜ更新されないのか
  5. 9 • キーワード検索だけだと今ですら厳しい • ⽣成AIを組み合わせることでなんとかしたい • ChatGPTをそのままは使えないのでどうにかして情報を渡す必要がある ◦ プロンプトエンジニアリング、ファインチューニング ◦

    RAG ▪ Retrieval Augmented Generationの略 ▪ ⾃社に蓄積された⼤量の⽂書を活⽤して、信頼できるデータを検索して情報を抽出し、それに基づい てLLMに回答させる⽅法のこと 検索性をどうにかしたい
  6. 10

  7. 12 • RAGの精度は研究段階のものがまだまだ多そうな印象 ◦ 触ってみるとベクトル検索だけでもキーワード検索よりも便利な印象 ◦ GraphRAGとかも便利そう ▪ グラフ理論を応⽤した新しいRAG ▪

    ドキュメントをグラフ構造でデータベースに保存して検索する ▪ unknown-unknownのドキュメントに到達できるようになる(かも?) ▪ 既知のエンティティや関係性から推測される新たなパターンや、新しい関係性の発⾒ • 精度を上げるためのテクニックもあるらしい ◦ RAGでの回答精度向上のためのテクニック集(RAGとは何か) ◦ RAGの精度と速度を同時に向上「DIVA」による曖昧さ対策 ▪ 即効性がありそうなのを⾒てくと⼈間向けにも良さそうな内容(構造化、メタデータ付与) RAGで検索性はよくなるのか?
  8. 15 • ⾃宅サーバで検証してみたが結構いい感じに使えそう • 事象に対してチャット形式でドキュメントを引っ張ってくれる&回答もくれるので思 考錯誤のためのヒントになる ◦ ただ知ってる情報ばっかでヒントが役⽴つケースってあんまないかも ◦ 障害対応中にChatGPTに聞くことってあんまないよなぁ

    • シニアなSREメンバー主体のチームで⼊れ替わりが少ないとかの状況なら正直いらな いんじゃないかなと思ったりした ◦ SREチームは最終的にはここを⽬指すべきというか本来ある形はこれなのでは? ◦ そのための⼀歩⽬としての施策とも⾔える...?? 感想と疑問