Slide 1

Slide 1 text

今日からRAGを 始めることを考える 2024/05/22

Slide 2

Slide 2 text

自己紹介 shibui yusuke ● 文学修士→いろいろ → Stability AI Japan ● 主にデータエンジニア ● もともとクラウド基盤の開発、運用 ● ここ7年くらいMLOpsとバックエンドとインフラと データ関連で仕事 ● Github: @shibuiwilliam ● FB: yusuke.shibui ● 最近の趣味:ルービックキューブ cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 ● 本日の資料:

Slide 3

Slide 3 text

● 発売中! ● https://www.amazon.co.jp/dp/4798173401/ ● 発売中! ● https://www.amazon.co.jp/dp/4798169447/

Slide 4

Slide 4 text

技術評論社Software & Designで MLOpsについて連載しました! ● 2023年8月号  MLOpsの概要 ● 2023年9月号  MLOpsのためのスキルセットとチーム構成 ● 2023年10月号 方針策定とMLOpsのためのツール ● 2023年11月号 MLOpsのための技術選定 ● 2023年12月号 LLMのためのDevOps ● 2024年1月号  MLOpsと評価 ● 2024年2月号  推論システム(予定) ● 2024年3月号  機械学習システムの引き継ぎ ● 2024年4月号  LLMのデータエンジニアリング ● 2024年5月号  機械学習の使い途と未来 MLOpsについてあまり他では取り上げられないテーマを 中心に記事を書きました!

Slide 5

Slide 5 text

RAGとは

Slide 6

Slide 6 text

RAGの流れ 検索 統合 生成 UI 今日の天 気を教えて 天気予報 を検索 集めた情 報を整理 文章生成 今日は晴れる でしょう🌞

Slide 7

Slide 7 text

実際には大体こんな感じ 検索 統合 生成 社内文書 やDB インター ネット LLM 検索ワードを 生成 情報を整理 文章生成 UI

Slide 8

Slide 8 text

どこまで自作するか? 検索 統合 生成 社内文書 やDB インター ネット LLM 検索ワードを 生成 情報を整理 文章生成 要自作 ロジックは 要自作 自作は 超大変 自作 不可能 検索Indexは要自作 検索基盤はOSS等を 使うことが多い プロンプトは 要自作 ワークフローの インテグレーションは??? UI ツール 次第

Slide 9

Slide 9 text

そもそもなにが目的? RAG不要 RAG必要 要検討 検索 コーディン グ補助 社内 情報 情報 整理 文章 要約 自動 応答 分析 最新の 情報で LLM RAGでは解決できなさそうなこと:  営業活動、社内調整、プレゼン、出張、  自分の意見を言う、家を買う、受験、  ボランティア、就職活動、世界平和 LLMに 相談 翻訳

Slide 10

Slide 10 text

簡単な課題を便利なツールで始めるのが良さそう ● 簡単 ○ Dify.ai ● コーディングが必要 ○ Langchain ○ LlamaIndex ● クラウドの知見が必要 ○ AWS ○ Azure ○ GCP ● LLMから自作 ● そもそもRAGを使わない ○ OpenAI ○ Gemini ○ Claude 簡単 拡張性

Slide 11

Slide 11 text

RAG LT大会を お楽しみください!