Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
Search
shibuiwilliam
April 25, 2023
Programming
5
4.5k
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/
shibuiwilliam
April 25, 2023
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AI時代のデータ基盤
shibuiwilliam
6
4.7k
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
3
1.5k
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
370
LayerXのApplied R&D
shibuiwilliam
2
50
LLM時代の検索
shibuiwilliam
3
1.1k
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
120
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
140
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
700
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.8k
Other Decks in Programming
See All in Programming
他言語経験者が Golangci-lint を最初のコーディングメンターにした話 / How Golangci-lint Became My First Coding Mentor: A Story from a Polyglot Programmer
uma31
0
330
CSC509 Lecture 07
javiergs
PRO
0
240
登壇は dynamic! な営みである / speech is dynamic
da1chi
0
350
モテるデスク環境
mozumasu
3
1k
コード生成なしでモック処理を実現!ovechkin-dm/mockioで学ぶメタプログラミング
qualiarts
0
240
スキーマ駆動で、Zod OpenAPI Honoによる、API開発するために、Hono Takibiというライブラリを作っている
nakita628
0
300
Claude CodeによるAI駆動開発の実践 〜そこから見えてきたこれからのプログラミング〜
iriikeita
0
320
組込みだけじゃない!TinyGo で始める無料クラウド開発入門
otakakot
2
360
Goで実践するドメイン駆動開発 AIと歩み始めた新規プロダクト開発の現在地
imkaoru
4
880
3年ぶりにコードを書いた元CTOが Claude Codeと30分でMVPを作った話
maikokojima
0
620
テーブル定義書の構造化抽出して、生成AIでDWH分析を試してみた / devio2025tokyo
kasacchiful
0
260
20251016_Rails News ~Rails 8.1の足音を聴く~
morimorihoge
2
670
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
97
6.3k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
For a Future-Friendly Web
brad_frost
180
10k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.7k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
238
140k
Typedesign – Prime Four
hannesfritz
42
2.8k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
249
1.3M
KATA
mclloyd
PRO
32
15k
Transcript
GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業:Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中!
• 副業:マイベストでMLエンジニア • 副業:NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
• 発売中! • https://www.amazon.co.jp/dp/4798169447/ • 発売中! • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは
難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊!
LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル(MLOps? LLMOps?)が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine
Tuning Fully training 評価する 修正 デプロイ 監視 ? これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと
質問をプロンプトに 組み込んで リクエストする
多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ -
用途・カテゴリに応じた分割 ・・・ 回答する Proxy
回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの
旅行先を教えて。 北海道とか箱 根とか! 北海道とかハワイと か! 0.5 OK OK 掃除機はどう選べ ば良い? XX社のYY製 品 軽くて安くてキレイに なる掃除機! 0.0 NG OK ︙ 質問:模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは?
モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ
ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
俺たちの LLM x MLOpsは これからだ!