Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
Search
shibuiwilliam
April 25, 2023
Programming
4
4.4k
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/
shibuiwilliam
April 25, 2023
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
4
410
LLMで推論するライブラリを整理する
shibuiwilliam
5
1.2k
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
68
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
600
今日からRAGを 始めることを考える
shibuiwilliam
2
1.6k
2024年生成AI新年会登壇資料
shibuiwilliam
0
310
Creative as Software Engineering
shibuiwilliam
2
630
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
320
機械学習システム構築実践ガイド
shibuiwilliam
1
890
Other Decks in Programming
See All in Programming
「とりあえず動く」コードはよい、「読みやすい」コードはもっとよい / Code that 'just works' is good, but code that is 'readable' is even better.
mkmk884
6
1.4k
rails newと同時に型を書く
aki19035vc
5
710
Androidアプリのモジュール分割における:x:commonを考える
okuzawats
1
270
ecspresso, ecschedule, lambroll を PipeCDプラグインとして動かしてみた (プロトタイプ) / Running ecspresso, ecschedule, and lambroll as PipeCD Plugins (prototype)
tkikuc
2
1.8k
Beyond ORM
77web
11
1.6k
どうして手を動かすよりもチーム内のコードレビューを優先するべきなのか
okashoi
3
870
20241217 競争力強化とビジネス価値創出への挑戦:モノタロウのシステムモダナイズ、開発組織の進化と今後の展望
monotaro
PRO
0
280
Simple組み合わせ村から大都会Railsにやってきた俺は / Coming to Rails from the Simple
moznion
3
2.1k
React 19でお手軽にCSS-in-JSを自作する
yukukotani
5
560
令和7年版 あなたが使ってよいフロントエンド機能とは
mugi_uno
10
5k
テストコードのガイドライン 〜作成から運用まで〜
riku929hr
7
1.4k
オニオンアーキテクチャを使って、 Unityと.NETでコードを共有する
soi013
0
370
Featured
See All Featured
RailsConf 2023
tenderlove
29
970
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Documentation Writing (for coders)
carmenintech
67
4.5k
Fireside Chat
paigeccino
34
3.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
What's in a price? How to price your products and services
michaelherold
244
12k
Navigating Team Friction
lara
183
15k
Building Adaptive Systems
keathley
38
2.4k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Transcript
GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業:Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中!
• 副業:マイベストでMLエンジニア • 副業:NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
• 発売中! • https://www.amazon.co.jp/dp/4798169447/ • 発売中! • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは
難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊!
LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル(MLOps? LLMOps?)が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine
Tuning Fully training 評価する 修正 デプロイ 監視 ? これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと
質問をプロンプトに 組み込んで リクエストする
多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ -
用途・カテゴリに応じた分割 ・・・ 回答する Proxy
回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの
旅行先を教えて。 北海道とか箱 根とか! 北海道とかハワイと か! 0.5 OK OK 掃除機はどう選べ ば良い? XX社のYY製 品 軽くて安くてキレイに なる掃除機! 0.0 NG OK ︙ 質問:模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは?
モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ
ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
俺たちの LLM x MLOpsは これからだ!