Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
Search
shibuiwilliam
April 25, 2023
Programming
4
4.2k
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/
shibuiwilliam
April 25, 2023
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
LLMで推論するライブラリを整理する
shibuiwilliam
5
650
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
31
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
1
390
今日からRAGを 始めることを考える
shibuiwilliam
2
1.5k
2024年生成AI新年会登壇資料
shibuiwilliam
0
240
Creative as Software Engineering
shibuiwilliam
2
580
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
260
機械学習システム構築実践ガイド
shibuiwilliam
1
780
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.3k
Other Decks in Programming
See All in Programming
New Order in Cascade Sorting Order
mugi_uno
3
2.6k
A New Era of Testing
mannodermaus
2
150
実践 Advanced CallKit 〜快適な通話の実現に向けて〜
mot_techtalk
3
120
サーバーレスで負荷試験!Step Functions + Lambdaを使ったk6の分散実行
shuntakahashi
6
1.5k
[DroidKaigi 2024] Android ViewからJetpack Composeへ 〜Jetpack Compose移行のすゝめ〜 / From Android View to Jetpack Compose: A Guide to Migration
syarihu
1
240
rails_girls_is_my_gate_to_join_the_ruby_commuinty
maimux2x
0
190
connect-go で面倒くささと戦う / 2024-08-27 #newmo_layerx_go
izumin5210
2
620
Kotlin 2.0が与えるAndroid開発の進化
masayukisuda
1
260
Prolog入門
qnighy
4
960
大公開!iOS開発の悩みトップ5 〜iOSDC Japan 2024〜
ryunakayama
0
190
全部見せます! クラシルリワードのSwiftTesting移行プロジェクト
uetyo
0
180
Go1.23で入った errorsパッケージの小さなアプデ
kuro_kurorrr
2
270
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Infographics Made Easy
chrislema
239
18k
Rails Girls Zürich Keynote
gr2m
93
13k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.8k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
Done Done
chrislema
180
16k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.8k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Typedesign – Prime Four
hannesfritz
39
2.3k
Transcript
GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業:Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中!
• 副業:マイベストでMLエンジニア • 副業:NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
• 発売中! • https://www.amazon.co.jp/dp/4798169447/ • 発売中! • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは
難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊!
LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル(MLOps? LLMOps?)が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine
Tuning Fully training 評価する 修正 デプロイ 監視 ? これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと
質問をプロンプトに 組み込んで リクエストする
多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ -
用途・カテゴリに応じた分割 ・・・ 回答する Proxy
回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの
旅行先を教えて。 北海道とか箱 根とか! 北海道とかハワイと か! 0.5 OK OK 掃除機はどう選べ ば良い? XX社のYY製 品 軽くて安くてキレイに なる掃除機! 0.0 NG OK ︙ 質問:模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは?
モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ
ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
俺たちの LLM x MLOpsは これからだ!