Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Henry Cui
December 30, 2023
Programming
0
160

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
130
Direct Preference Optimization
zchenry
0
330
Diffusion Model with Perceptual Loss
zchenry
0
300
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
480
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
zchenry
0
200
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
96
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
150

Other Decks in Programming

See All in Programming
kintone開発を効率化するためにチームで試した施策とその結果を大放出！
oguemon
0
330
Amazon Bedrockマルチエージェントコラボレーションを諦めてLangGraphに入門してみた
akihisaikeda
1
150
PEPCは何を変えようとしていたのか
ken7253
3
300
1年目の私に伝えたい！テストコードを怖がらなくなるためのヒント/Tips for not being afraid of test code
push_gawa
1
650
Datadog DBMでなにができる？ JDDUG Meetup#7
nealle
0
160
Drawing Heighway’s Dragon - Recursive Function Rewrite - From Imperative Style in Pascal 64 To Functional Style in Scala 3
philipschwarz
PRO
0
150
仕様変更に耐えるための"今の"DRY原則を考える
mkmk884
9
3.2k
CDKを使ったPagerDuty連携インフラのテンプレート化
shibuya_shogo
0
120
自力でTTSモデルを作った話
zgock999
0
120
読まないコードリーディング術
hisaju
0
110
クリーンアーキテクチャから見る依存の向きの大切さ
shimabox
5
1.1k
Jasprが凄い話
hyshu
0
180

Featured

See All Featured
Building an army of robots
kneath
303
45k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Site-Speed That Sticks
csswizardry
4
420
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
RailsConf 2023
tenderlove
29
1k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Fireside Chat
paigeccino
35
3.2k
Rails Girls Zürich Keynote
gr2m
94
13k
Gamification - CAS2011
davidbonilla
80
5.2k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5