Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レンズの下のLLM / LLM under the Lens
Search
Henry Cui
December 30, 2023
Programming
0
98
レンズの下のLLM / LLM under the Lens
Henry Cui
December 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
160
Diffusion Model with Perceptual Loss
zchenry
0
77
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
200
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
63
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
zchenry
0
170
Other Decks in Programming
See All in Programming
Behind VS Code Extensions for JavaScript / TypeScript Linnting and Formatting
unvalley
6
1.3k
Amazon SQSコンシューマー疎結合への旅 - 出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 #3
quiver
0
350
Elm 0.19.0 Changes
bkuhlmann
0
510
Exploring the Implementation of “t.Run”, “t.Parallel”, and “t.Cleanup”
akarin
1
140
Tailwind CSSを本気でカスタマイズする方法
fsubal
15
5.6k
Deep Dive into React Stream/Serialize
mugi_uno
3
760
使ってみよう Azure AI Document Intelligence
kosmosebi
2
370
Anthropic Cookbook のおすすめレシピ
schroneko
7
1.4k
Goのエラースタックトレースの歴史と今後
sonatard
10
2k
Let's learn code review
riofujimon
2
620
MetricKitで予期せぬ終了を検知する話 / Detect unexpected termination with MetricKit
nekowen
1
200
Fast JSX: Don't clone props object #28768
yossydev
1
210
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.4k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
80
44k
A Tale of Four Properties
chriscoyier
153
22k
Music & Morning Musume
bryan
41
5.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
660
120k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Transcript
レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30
LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens
2
TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪
TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3
TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app
• 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4
まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5