Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
190

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
210
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
380
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
410
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
170
Mojo Dojo
Avatar for Henry Cui zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
580
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
250
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
130
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
170

Other Decks in Programming

See All in Programming
もうちょっといいRubyプロファイラを作りたい (2025)
Avatar for osyoyu osyoyu
0
230
The Past, Present, and Future of Enterprise Java
Avatar for ivargrimstad ivargrimstad
0
290
Oracle Database Technology Night 92 Database Connection control FAN-AC
Avatar for oracle4engineer oracle4engineer
PRO
1
360
tool ディレクティブを導入してみた感想
Avatar for Sugar Sato sgash708
1
160
A Gopher's Guide to Vibe Coding
Avatar for Daniela Petruzalek danicat
0
200
UbieのAIパートナーを支えるコンテキストエンジニアリング実践
Avatar for Ryo Okubo syucream
2
800
ProxyによるWindow間RPC機構の構築
Avatar for syumai syumai
1
260
Trem on Rails - Prompt Engineering com Ruby
Avatar for Elaine Naomi elainenaomi
1
100
The state patternの実践 個人開発で培ったpractice集
Avatar for miyanokomiya miyanokomiya
0
160
Microsoft Orleans, Daprのアクターモデルを使い効率的に開発、デプロイを行うためのSekibanの試行錯誤 / Sekiban: Exploring Efficient Development and Deployment with Microsoft Orleans and Dapr Actor Models
Avatar for Tomohisa Takaoka tomohisa
0
220
ECS初心者の仲間 – TUIツール「e1s」の紹介
Avatar for Xing Yahao keidarcy
0
150
go test -json そして testing.T.Attr / Kyoto.go #63
Avatar for utagawa kiki utgwkk
1
200

Featured

See All Featured
Music & Morning Musume
Avatar for Bryan Veloso bryan
46
6.8k
It's Worth the Effort
Avatar for 3n 3n
187
28k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
229
22k
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
45
7.6k
Making Projects Easy
Avatar for Brett Harned brettharned
117
6.4k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
656
61k
The Language of Interfaces
Avatar for Des Traynor destraynor
160
25k
How GitHub (no longer) Works
Avatar for Zach Holman holman
315
140k
The Straight Up "How To Draw Better" Workshop
Avatar for Dennis Kardys denniskardys
236
140k
Bootstrapping a Software Product
Avatar for Garrett Dimon garrettdimon
PRO
307
110k
A better future with KSS
Avatar for Kyle Neath kneath
239
17k
[RailsConf 2023] Rails as a piece of cake
Avatar for Vladimir Dementyev palkan
56
5.8k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5