Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

レンズの下のLLM / LLM under the Lens

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
250
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
270
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
500
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
540
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
260
Mojo Dojo
Avatar for Henry Cui zchenry
0
300
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
770
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
350
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
240
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
220

Other Decks in Programming

See All in Programming
作って学ぶSpring BootのAuto Configuration / JJUG Night Seminar 2026-10-19
Avatar for Ryo Shindo rshindo
0
220
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
Avatar for Aoi Umigishi umigishiaoi
0
130
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
Avatar for Stelios Frantzeskakis steliosf
PRO
1
100
AI時代のシニアエンジニアとは
Avatar for Yosuke Furukawa yosuke_furukawa
PRO
14
11k
Inertia Rails: The One-Person Framework with React & Friends
Avatar for Svyatoslav Kryukov skryukov
0
200
そのデザイントークン、Flutterでも同じ見た目になりますか？
Avatar for nakamizu nakamizu
0
190
flutter_test のその先へ — Flutter アプリの LLM 機能に「評価」という品質保証を
Avatar for Kosuke Saigusa kosukesaigusa
0
160
高橋メソッドでCVE解説シリーズ 〜CVE-2026-112816〜
Avatar for Hakkadaikon hakkadaikon
0
150
作れる、でも消せるか？──安全に「枯らして消す」機能削除術 / Drain, Then Delete
Avatar for chobishiba chobishiba
3
1.3k
Railsバージョンを4倍にした話
Avatar for OPTiM optim
0
900
Kotlinの15年とServer-Side Kotlin
Avatar for Takehata Naoto n_takehata
1
190
AmebaブログはKMPから卒業します
Avatar for 伊藤光次郎 kmars0605
0
310

Featured

See All Featured
WENDY [Excerpt]
Avatar for Tessa Abrams tessaabrams
14
40k
Helping Users Find Their Own Way: Creating Modern Search Experiences
Avatar for Dan Newman danielanewman
31
3.4k
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2.2k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
18k
From π to Pie charts
Avatar for Rasagy Sharma rasagy
1
430
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
33
5.5k
Reality Check: Gamification 10 Years Later
Avatar for Sebastian Deterding codingconduct
0
2.4k
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
57
7.2k
Side Projects
Avatar for Sacha Greif sachag
456
43k
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
1.3k
Leveraging Curiosity to Care for An Aging Population
Avatar for Cassini Nazir cassininazir
1
550
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
230k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5