Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
210

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
240
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
430
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
490
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
200
Mojo Dojo
Avatar for Henry Cui zchenry
0
250
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
670
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
300
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
180
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
190

Other Decks in Programming

See All in Programming
AI活用のコスパを最大化する方法
Avatar for Ochtum ochtum
0
250
API Platformを活用したPHPによる本格的なWeb API開発 / api-platform-book-intro
Avatar for Takashi Kanemoto ttskch
1
150
Kubernetesでセルフホストが簡単なNewSQLを求めて / Seeking a NewSQL Database That's Simple to Self-Host on Kubernetes
Avatar for nnaka2992 nnaka2992
0
160
The Past, Present, and Future of Enterprise Java
Avatar for ivargrimstad ivargrimstad
0
710
Symfony + NelmioApiDocBundle を使った スキーマ駆動開発 / Schema Driven Development with NelmioApiDocBundle
Avatar for Shohei Okada okashoi
0
190
Rで始めるML・LLM活用入門
Avatar for wakama1994 wakamatsu_takumu
0
190
grapheme_strrev関数が採択されました（あと雑感）
Avatar for てきめん tekimen youkidearitai
PRO
1
240
CS教育のDX AIによる育成の効率化
Avatar for ニフティ株式会社 niftycorp
PRO
0
150
Angular-Apps smarter machen mit Gen AI: Lokal und offlinefähig - Hands-on Workshop!
Avatar for Christian Liebel christianliebel
PRO
0
120
Feature Toggle は捨てやすく使おう
Avatar for gennei gennei
0
130
脱 雰囲気実装！ AgentCoreを良い感じに WEBアプリケーションに組み込むために
Avatar for Takuya Yonezawa takuyay0ne
3
350
「接続」—パフォーマンスチューニングの最後の一手 〜点と点を結ぶ、その一瞬のために〜
Avatar for 武田 憲太郎 kentaroutakeda
3
1.2k

Featured

See All Featured
Building an army of robots
Avatar for Kyle Neath kneath
306
46k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
17k
It's Worth the Effort
Avatar for 3n 3n
188
29k
Designing for humans not robots
Avatar for Tammie Lister tammielis
254
26k
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
0
830
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
82
6.2k
Odyssey Design
Avatar for Ryan Kendrick rkendrick25
PRO
2
550
Organizational Design Perspectives: An Ontology of Organizational Design Elements
Avatar for Dr. Kim W Petersen kimpetersen
PRO
1
640
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.8k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.5k
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
13
1.1k
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
150

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5