Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Henry Cui
December 30, 2023
Programming
0
160

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
110
Direct Preference Optimization
zchenry
0
300
Diffusion Model with Perceptual Loss
zchenry
0
270
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
1
180
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
410
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
zchenry
0
180
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
90
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
140

Other Decks in Programming

See All in Programming
PHPで作るWebSocketサーバー ~リアクティブなアプリケーションを知るために~ / WebSocket Server in PHP - To know reactive applications
seike460
PRO
2
670
nekko cloudにおけるProxmox VE利用事例
irumaru
3
480
Jakarta EE meets AI
ivargrimstad
0
310
20年もののレガシープロダクトに 0からPHPStanを入れるまで / phpcon2024
hirobe1999
0
880
LLM Supervised Fine-tuningの理論と実践
datanalyticslabo
7
1.6k
バグを見つけた？それAppleに直してもらおう！
uetyo
0
190
Recoilを剥がしている話
kirik
5
7.4k
CloudflareStack でRAGに入門
asahiiwm
0
130
PHPUnitしか使ってこなかった 一般PHPerがPestに乗り換えた実録
mashirou1234
0
350
数十万行のプロジェクトを Scala 2から3に完全移行した
xuwei_k
0
380
暇に任せてProxmoxコンソール 作ってみました
karugamo
2
750
どうして手を動かすよりもチーム内のコードレビューを優先するべきなのか
okashoi
3
670

Featured

See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Code Review Best Practice
trishagee
65
17k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Docker and Python
trallard
42
3.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.1k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
We Have a Design System, Now What?
morganepeng
51
7.3k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
Facilitating Awesome Meetings
lara
50
6.1k
Unsuck your backbone
ammeep
669
57k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5