レンズの下のLLM / LLM under the Lens

December 30, 2023

160

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023

Tweet

More Decks by Henry Cui

See All by Henry Cui

プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model

0

120

Direct Preference Optimization

0

320

Diffusion Model with Perceptual Loss

0

290

Go with the Prompt Flow

0

140

1

180

ことのはの力で画像の異常検知 / Anomaly Detection by Language

0

450

驚愕の事実！LangChainが抱える問題 / Problems of LangChain

0

190

MLOps初心者がMLflowを触る / MLflow Brief Introduction

0

94

{{guidance}}のガイダンス / Guidance of guidance

0

150

Other Decks in Programming

See All in Programming

ゼロからの、レトロゲームエンジンの作り方

3

1.1k

Lookerは可視化だけじゃない。UIコンポーネントもあるんだ！

1

140

社内フレームワークとその依存性解決 / in-house framework and its dependency management

1

500

時計仕掛けのCompose

1

190

Compose でデザインと実装の差異を減らすための取り組み

1

240

2,500万ユーザーを支えるSREチームの6年間のスクラムのカイゼン

6

4.2k

shadcn/uiを使ってReactでの開発を加速させよう！

0

390

ESLintプラグインを使用してCDKのセオリーを適用する

yamanashi_ren01

2

380

GitHub CopilotでTypeScriptのコード生成するワザップ

28

6.1k

0

540

Внедряем бюджетирование, или Как сделать хорошо?

0

980

WebDriver BiDiとは何なのか

1

100

Featured

See All Featured

Put a Button on it: Removing Barriers to Going Fast.

60

3.7k

4 Signs Your Business is Dying

182

22k

Building Better People: How to give real-time feedback that sticks.

366

19k

Building Adaptive Systems

39

2.4k

Design and Strategy: How to Deal with People Who Don’t "Get" Design

127

19k

Raft: Consensus for Rubyists

137

6.7k

Optimising Largest Contentful Paint

33

3k

Six Lessons from altMBA

27

3.6k

XXLCSS - How to scale CSS and keep your sanity

248

1.3M

Facilitating Awesome Meetings

51

6.2k

29

14k

YesSQL, Process and Tooling at Scale

171

14k

Transcript

レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30
LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens
2
TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪
TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3
TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app
• 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4
まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5