レンズの下のLLM / LLM under the Lens

December 30, 2023

170

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023

Tweet

More Decks by Henry Cui

See All by Henry Cui

プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model

0

150

Direct Preference Optimization

0

350

Diffusion Model with Perceptual Loss

0

330

Go with the Prompt Flow

0

150

0

190

ことのはの力で画像の異常検知 / Anomaly Detection by Language

0

520

驚愕の事実！LangChainが抱える問題 / Problems of LangChain

0

220

MLOps初心者がMLflowを触る / MLflow Brief Introduction

0

100

{{guidance}}のガイダンス / Guidance of guidance

0

150

Other Decks in Programming

See All in Programming

Bedrock×MCPで社内ブログ執筆文化を育てたい！

6

1.1k

Rollupのビルド時間高速化によるプレビュー表示速度改善とバンドラとASTを駆使したプロダクト開発の難しさ

1

180

VitestのIn-Source Testingが便利

7

2.2k

これだけは知っておきたいクラス設計の基礎知識 version 2

24

6.5k

Building Scalable Mobile Projects: Fast Builds, High Reusability and Clear Ownership

2

300

AI Coding Agent Enablement - エージェントを自走させよう

14

6.2k

KawaiiLT 登壇資料　キャリアとモチベーション

0

130

SwiftUI API Design Lessons

1

300

Building a macOS screen saver with Kotlin (Android Makers 2025)

1

160

趣味全開のAITuber開発

0

200

複雑なフォームの jotai 設計 / Designing jotai(state) for Complex Forms #layerx_frontend

4

1.1k

On-the-fly Suggestions of Rewriting Method Deprecations

1

3.2k

Featured

See All Featured

YesSQL, Process and Tooling at Scale

172

14k

Stop Working from a Prison Cell

268

20k

Documentation Writing (for coders)

69

4.7k

Designing Dashboards & Data Visualisations in Web Apps

231

53k

ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020

119

51k

Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything

30

2.3k

How STYLIGHT went responsive

99

5.5k

StorybookのUI Testing Handbookを読んだ

29

5.7k

Building an army of robots

304

45k

Adopting Sorbet at Scale

76

9.3k

How To Stay Up To Date on Web Technology

790

250k

RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub

135

33k

Transcript

レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30
LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens
2
TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪
TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3
TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app
• 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4
まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5