Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
230
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
250
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
450
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
510
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
220
Mojo Dojo
Avatar for Henry Cui zchenry
0
260
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
700
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
310
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
190
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
200

Other Decks in Programming

See All in Programming
t *testing.T は どこからやってくるの？
Avatar for Kotaro Otaka otakakot
1
710
ついに来た！本格的なマルチクラウド時代の Google Cloud
Avatar for maroon1st maroon1st
0
250
Liberating Ruby's Parser from Lexer Hacks
Avatar for ydah ydah
2
2.2k
ソフトウェア設計の結合バランス #phperkaigi
Avatar for Takuma Kajikawa kajitack
0
150
The Past, Present, and Future of Enterprise Java
Avatar for ivargrimstad ivargrimstad
0
110
SkillがSkillを生む：QA観点出しを自動化した
Avatar for sontixyou sontixyou
6
3.5k
GoogleCloudとterraform完全に理解した
Avatar for Terisuke terisuke
1
160
Claude CodeでETLジョブ実行テストを自動化してみた
Avatar for yoshiki kasama yoshikikasama
0
840
Kingdom of the Machine
Avatar for yui-knk yui_knk
2
920
Claude Codeをカスタムして自分だけのClaude Codeを作ろう
Avatar for Terisuke terisuke
0
150
Server-Side Kotlin LT大会 vol.18 [Kotlin-lspの最新情報と Neovimのlsp設定例]
Avatar for yasunori yasunori0418
1
190
ふりがな Deep Dive try! Swift Tokyo 2026
Avatar for watura watura
0
240

Featured

See All Featured
Become a Pro
Avatar for Speaker Deck speakerdeck
PRO
31
5.9k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
57
14k
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
170
Sharpening the Axe: The Primacy of Toolmaking
Avatar for Bryan Cantrill bcantrill
46
2.8k
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
304
21k
Navigating the Design Leadership Dip - Product Design Week Design Leaders+ Conference 2024
Avatar for Andy Polaine apolaine
0
280
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
0
900
What does AI have to do with Human Rights?
Avatar for Per Axbom axbom
PRO
1
2.1k
The untapped power of vector embeddings
Avatar for Frank van Dijk frankvandijk
2
1.7k
Designing Powerful Visuals for Engaging Learning
Avatar for Mike Taylor tmiket
1
350
Evolving SEO for Evolving Search Engines
Avatar for Ryan Jones ryanjones
0
180
The SEO Collaboration Effect
Avatar for Kristina Bergwall kristinabergwall1
1
430

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5