Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
190

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
220
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
390
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
430
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
170
Mojo Dojo
Avatar for Henry Cui zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
600
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
140
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
170

Other Decks in Programming

See All in Programming
Foundation Modelsを実装日本語学習アプリを作ってみた！
Avatar for 蛋白（たんぱく・TANPACT） hypebeans
0
120
All About Angular's New Signal Forms
Avatar for Manfred Steyer manfredsteyer
PRO
0
200
CSC509 Lecture 08
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
220
Six and a half ridiculous things to do with Quarkus
Avatar for Holly Cummins hollycummins
0
200
CSC305 Lecture 06
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
260
Building, Deploying, and Monitoring Ruby Web Applications with Falcon (Kaigi on Rails 2025)
Avatar for Samuel Williams ioquatix
4
2.4k
overlayPreferenceValue で実現する ピュア SwiftUI な AdMob ネイティブ広告
Avatar for Takashi uhucream
0
200
Webサーバーサイド言語としてのRustについて
Avatar for kaza kouyuume
0
2.3k
Cursorハンズオン実践！
Avatar for Ikko Eltociear Ashimine eltociear
2
1.2k
What Spring Developers Should Know About Jakarta EE
Avatar for ivargrimstad ivargrimstad
0
350
その面倒な作業、「Dart」にやらせませんか？ Flutter開発者のための業務効率化
Avatar for YomEngine yordgenome03
1
140
Go言語はstack overflowの夢を見るか？
Avatar for Takuto Nagami logica0419
0
500

Featured

See All Featured
Designing for humans not robots
Avatar for Tammie Lister tammielis
254
26k
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
55
9k
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
95
14k
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
269
13k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.8k
BBQ
Avatar for Matthew Crist matthewcrist
89
9.8k
Why You Should Never Use an ORM
Avatar for John Nunemaker jnunemaker
PRO
59
9.6k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
9.6k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
1.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
Avatar for Eileen M. Uchitelle eileencodes
26
3.1k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
791
250k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5