Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Japanese_MT-Bench_を使った_LLM_モデルの評価.pdf
Search
Keisuke Kamata
January 24, 2024
1
1.2k
Japanese_MT-Bench_を使った_LLM_モデルの評価.pdf
Keisuke Kamata
January 24, 2024
Tweet
Share
More Decks by Keisuke Kamata
See All by Keisuke Kamata
生成AI開発を加速するNVIDIA NIMとNVIDIA NeMo
olachinkei
2
350
Weaveを用いた生成AIアプリケーションの評価_モニタリンングと実践例.pdf
olachinkei
2
350
20240917_wandb_Monthly_meetup_TIS
olachinkei
0
480
Nejumi Leaderboard release 20240702
olachinkei
1
250
LCTG Bench 日本語LLMの制御性ベンチマークの紹介
olachinkei
1
330
ICHIKARA-INSTRUCTION LLMのための日本語インストラクションの構築と 人間とGPT-4による評価で観察されたもの
olachinkei
1
1.1k
Jasterデータセットを使ったLLMモデルの評価
olachinkei
4
3.5k
W&B webinar LLM leaderboard Neo
olachinkei
1
1.2k
llm-jp-eval 日本語大規模言語モデルの 自動評価ツールの開発に向けて
olachinkei
4
3.1k
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Building Adaptive Systems
keathley
40
2.4k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
560
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Raft: Consensus for Rubyists
vanstee
137
6.8k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
How GitHub (no longer) Works
holman
314
140k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
350
Transcript
Japanese MT-Bench を使った LLM モデルの評価 Meng Lee, Stability AI @
W&B Webinar 2024/01/24
Agenda • 自己紹介 • Japanese Stable LM シリーズ • Japanese
MT-Bench
Meng Lee (メン・リ) 自己紹介 • Stability AI で機械学習エンジニア。日本語大規 模言語モデル(LLM)の研究開発を主導
• SmartNews 時期は会社初の BERT・DistilBert に基づく大規模ニュース分類システムを構築 • 台湾大学情報管理科で情報検索と自然言語処 理を専攻 • 台湾育ての多言語モデル。日本語、英語と中国 語。コードもそこそこ書けます
🦜 Japanese Stable LM シリーズ • モデルサイズ 3B から 70B
の日本語 LLM を公開 • ゼロから学習か、英語のベースモデルから継続学習 • 基盤言語モデルとチャットモデル • 日本語特化の lm-evaluation-harness を開発し、 JGLUE ベースで LLM の言語理解を評価
⚖ Japanese MT-Bench での日本語 LLM の言語生成評価 • Chatbot Arena で有名な
LLM-as-a-judge 論 文の手法に沿って作られた会話形式の日本 語特化の LLM 言語生成評価データセット (MT は Multi-Turn の省略) • 8つの応用領域の問題を含む。各問題に正確 に答えるために、LLMは以下の要求を同時に 満たす必要があります: • 流暢な日本語を生成する • 世界の知識を理解する • 日本文化、社会を理解する • 推論や数学の能力を持つ • 文脈を理解し、利用者と対話すること
⚖ Japanese MT-Bench での日本語 LLM の言語生成評価
⚖ Weights & Biases で Japanese MT-Bench を利用 • Japanese
MT-Bench は、GPT-4 のような強 力な LLM を使用して自動評価を行い、企業 や研究所のための迅速な LLM 開発を可能 にします。 • lm-evaluation-harness・Jaster と一緒に使 用することをお勧めします。これにより、これ らの日本語 LLM のパフォーマンスをより深く 理解することができます。 • Nejumiリーダーボードは日本語特化の LLM 評価を簡単にしてくれる
Stability AI 採用情報:https://ja.stability.ai/careers Japanese Stable LM: https://huggingface.co/stabilityai