Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
高品質オープンLLM: DBRXとは何か?
Search
Databricks Japan
April 13, 2024
Technology
0
300
高品質オープンLLM: DBRXとは何か?
データブリックスが開発した 商用利用可能かつ日本語にも 対応する高品質なオープンLLM: 『DBRX』について説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
JEDAI Meetup! Databricks AI/BI概要
databricksjapan
0
190
Databricks AI/BIクイックワークショップ 環境セットアップガイド
databricksjapan
1
61
Databricks AI/BIクイックワークショップ
databricksjapan
1
340
[2024年10月版] Notebook 2.0のご紹介 / Notebook2.0
databricksjapan
1
1.8k
Databricksによるデータサイエンスと機械学習 / Data Science With Databricks
databricksjapan
2
93
Databricksで挑む!SEGAのデータ活用の次なる一歩
databricksjapan
2
420
Azure Databricksアカウント & Unity Catalogメタストア概要 / Azure Databricks Account and Unity Catalog Metastore Overview
databricksjapan
0
100
[2024年12月版] Unity Catalogセットアップガイド / Unity Catalog Setup Guide
databricksjapan
0
410
[2024年12月版] Databricks Express Setup手順 / Databricks Express Setup
databricksjapan
1
130
Other Decks in Technology
See All in Technology
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
2k
The Future of SEO: The Impact of AI on Search
badams
0
220
Helm , Kustomize に代わる !? 次世代 k8s パッケージマネージャー Glasskube 入門 / glasskube-entry
parupappa2929
0
250
Windows の新しい管理者保護モード
murachiakira
0
110
開発スピードは上がっている…品質はどうする? スピードと品質を両立させるためのプロダクト開発の進め方とは #DevSumi #DevSumiB / Agile And Quality
nihonbuson
2
3.2k
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
160
スタートアップ1人目QAエンジニアが QAチームを立ち上げ、“個”からチーム、 そして“組織”に成長するまで / How to set up QA team at reiwatravel
mii3king
2
1.5k
プロダクトエンジニア構想を立ち上げ、プロダクト志向な組織への成長を続けている話 / grow into a product-oriented organization
hiro_torii
1
230
自動テストの世界に、この5年間で起きたこと
autifyhq
10
8.7k
OpenID BizDay#17 KYC WG活動報告(法人) / 20250219-BizDay17-KYC-legalidentity
oidfj
0
260
プロダクトエンジニア 360°フィードバックを実施した話
hacomono
PRO
0
100
現場の種を事業の芽にする - エンジニア主導のイノベーションを事業戦略に装着する方法 -
kzkmaeda
2
2.1k
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
550
Optimizing for Happiness
mojombo
376
70k
4 Signs Your Business is Dying
shpigford
182
22k
A Modern Web Designer's Workflow
chriscoyier
693
190k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
How to train your dragon (web standard)
notwaldorf
91
5.8k
Being A Developer After 40
akosma
89
590k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
350
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
Transcript
©2024 Databricks Inc. — All rights reserved 1 データブリックスが開発した 商用利用可能かつ日本語にも
対応する高品質なオープンLLM DBRX データブリックス・ジャパン株式会社 大内山 浩 Created on 8/4/2024, Updated on 9/4/2024
©2024 Databricks Inc. — All rights reserved 「DBRX」のご紹介 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
• 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 • 一般公開のオンライン・データ・ソース、 合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 • フルスクラッチで実装されたオリジナルなLLM(計 132Bパラメータ) • MoE(Mixture of Experts)を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless (MegaBlocks)、RoPE、GLU、QGAを実装 • Databricksの各種機能をフル活用 ◦ MosaicML、Lilac、MLFlow、UC、Sparkなど • NVIDIA GPU H100 を 3,072枚使用 ◦ Mosaic AI Training Service にて管理 精度と性能 データと学習手法 開発環境 モデルアーキテクチャー
©2024 Databricks Inc. — All rights reserved DBRXとは Databricksがゼロから開発した高品質な最新オープンソースLLMです。 •
DBRX Base :事前学習済みモデル ◦ スマートなオートコンプリートのように動作 - 何を言ったとしても 続きを生成します。 ◦ ご自身のデータでファインチューニングする際に有用です。 • DBRX Instruct :ファインチューニングモデル ◦ 質問回答や指示追従を行うように設計されています。 ◦ DBRX Baseに対して、ドメイン固有のデータにによる追加トレーニング、指示追従の ためのファインチューニングを行うことで構築されています。
©2024 Databricks Inc. — All rights reserved AI2 WildBenchにてDBRXが最高のオープンLLMに! 引用元:https://huggingface.co/spaces/allenai/WildBench
2024年4月2日時点 2024年4月3日 14:20時点
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
精度と性能 データと学習手法 モデルアーキテクチャー 開発環境
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
データと学習手法 モデルアーキテクチャー 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能
©2024 Databricks Inc. — All rights reserved DBRXは言語理解(MMLU)、プログラミング(HumanEval)、数学(GSM8K) において、主要オープンソースLLMとGPT-3.5を上回っています 主要オープンLLMとの比較
GPT-3.5との比較
©2024 Databricks Inc. — All rights reserved DBRX は LLaMA2-70Bに比べて推論が2倍高速
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
データと学習手法 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM(計 132Bパラメータ) • MoE(Mixture of Experts)を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless (MegaBlocks)、RoPE、GLU、QGAを実装 モデルアーキテクチャー
©2024 Databricks Inc. — All rights reserved MoE(Mixture of Experts)とは
1991年に誕生、2021年頃から言語モデルへ適用されている技術 Expert 01 パラメーター数: 70B (700億個) Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー(密なモデル) MoEアーキテクチャー(疎なモデル) Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 DBRXの場合 パラメーター数: 132B (1320億個) 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 → 計算量を抑えられるため学習/推論ともに高速 LLaMa2-70bの場合
©2024 Databricks Inc. — All rights reserved MoE(Mixture of Experts)とは
Expert 01 パラメーター数: 70B (700億個) Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー(密なモデル) MoEアーキテクチャー(疎なモデル) Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 → 計算量を抑えられるため2倍高速 MegaBlocks 効率的なMoEの学 習を実現するため MegaBlocksを導入 DBRXの場合 パラメーター数: 132B (1320億個) LLaMa2-70bの場合 1991年に誕生、2021年頃から言語モデルへ適用されている技術
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM(計 132Bパラメータ) • MoE(Mixture of Experts)を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless (MegaBlocks)、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、 合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM(計 132Bパラメータ) • MoE(Mixture of Experts)を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless (MegaBlocks)、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、 合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
©2024 Databricks Inc. — All rights reserved DBRXをどのように構築したのか データ探索やキュレー ションのためのLilac
AI データクレンジングと処 理のための ノートブックとApache Spark データストレージとガバ ナンスのためのUnity Catalog モデルトレーニングの ための Mosaic Multi-Cloud Training (MCT) 実験トラッキングのため の MLflowとLakeview • NVIDIA GPU H100を3072枚使用 • 評価とレッドチームのためのFoundation Model APIと AI Playground • モデルをトレーニングするための、Composer、StreamingDataset、LLM Foundryを含むオープンソースライブラリの最適化バージョン DBRXはDatabricksの様々なチームおよびAIコミュニティのサポートを受け Mosaic Researchチームによって構築されました。
©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。
• 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 • 一般公開のオンライン・データ・ソース、 合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 • フルスクラッチで実装されたオリジナルなLLM(計 132Bパラメータ) • MoE(Mixture of Experts)を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless (MegaBlocks)、RoPE、GLU、QGAを実装 • Databricksの各種機能をフル活用 ◦ MosaicML、Lilac、MLFlow、UC、Sparkなど • NVIDIA GPU H100 を 3,072枚使用 ◦ Mosaic AI Training Service にて管理 精度と性能 データと学習手法 開発環境 モデルアーキテクチャー
©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す? Hugging Face
Spaces Databricks FM API / AI Playground
©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す? • Hugging
Face Databricks Space ◦ https://huggingface.co/spaces/databricks/dbrx-instruct ◦ https://huggingface.co/databricks/dbrx-base ◦ https://huggingface.co/databricks/dbrx-instruct • Databricks AI Playgroundや基盤モデルAPI ◦ https://$instance$.databricks.com/ml/playground • DBRX GitHub ◦ https://github.com/databricks/dbrx • 量子化版(コミュニティーによる開発) ◦ https://huggingface.co/mlx-community/dbrx-instruct-4bit ◦ https://github.com/ggerganov/llama.cpp/issues/6344 [重要] 2024年4月8日現在、Databricks AI PlaygroundおよびDBRXの基盤モデルAPIは日本リージョン(AWS、Azure、GCP)にて提 供されておりません。したがって、USリージョンのご利用を検討いただく、または、Databricks MarketplaceやHuggingFaceからモデル をダウンロードし、日本リージョンにてノートブック上でご利用いただくようお願いいたします。
©2024 Databricks Inc. — All rights reserved DBRX 検索
©2024 Databricks Inc. — All rights reserved 日本語能力の評価
©2024 Databricks Inc. — All rights reserved 日本語ベンチマーク「JGLUE」の主要評価項目 JSQuAD JCommonsenseQA
JNLI MARC-ja 引用元:https://techblog.yahoo.co.jp/entry/2022122030379907/
©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~楽天の公開データと比較~
model_name AVG MARC-ja-ACCURACY JNLI-ACCURACY JSQuAD- ExactMatch rakuten-ai-7b-instruct 88.94 96.00 90.39 80.44 youri-7b-instruction 83.23 97.03 70.13 82.53 DBRX-base 77.61 89.07 57.07 86.70 DBRX-instruct 77.59 85.60 62.49 84.67 elyza-japanese-Llama-2-7b-instruct 72.08 91.51 57.44 67.29 swallow-7b-instruct 65.53 94.46 26.50 75.62 japanese-stablelm-instruct-gamma-7b 62.95 95.68 16.97 76.20 引用元:https://huggingface.co/Rakuten/RakutenAI-7B-instruct ※ベンチマークツール:https://github.com/hiouchiy/lm-evaluation-harness
©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~W&Bの公開データと比較~
注:DBRXのベンチマークはStabilityAI社の「lm-evaluation-harness」を使用して測定されております。一方、比較対象としている他のモデルのベンチマー ク結果はWeights & Biases社の「Nejumi LLMリーダーボード」にて公開されているものです。したがって両者が完全に同一条件で計測されているものでは ないため、本結果は厳密な比較ではなく、大まかな位置関係を把握するための参考情報としてご利用ください。 model_name AVG MARC-ja-balanced JNLI-balanced JSQuAD-F1 JCommonsenseQA gpt-4 0.897799182 0.959405112 0.7415553 0.949217549 0.941018767 DBRX-base 0.86442275 0.9275 0.6889 0.935991 0.9053 DBRX-instruct 0.862009615 0.913750685 0.697272688 0.92638059 0.910634495 llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0 0.830152929 0.547589015 0.905106535 0.9626436 0.905272565 stabilityai/StableBeluga2 0.826209593 0.943981526 0.565106351 0.909244686 0.886505809 anthropic.claude-v1 0.756645898 0.902828719 0.732370708 0.637139303 0.754244861 gpt-3.5-turbo 0.748511528 0.918578093 0.636002266 0.84071687 0.598748883 anthropic.claude-v2 0.71886092 0.85965119 0.634425598 0.702189055 0.679177837 stabilityai/StableBeluga-13B 0.702943345 0.952465115 0.438837109 0.869979647 0.55049151 mosaicml/mpt-30b-instruct 0.600356615 0.860373765 0.333333333 0.815404794 0.392314567 lightblue/openorca_stx 0.585755812 0.5 0.423241843 0.889843962 0.529937444 引用元:https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa
©2024 Databricks Inc. — All rights reserved DBRXの日本語能力 ~RAGでELYZAと比較~ ゴールドユーザーが「次のランク」に行くための条件を聞いた場合
https://huggingface.co/spaces/hiouchiy/MedallionCardCorporation_DBRX https://huggingface.co/spaces/hiouchiy/my-llm-chat ELYZA-13b DBRX-132b ゴールドランクの上がない点、3ヶ月維持しない と降格する点を正しく返答。 ゴールドランクの上が存在しないにもかかわら ず、ランクアップの条件を返答。
©2024 Databricks Inc. — All rights reserved