高品質オープンLLM: DBRXとは何か？

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 「DBRX」のご紹介データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 ● 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 ● LLaMa 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率 ● 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 ● カリキュラム学習を採用し、モデル精度向上を実現 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 ● Databricksの各種機能をフル活用 ○ MosaicML、Lilac、MLFlow、UC、Sparkなど ● NVIDIA GPU H100 を 3,072枚使用 ○ Mosaic AI Training Service にて管理精度と性能データと学習手法開発環境モデルアーキテクチャー

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved DBRXとは Databricksがゼロから開発した高品質な最新オープンソースLLMです。 ● DBRX Base ：事前学習済みモデル ○ スマートなオートコンプリートのように動作 - 何を言ったとしても続きを生成します。 ○ ご自身のデータでファインチューニングする際に有用です。 ● DBRX Instruct ：ファインチューニングモデル ○ 質問回答や指示追従を行うように設計されています。 ○ DBRX Baseに対して、ドメイン固有のデータにによる追加トレーニング、指示追従のためのファインチューニングを行うことで構築されています。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。データと学習手法モデルアーキテクチャー開発環境 ● 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 ● LLaMa 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。データと学習手法開発環境 ● 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 ● LLaMa 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装モデルアーキテクチャー

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは 1991年に誕生、2021年頃から言語モデルへ適用されている技術 Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的に4つのExpertを選択して推論実行 DBRXの場合パラメーター数： 132B （1320億個）学習/推論時には全70Bのパラメーターを使用学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため学習/推論ともに高速 LLaMa2-70bの場合

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的に4つのExpertを選択して推論実行学習/推論時には全70Bのパラメーターを使用学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため2倍高速 MegaBlocks 効率的なMoEの学習を実現するため MegaBlocksを導入 DBRXの場合パラメーター数： 132B （1320億個） LLaMa2-70bの場合 1991年に誕生、2021年頃から言語モデルへ適用されている技術

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。開発環境 ● 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 ● LLaMa 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装モデルアーキテクチャー ● 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 ● カリキュラム学習を採用し、モデル精度向上を実現データと学習手法

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved DBRXをどのように構築したのかデータ探索やキュレーションのためのLilac AI データクレンジングと処理のためのノートブックとApache Spark データストレージとガバナンスのためのUnity Catalog モデルトレーニングのための Mosaic Multi-Cloud Training (MCT) 実験トラッキングのための MLﬂowとLakeview ● NVIDIA GPU H100を3072枚使用 ● 評価とレッドチームのためのFoundation Model APIと AI Playground ● モデルをトレーニングするための、Composer、StreamingDataset、LLM Foundryを含むオープンソースライブラリの最適化バージョン DBRXはDatabricksの様々なチームおよびAIコミュニティのサポートを受け Mosaic Researchチームによって構築されました。

Slide 15

Slide 15 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 ● 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 ● LLaMa 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率 ● 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 ● カリキュラム学習を採用し、モデル精度向上を実現 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 ● Databricksの各種機能をフル活用 ○ MosaicML、Lilac、MLFlow、UC、Sparkなど ● NVIDIA GPU H100 を 3,072枚使用 ○ Mosaic AI Training Service にて管理精度と性能データと学習手法開発環境モデルアーキテクチャー

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ ● Hugging Face Databricks Space ○ https://huggingface.co/spaces/databricks/dbrx-instruct ○ https://huggingface.co/databricks/dbrx-base ○ https://huggingface.co/databricks/dbrx-instruct ● Databricks AI Playgroundや基盤モデルAPI ○ https://$instance$.databricks.com/ml/playground ● DBRX GitHub ○ https://github.com/databricks/dbrx ● 量子化版（コミュニティーによる開発） ○ https://huggingface.co/mlx-community/dbrx-instruct-4bit ○ https://github.com/ggerganov/llama.cpp/issues/6344 [重要] 2024年4月8日現在、Databricks AI PlaygroundおよびDBRXの基盤モデルAPIは日本リージョン（AWS、Azure、GCP）にて提供されておりません。したがって、USリージョンのご利用を検討いただく、または、Databricks MarketplaceやHuggingFaceからモデルをダウンロードし、日本リージョンにてノートブック上でご利用いただくようお願いいたします。

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~楽天の公開データと比較~ model_name AVG MARC-ja-ACCURACY JNLI-ACCURACY JSQuAD- ExactMatch rakuten-ai-7b-instruct 88.94 96.00 90.39 80.44 youri-7b-instruction 83.23 97.03 70.13 82.53 DBRX-base 77.61 89.07 57.07 86.70 DBRX-instruct 77.59 85.60 62.49 84.67 elyza-japanese-Llama-2-7b-instruct 72.08 91.51 57.44 67.29 swallow-7b-instruct 65.53 94.46 26.50 75.62 japanese-stablelm-instruct-gamma-7b 62.95 95.68 16.97 76.20 引用元：https://huggingface.co/Rakuten/RakutenAI-7B-instruct ※ベンチマークツール：https://github.com/hiouchiy/lm-evaluation-harness

Slide 22

Slide 22 text

©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~W&Bの公開データと比較~ 注：DBRXのベンチマークはStabilityAI社の「lm-evaluation-harness」を使用して測定されております。一方、比較対象としている他のモデルのベンチマーク結果はWeights & Biases社の「Nejumi LLMリーダーボード」にて公開されているものです。したがって両者が完全に同一条件で計測されているものではないため、本結果は厳密な比較ではなく、大まかな位置関係を把握するための参考情報としてご利用ください。 model_name AVG MARC-ja-balanced JNLI-balanced JSQuAD-F1 JCommonsenseQA gpt-4 0.897799182 0.959405112 0.7415553 0.949217549 0.941018767 DBRX-base 0.86442275 0.9275 0.6889 0.935991 0.9053 DBRX-instruct 0.862009615 0.913750685 0.697272688 0.92638059 0.910634495 llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0 0.830152929 0.547589015 0.905106535 0.9626436 0.905272565 stabilityai/StableBeluga2 0.826209593 0.943981526 0.565106351 0.909244686 0.886505809 anthropic.claude-v1 0.756645898 0.902828719 0.732370708 0.637139303 0.754244861 gpt-3.5-turbo 0.748511528 0.918578093 0.636002266 0.84071687 0.598748883 anthropic.claude-v2 0.71886092 0.85965119 0.634425598 0.702189055 0.679177837 stabilityai/StableBeluga-13B 0.702943345 0.952465115 0.438837109 0.869979647 0.55049151 mosaicml/mpt-30b-instruct 0.600356615 0.860373765 0.333333333 0.815404794 0.392314567 lightblue/openorca_stx 0.585755812 0.5 0.423241843 0.889843962 0.529937444 引用元：https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa

Slide 23

Slide 23 text

©2024 Databricks Inc. — All rights reserved DBRXの日本語能力 ~RAGでELYZAと比較~ ゴールドユーザーが「次のランク」に行くための条件を聞いた場合 https://huggingface.co/spaces/hiouchiy/MedallionCardCorporation_DBRX https://huggingface.co/spaces/hiouchiy/my-llm-chat ELYZA-13b DBRX-132b ゴールドランクの上がない点、3ヶ月維持しないと降格する点を正しく返答。ゴールドランクの上が存在しないにもかかわらず、ランクアップの条件を返答。