オープンLLM DBRXについて

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved DBRXとは Databricksがゼロから開発した独自のオープンソースLLMです。 ● DBRX Base ：事前学習済みモデル ○ スマートなオートコンプリートのように動作 - 何を言ったとしても続きを生成します。 ○ ご自身のデータでファインチューニングする際に有用です。 ● DBRX Instruct ：ファインチューニングモデル ○ 質問回答や指示追従を行うように設計されています。 ○ DBRX Baseに対して、ドメイン固有のデータにによる追加トレーニング、指示追従のためのファインチューニングを行うことで構築されています。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラスの精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。データと学習手法モデルアーキテクチャー開発環境 ● 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 ● Llama 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラスの精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。データと学習手法開発環境 ● 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 ● Llama 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装モデルアーキテクチャー

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは 1991年に誕生、2021年頃から言語モデルへ適用されている技術 Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的に4つのExpertを選択して推論実行 DBRXの場合パラメーター数： 132B （1320億個）学習/推論時には全70Bのパラメーターを使用学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため学習/推論ともに高速 LLaMa2-70bの場合

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的に4つのExpertを選択して推論実行学習/推論時には全70Bのパラメーターを使用学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため2倍高速 MegaBlocks 効率的なMoEの学習を実現するため MegaBlocksを導入 DBRXの場合パラメーター数： 132B （1320億個） LLaMa2-70bの場合 1991年に誕生、2021年頃から言語モデルへ適用されている技術

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラスの精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。開発環境 ● 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 ● Llama 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率精度と性能 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装モデルアーキテクチャー ● 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 ● カリキュラム学習を採用し、モデル精度向上を実現データと学習手法

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved DBRXをどのように構築したのかデータ探索やキュレーションのためのLilac AI データクレンジングと処理のためのノートブックとApache Spark データストレージとガバナンスのためのUnity Catalog モデルトレーニングのための Mosaic Multi-Cloud Training (MCT) 実験トラッキングのための MLﬂowとLakeview ● NVIDIA GPU H100を3072枚使用 ● 評価とレッドチームのためのFoundation Model APIと AI Playground ● モデルをトレーニングするための、Composer、StreamingDataset、LLM Foundryを含むオープンソースライブラリの最適化バージョン DBRXはDatabricksの様々なチームおよびAIコミュニティのサポートを受け Mosaic Researchチームによって構築されました。

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved DBRXの特徴データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラスの精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 ● 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 ● Llama 2-70bよりも2倍速い推論性能 ● 主要なオープンLLMより4倍高い学習効率 ● 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 ● カリキュラム学習を採用し、モデル精度向上を実現 ● フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） ● MoE（Mixture of Experts）を採用 ○ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 ● Databricksの各種機能をフル活用 ○ MosaicML、Lilac、MLFlow、UC、Sparkなど ● NVIDIA GPU H100 を 3,072枚使用 ○ Mosaic AI Training Service にて管理精度と性能データと学習手法開発環境モデルアーキテクチャー

Slide 15

Slide 15 text

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ ● Hugging Face Databricks Space ○ https://huggingface.co/spaces/databricks/dbrx-instruct ○ https://huggingface.co/databricks/dbrx-base ○ https://huggingface.co/databricks/dbrx-instruct ● Databricks AI Playgroundや基盤モデルAPI (※) ○ https://$instance$.databricks.com/ml/playground ● DBRX GitHub ○ https://github.com/databricks/dbrx ● 量子化版（コミュニティーによる開発） ○ https://huggingface.co/mlx-community/dbrx-instruct-4bit ○ https://github.com/ggerganov/llama.cpp/issues/6344 (※) 2024年4月8日現在、Databricks AI PlaygroundおよびDBRXの基盤モデルAPIは日本リージョン（AWS、Azure、GCP）にて提供されておりません。したがって、USリージョンのご利用を検討いただく、または、 Databricks MarketplaceやHuggingFaceからモデルをダウンロードし、日本リージョンにてノートブック上でご利用いただくようお願いいたします。

Slide 17

Slide 17 text

Slide 18

Slide 18 text