オープンLLM DBRXについて

Databricks Tech Talks Vol.1 - 我々はこう使ってる！
でお話した資料です、データブリックスが開発した 商用利用可能かつ日本語にも 対応する高品質なオープンLLMであるDBRXについて説明しております。

Transcript

1. ©2024 Databricks Inc. — All rights reserved 1 データブリックスが開発した 商用利用可能かつ日本語にも 対応する高品質なオープンLLM DBRX データブリックス・ジャパン株式会社 Hanlu Zhang
2. ©2024 Databricks Inc. — All rights reserved DBRXとは
3. ©2024 Databricks Inc. — All rights reserved DBRXとは Databricksがゼロから開発した独自のオープンソースLLMです。 • DBRX Base ：事前学習済みモデル ◦ スマートなオートコンプリートのように動作 - 何を言ったとしても 続きを生成します。 ◦ ご自身のデータでファインチューニングする際に有用です。 • DBRX Instruct ：ファインチューニングモデル ◦ 質問回答や指示追従を行うように設計されています。 ◦ DBRX Baseに対して、ドメイン固有のデータにによる追加トレーニング、指示追従の ためのファインチューニングを行うことで構築されています。
4. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 精度と性能 データと学習手法 モデルアーキテクチャー 開発環境
5. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 データと学習手法 モデルアーキテクチャー 開発環境 • 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 • Llama 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能
6. ©2024 Databricks Inc. — All rights reserved DBRXは言語理解(MMLU)、プログラミング(HumanEval)、数学(GSM8K) において、主要オープンソースLLMとGPT-3.5を上回っています 主要オープンLLMとの比較 GPT-3.5との比較
7. ©2024 Databricks Inc. — All rights reserved DBRX は LLaMA2-70Bに比べて推論が2倍高速
8. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 データと学習手法 開発環境 • 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 • Llama 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー
9. ©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは 1991年に誕生、2021年頃から言語モデルへ適用されている技術 Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 DBRXの場合 パラメーター数： 132B （1320億個） 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため学習/推論ともに高速 LLaMa2-70bの場合
10. ©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため2倍高速 MegaBlocks 効率的なMoEの学 習を実現するため MegaBlocksを導入 DBRXの場合 パラメーター数： 132B （1320億個） LLaMa2-70bの場合 1991年に誕生、2021年頃から言語モデルへ適用されている技術
11. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 開発環境 • 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 • Llama 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
12. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 開発環境 • 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 • Llama 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
13. ©2024 Databricks Inc. — All rights reserved DBRXをどのように構築したのか データ探索やキュレー ションのためのLilac AI データクレンジングと処 理のための ノートブックとApache Spark データストレージとガバ ナンスのためのUnity Catalog モデルトレーニングの ための Mosaic Multi-Cloud Training (MCT) 実験トラッキングのため の MLflowとLakeview • NVIDIA GPU H100を3072枚使用 • 評価とレッドチームのためのFoundation Model APIと AI Playground • モデルをトレーニングするための、Composer、StreamingDataset、LLM Foundryを含むオープンソースライブラリの最適化バージョン DBRXはDatabricksの様々なチームおよびAIコミュニティのサポートを受け Mosaic Researchチームによって構築されました。
14. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。オープンLLMの中でトップクラス の精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 • 主要なオープンLLMと比べてトップクラス、また、OpenAI GPT-3.5を超える精度 • Llama 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 • Databricksの各種機能をフル活用 ◦ MosaicML、Lilac、MLFlow、UC、Sparkなど • NVIDIA GPU H100 を 3,072枚使用 ◦ Mosaic AI Training Service にて管理 精度と性能 データと学習手法 開発環境 モデルアーキテクチャー
15. ©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ Hugging Face Spaces Databricks FM API / AI Playground
16. ©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ • Hugging Face Databricks Space ◦ https://huggingface.co/spaces/databricks/dbrx-instruct ◦ https://huggingface.co/databricks/dbrx-base ◦ https://huggingface.co/databricks/dbrx-instruct • Databricks AI Playgroundや基盤モデルAPI (※) ◦ https://$instance$.databricks.com/ml/playground • DBRX GitHub ◦ https://github.com/databricks/dbrx • 量子化版（コミュニティーによる開発） ◦ https://huggingface.co/mlx-community/dbrx-instruct-4bit ◦ https://github.com/ggerganov/llama.cpp/issues/6344 (※) 2024年4月8日現在、Databricks AI PlaygroundおよびDBRXの基盤モデルAPIは日本リージョン（AWS、Azure、GCP）にて提供されておりません。した がって、USリージョンのご利用を検討いただく、または、 Databricks MarketplaceやHuggingFaceからモデルをダウンロードし、日本リージョンにてノートブッ ク 上でご利用いただくようお願いいたします。
17. ©2024 Databricks Inc. — All rights reserved https://events.databricks.com/meet-dbrx-japan
18. ©2024 Databricks Inc. — All rights reserved ご清聴ありがとうございました 18