DatabricksのLLM機能アップデート - ML15min

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricks アカウントSA部部長 ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

生成AIによるレイクハウスの進化 Databricks データインテリジェンスプラットフォーム日時: 2024年2月7日（水）16:00 URL: https://events.databricks.com/democratize-data-ai-jp イベント概要振り返ってみると、 2023年は生成AI元年と言える年になりました。 GPT-4の発表をきっかけに大規模言語モデル (LLM) の活用が進みました。そして、大規模言語モデルとのインタフェースが自然言語であることから、最もホットなプログラミング言語は英語であるという発言が注目されました。これは自然言語で大規模言語モデルに指示を行うことで、要約、翻訳、Q&A、コード生成など様々なことが行えるようになったことを指しており、日本語もまた新たなプログラミング言語になっていると言っても過言ではありません。このような流れを受けて、 Databricksは生成AIをすべての企業、人々が活用できるようにするために、生成 AIを用いてレイクハウスをデータインテリジェンスプラットフォームに進化させることを 2023年11月に発表しました。本セッションでは、レイクハウスの説明からスタートし、データインテリジェンスプラットフォームへの進化の経緯、提供機能をデモを交えながらご説明します。

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved 投資 $3B 市場価値は5兆円以上従業員数 6000+ (3年前は1500人) 収益(ARR) $1B+ (1,360億円) データレイクハウスの発明者でパイオニア導入企業数 10000+ レイクハウスカンパニーのクリエーターが 2013年に起業知る人ぞ知るデカコーン Databricksは2022年も攻勢を続ける | Coral Capital

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved Unity Catalog | Lakehouse Monitoring RAGは生成AIデザインパターンの一つですプロンプトエンジニアリング Retrieval Augmented Generation (RAG) ファインチューニング事前学習 LLMの挙動をガイドする特殊なプロンプトの作成企業データとLLMの組み合わせ特定のデータセットドメインに事前学習済み LLMを適応スクラッチでLLMをトレーニング複雑化/大量の計算資源

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved RAGでは(トレーニングデータではない)企業データをベースに生成AIがレスポンスを生成します RAGアプリケーション適切なデータの収集 (Retrieve) データによるプロンプトの拡張 (Augment) ユーザーへのレスポンスユーザークエリー LLMによる回答の生成(Generate) 企業データ生成AIモデル

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved Databricks AI 紫 = 最近アップデートのあったコンポーネント AIモデル & ツールクラウドストレージデータの準備 AI開発 & 評価 AIサービング SQL ワークフロー DLT Feature Serving モデルサービング Models in UC ノートブックマーケットプレース AI Functions レイクハウスモニタリング Spark AutoML Databricks AI固有の機能 Lakehouse共通機能 Unity Catalog MLﬂow CI/CD サポート OpenAI … Delta ボリュームファインチューニング * データサービングデータ & AI ガバナンス MLOps + LLMOps Hugging Face Features in UC MLﬂow (Track/Evaluate) 外部サービス Vector Search ランタイム Lakehouse Apps Function Serving AI Playground Feature Store

Slide 12

Slide 12 text

©2024 Databricks Inc. — All rights reserved モデルサービング APIとしてモデルをウェブサイトやアプリケーションにインテグレーション 1. プロダクションレベルのサービングで管理のオーバーヘッドを排除 : 小規模、大規模のワークロードで動作する高可用性、低レーテンシー、サーバレスのサービング 2. レイクハウスと統合されたサービングによってデプロイメントを加速 : デプロイメントを自動化し、エラーを削減する自動特徴量検索、モニタリング、統合ガバナンス 3. 簡素化されたデプロイメントでチームを支援 : UI やAPIを通じたシンプルで柔軟性のあるデプロイメント

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved Databricks Model Serving サービスに必要なすべてのモデルを一元管理 Model Serving Custom Models Foundation Model External Model MLﬂowで管理されたサーバーレスコンピュートで、あらゆるモデルを REST API としてデプロイ。 CPUとGPU。 Feature Storeおよび Vector Searchとの統合。外部モデルとAPIを管理する。これは、MLﬂow AI Gatewayのガバナンスに加え、従来の Databricks Model Servingのモニタリングとペイロードロギングを提供します。 Databricksはトップクラスの Foundation Modelsを厳選し、シンプルな APIで提供しています。サービングの準備をしなくても、すぐに実験を始めることができる。