データブリックスエンジニアが語るデータ・AI基盤の現在地とこれから

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介 2 北村匡彦 - フィールドエンジニアリング本部・マネージャー (好きな言葉は「人間だもの」) 桑野章弘 - フィールドエンジニアリング本部・ソリューションアーキテクト (ベイブレードで手を負傷しました) 北岡早紀 - フィールドエンジニアリング本部・ソリューションアーキテクト (最近ゼルダをクリアしました) 志賀優毅 - フィールドエンジニアリング本部・ソリューションアーキテクト (ラーメン二郎すき)

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved プロダクトセーフハーバーステートメントこの情報は、データブリックスの一般的な製品の方向性を概説するために提供されるものであり、情報提供のみを目的としています。データブリックスのサービスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠して購入を決定してください。将来見通しに関する記述に記載されている未発表の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画通りまたは全く提供されない可能性があります。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

©2023 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricks データインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 )

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved Databricks Data Intelligence Platform Databricks AI Data Warehousing ETL and Process Engine Orchestration Data and AI Governance Intelligence Engine Collaboration Lakehouse Monitoring and Observability bronze silver gold Cloud Storage Storage リファレンス・アーキテクチャ Ingest Sensors and IoT (unstructured) RDBMS (structured) Transform BI Tools Query and Process Source 6 Apps Operational Database 3rd party * Private Preview Files / Logs (semi-structured) Business Apps (structured) Media (unstructured) Other clouds Ingest tool Serve Analysis/Output Hugging Face External AI services … CI/CD MLOps/LLMOps Feature Store Model Registry AutoML Notebooks Feature Engineering Model Serving Vector Search * Delta Sharing Databricks Marketplace Feature Serving Federation Event Streaming CDC Structured Streaming Performance Optimization DatabricksIQ Photon Delta Live Tables Databricks SQL Serverless SQL Structured Streaming Auto Loader Lakehouse Federation OpenAI Unity Catalog Assistant Discovery & Search Databricks Workﬂows Lakeview 展示ブースで深掘りしましょう

Slide 7

Slide 7 text

©2023 Databricks Inc. — All rights reserved Uniﬁed Data One platform to store and manage all structured, semi-structured, and unstructured data Uniﬁed Governance One security and governance model for all data access across the organization Cloud Data Lake All Raw Data (Logs, Texts, Audio, Video, Images) 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved RAWデータきれいな分析データアナリティクス機械学習ビジネスインサイトデータクオリティデータの変換連続バッチもしくはストリーミング処理エラーハンドリングと自動リトライデータパイプライン監視自動デプロイオーケストレーション連続または定期的なデータ収集業務アプリ Photon UNITY CATALOG Data Engineerの仕事データパイプラインの整備 : Delta Live Table, Workﬂow データの整備→ETL/ELT データの可視化データの収集分析データデータの変換データセキュリティ・データガバナンスの確保

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved AIで変わるData Engineerの仕事 AIを活用する事でData Engineerの仕事を楽に！これが Data Intelligence Platform の一つの形・・・例えばこんな課題データ処理の試行錯誤取得したいデータがあるがどうSQLで表して良いのかわからない AIアシスタントコードの修正や、やりたい事のリコメンド Data Rooms 自然言語でのデータ集計

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved Unity Catalog: あらゆるデータとAI資産を一元管理外部の計算エンジンデータブリックスのサービス BI & Data Warehousing Data Engineering Data Streaming Data Science & ML オープンなインターフェースデータベースやデータウェアハウスクラウドデータレイク構造化データ/準構造, 非構造化データ外部のカタログ Databricks Unity Catalog 構造化データから非構造化データとAIを含めた一元的なガバナンスモデル

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

©2024 Databricks Inc. — All rights reserved 19 AI/MLプロダクトの実現に必要な要素 ④AIの展開 ②データの加工 ⑧ MLOps or LLMOps ③AIの開発と評価 ⑥AIのモニタリング ● モデルに入力可能な形への変換 ● テーブルの結合や集計 ● スクラッチのモデルの開発 ● ファインチューニング ● プロンプトエンジニアリング ● 定性評価と定量評価 ● 低レイテンシのモデルサービング ● モデルログ ● モデルの精度と品質を評価する ● モデルの品質を維持するためのモニタリングと再トレーニング ● モデルのビジネス KPIインパクトの理解 ⑤データの展開 ● オンラインの特徴量サービング ● Vector DB の作成 ⑦AIとデータのガバナンス ● モデルとデータのセキュリティと権限 ● モデルとデータのリネージ ● コード、データ、モデルを開発と本番の間で移動 ● モデル、実験の管理 Data ①自社データを収集する CRM ERP 社内ドキュメントログ Data Data Data Data Data Data

Slide 20

Slide 20 text

©2024 Databricks Inc. — All rights reserved ④AIの展開 ②データを加工する ⑧ MLOps or LLMOps ③AIの開発と評価 ⑥AIのモニタリング ● モデルに入力可能な形への変換 ● テーブルの結合や集計 ● スクラッチのモデルの開発 ● ファインチューニング ● プロンプトエンジニアリング ● 定性評価と定量評価 ● 低レイテンシのモデルサービング ● モデルログ ● モデルの精度と品質を評価する ● モデルの品質を維持するためのモニタリングと再トレーニング ● モデルのビジネス KPIインパクトの理解 ⑤データの展開 ● オンラインの特徴量サービング ● Vector DB ⑦AIとデータのガバナンス ● モデルとデータのセキュリティと権限 ● モデルとデータのリネージ ● コード、データ、モデルを開発と本番の間で移動 ● モデル、実験の管理 Data ①自社データを収集する CRM ERP 社内ドキュメントログ Data Data Data Data Data Data Unity Catalog Delta Lake Spark Auto ML Model Serving Vector index Monitoring Mlflow External Models Feature Serving Foundation Model Mlflow Evaluation Databricks では全てのステップを支援

Slide 21

Slide 21 text

©2024 Databricks Inc. — All rights reserved AutoML 数行のコードでベースラインモデルを作成 21 # Spark Pandas API によるデータの読み込み import pyspark.pandas as ps train_df = ps.read_csv(train_csv_path) # AutoML による学習 summary = automl.regress( train_df.drop(columns=["Id"]), primary_metric="rmse", target_col="SalePrice", experiment_name=experiment_name, )