Databricksで完全履修！オールインワンレイクハウスは実在した！

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved プロダクトセーフハーバーステートメントこの情報は、データブリックスの一般的な製品の方向性を概説するために提供されるものであり、情報提供のみを目的としています。データブリックスのサービスを購入するお客様は、現在利用可能なサービス、特徴、機能のみに依拠して購入を決定してください。将来見通しに関する記述に記載されている未発表の機能または特徴は、データブリックスの裁量で変更される可能性があり、計画通りまたは全く提供されない可能性があります。

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved スピーカー Akihiro Kuwano / 桑野章弘経歴 ▪ 道玄坂の緑の会社B2C企業でのインフラエンジニアとしてのキャリアや、目黒のオレンジの会社パブリッククラウドベンダーでソリューションアーキテクトとしてキャリアを重ね、現在は京橋のブロックの会社でソリューションアーキテクトをしています！ ▪ B2C企業担当のソリューションアーキテクトとして様々な案件において技術支援を実施しております！ Databricks Japan 株式会社 Solutions Architect

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved 今日のアジェンダ ▪ Databricksについてご存知ない？ ▪ レイクハウスとは？ ▪ Databricks＝オールインワンレイクハウス！ ▪ そしてデータインテリジェンスプラットフォームへ ▪ Databricksを使って実現できること ▪ TROCCOさんとDatabricksは仲良し！ ▪ Databricksを使ってみよう！

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved Creator of: 9 12,000+ 顧客数 $3B+ (約4500億円) 年間売上 $62B+ (約9.5兆円) 推定企業価値 lakehouse の発明者で、 generative AI のパイオニア Gartner が認知するリーダーの 1社 - Cloud Database Management Systems - Data Science and ML Platforms データ+AIカンパニー LEADER 2023 Cloud Database Management Systems LEADER 2024 Data Science & Machine Learning Analytic Stream Processing

Slide 10

Slide 10 text

第三者機関から、データ＋ AI領域のリーダーとして評価 Gartner Cloud Database Management Systems Data Science and Machine Learning Platform FORRESTER Data Lakehouse AI Foundation Models For Languages

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2024 Databricks Inc. — All rights reserved レイクハウスとはレイクハウスはデータレイクの柔軟性とデータウェアハウスの管理性を兼ね備えた統合アーキテクチャで以下の特徴を持ちます ▪ クラウドストレージを活用したデータレイク層を持つ ▪ データレイク層上にメタデータとデータガバナンスを管理するアプリケーション層を持つ（Delta Lake, Iceberg, HudiなどのOTF） ▪ データウェアハウスの機能、データサイエンスの機能、機械学習の機能を同一インターフェースから利用可能(Dataframe API) ▪ ストレージレイヤへアクセスするためのオープンな方法を提供 Machine Learning データレイク　（S3、ADLS、GCS）構造化データ BI/User Data Science メタデータ & ガバナンスレイヤコンピュートレイヤ ETL Photon

Slide 23

Slide 23 text

©2024 Databricks Inc. — All rights reserved レイクハウスとは何か簡単に言うとこんな感じ！ ▪ 管理できるデータレイク ▪ DWH/AI/MLなど幅広くサポートが可能 ▪ パフォーマンスも従来のDWHと同等以上 ▪ OTFでクラウドストレージを有効活用 Machine Learning データレイク　（S3、ADLS、GCS）構造化データ BI/User Data Science メタデータ & ガバナンスレイヤコンピュートレイヤ ETL Photon

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©2024 Databricks Inc. — All rights reserved コストパフォーマンス最適化データレイク　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 ETL

Slide 27

Slide 27 text

©2024 Databricks Inc. — All rights reserved BI〜AIまで高度な分析/機械学習のサポートデータレイク　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能 ETL

Slide 28

Slide 28 text

©2024 Databricks Inc. — All rights reserved データガバナンスの強化データレイク　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス ETL

Slide 29

Slide 29 text

©2024 Databricks Inc. — All rights reserved スケーラビリティデータレイク　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス必要な処理分スケール可能必要な処理分スケール可能パフォーマンスの最適化 ETL

Slide 30

Slide 30 text

©2024 Databricks Inc. — All rights reserved 柔軟性データレイク　（S3、ADLS、GCS）メタデータ & ガバナンスレイヤコンピュートレイヤ Machine Learning BI/User Data Science すべてのデータをデータレイクへと保存サイロの排除構造化、非構造化ファイルの同一I/Fでの扱いクラウドストレージの有効活用コンピュートとストレージの分離安価なクラウドストレージの活用 BI〜AIまで必要な処理を実行可能統一されたデータガバナンス必要な処理分スケール可能必要な処理分スケール可能パフォーマンスの最適化 ETL

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

©2024 Databricks Inc. — All rights reserved ノートブックデータ分析、ETL、機械学習、アプリ開発まで行える万能インターフェイスマルチ言語対応 SQL / Python / R / Scala リアルタイム共同編集柔軟なクラスター管理処理や負荷に応じたスペック選択サーバーレスオプション開発者フレンドリー生成AIアシスタントによる支援、自動履歴保存、Git連携、変数の表示、デバッグ etc.

Slide 43

Slide 43 text

©2024 Databricks Inc. — All rights reserved ワークフロー Notebookをはじめとした様々な処理をパイプラインで実行可能柔軟なワークフロー管理パラメータ渡し、for eachタスク、など柔軟なワークフローの構築が可能様々な実行形式 Notebook, Delta Live Table(Lakeﬂow pipeline), dbt core, SQL, などなど様々な処理をパイプラインのタスクとして実行可能低コスト実行されるクラスタ料金以外追加での料金発生なし

Slide 44

Slide 44 text

©2024 Databricks Inc. — All rights reserved SQLウェアハウス高性能・低コストなSQLとBIの実行基盤 SQL & 組み込みの BI SQLエディタ、SQLノートブック、ダッシュボード、Genieの実行基盤主要BIツールからの接続性 Power BI / Tableau / Looker etc. JDBC / ODBC接続をサポートアドバンスドな機能ユーザー定義関数 / AI (LLM) 関数フェデレーションクエリ(Snowﬂake / BigQuery / Redshift / 各種RDB etc.)

Slide 45

Slide 45 text

©2024 Databricks Inc. — All rights reserved 機械学習実験から本番運用まで MLOpsをワンストップで実現ライフサイクル管理実験管理、モデル管理、サービング、モニタリングまで一気通貫でサポートリアルタイム推論本番環境グレードのサーバーレスのリアルタイム推論エンドポイント LLM機能カスタムLLMの構築・Fine Tuning AIエージェントの開発から評価まで AutoML ノーコードで迅速なモデル開発生成されたノートブックでさらに改善

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

©2024 Databricks Inc. — All rights reserved ディザスターリカバリコストコントロールエンタープライズセキュリティ 100% サーバレスレイクハウス AI/BI ビジネスインテリジェンス Databricks SQL データウェアハウス Workﬂows/DLT 取り込み、ETL ストリーミング Mosaic AI 人工知能 Databricksデータインテリジェンスプラットフォーム

Slide 52

Slide 52 text

データインテリジェンスプラットフォームレイクハウスデータとガバナンスの統合 AI AI tuned to your business AI あなたのビジネスにチューンされたAI

Slide 53

Slide 53 text

©2024 Databricks Inc. — All rights reserved AI/BI ダッシュボードデータを素早く可視化、洞察を即座に共有 AIアシスト日本語の指示でグラフを作成 SQLに不慣れでも利用できる自由度の高い分析 SQLでのデータセット定義や手動でのグラフ作成も勿論可能強固なインフラ SQLウェアハウスが実行基盤 Unity Catalogとの強固な統合日本語で指示すると可視化してくれる必要なデータも選択可定期実行も可能

Slide 54

Slide 54 text

©2024 Databricks Inc. — All rights reserved SQLいらずでデータアクセス：自然言語によるクエリ機能により、複雑な SQLの知識がなくても質問を入力するだけでデータ分析が可能データに応じた答え：データと文脈の変化に応じて、 Genieが独自に学習して質問に回答しますコンテキスト認識機能を備え、ユーザーの過去の質問や分析履歴を理解して、より関連性の高い結果を提供 AI/BI Genie 自然言語でデータにアクセスできるAIエージェント

Slide 55

Slide 55 text

©2024 Databricks Inc. — All rights reserved AIエージェント作成： Databricksの機能やLLMと連携し、一般的なAIユースケース向けのドメイン固有 AIエージェントシステムを作成可能シンプルなローコード：ドメイン固有のAIエージェントシステムを簡単に構築・最適化できる環境を提供。技術的な実装の複雑さを軽減 AI Builder(ベータ) ローコードでAIエージェント構築！ Databricks上に構築：セキュリティやガバナンスからデータ取り込み、ベクトルデータベース、品質評価など Databricks データインテリジェンスプラットフォームとシームレスに連携

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

©2024 Databricks Inc. — All rights reserved 61 マニュアルユーザフィードバックハードウェア情報在庫情報天気情報サービス履歴変換ナレッジベクターDB ダッシュボード設備稼働在庫サービス履歴天気対話型UI sql queries 実現しようとしているシステムイメージ 1. 社内の様々なタイプのデータを集約 2. ナレッジが集まっているテキストデータとLLMを用いて社内ナレッジを対話型活用 3. 様々なデータを集約してダッシュボードを構成 4. ユーザは同一UIから情報にアクセスし、対話側でアクションを判断 LLM

Slide 62

Slide 62 text

©2024 Databricks Inc. — All rights reserved 62 マニュアル設備稼働在庫天気変換ナレッジベクターDB ダッシュボード設備稼働在庫サービス履歴天気対話型UI sql queries Databricksができること 1. 社内の様々なタイプのデータを集約 2. ナレッジが集まっているテキストデータとLLMを用いて社内ナレッジを対話型活用 3. 様々なデータを集約してダッシュボードを構成 4. ユーザは同一UIから情報にアクセスし、対話側でアクションを判断 LLM 構造化データ非構造化データストリーミングデータ外部データ生成AI データ加工ダッシュボードユーザアプリリアルタイム処理データカタログ、データガバナンスデ Iタ統合 DWH

Slide 63

Slide 63 text

©2024 Databricks Inc. — All rights reserved SCM G Data Data Product DWH Insight Apps 製造 G Data Data Product DWH Insight Apps データとAIのセキュリティとガバナンスデータ AIハブ G Data Apps Apps Apps Data ML LLM Data Product データ連携・加工・名寄せ・品質管理・MLモデル Corporate G Data Data Product DWH Insight Apps グループ会社 G Data Data Product DWH Insight Apps 開発 G Data Data Product DWH Insight Apps 事業部 G Data Data Product DWH Insight Apps 外部業者など G Data Data Product DWH Insight Apps APP：業界アドバイザリー海外ドメイン G Data Data Product DWH Insight Apps 海外データ AIハブマーケットプレイス G LLM Bot デルタシェアリング複数ワークスペースにおけるデータAI ガバナンス例データメッシュアーキテクチャ 63 Marketing G Data Data Product DWH Insight Apps デルタシェアリング

Slide 64

Slide 64 text

©2024 Databricks Inc. — All rights reserved SCM G Data Data Product DWH Insight Apps 製造 G Data Data Product DWH Insight Apps データとAIのセキュリティとガバナンスデータ AIハブ G Data Apps Apps Apps Data ML LLM Data Product データ連携・加工・名寄せ・品質管理・MLモデル Corporate G Data Data Product DWH Insight Apps グループ会社 G Data Data Product DWH Insight Apps 開発 G Data Data Product DWH Insight Apps 事業部 G Data Data Product DWH Insight Apps 外部業者など G Data Data Product DWH Insight Apps APP：業界アドバイザリー海外ドメイン G Data Data Product DWH Insight Apps 海外データ AIハブマーケットプレイス G LLM Bot デルタシェアリング複数ワークスペースにおけるデータAI ガバナンス例データメッシュアーキテクチャ 64 Marketing G Data Data Product DWH Insight Apps デルタシェアリング Delta Sharing でDatabricks 間のデータ共有！ LLM Botでデータ取得マーケットプレイスでデータ共有この辺は1つの Databricks内でデータ分割

Slide 65

Slide 65 text

©2024 Databricks Inc. — All rights reserved LLMエージェント作成開発プロセスを回す部品が揃っている！ 65 データ準備エージェント構築エージェントデプロイエージェント評価エージェントサービング LLM ジャッジピア・ラベリングトレース MLOps / LLMOps ML 特徴量ベクトルインデックスリネージデータ取り込み GenAI モデル Classical ML モデル関数 & ツール Credentials AI guardrails エージェント管理 AI ガードレール利用状況の追跡 Credentials レート・リミット

Slide 66

Slide 66 text

©2024 Databricks Inc. — All rights reserved LLMエージェント作成開発プロセスを回す部品が揃っている！ 66 データ準備エージェント構築エージェントデプロイエージェント評価エージェントサービング LLM ジャッジピア・ラベリングトレース MLOps / LLMOps ML 特徴量ベクトルインデックスリネージデータ取り込み GenAI モデル Classical ML モデル関数 & ツール Credentials AI guardrails エージェント管理 AI ガードレール利用状況の追跡 Credentials レート・リミット Apache Spark Unity Catalog mlﬂow AI Gateway AI Builder AI Agent Framework Workﬂow model serving Foundation model

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

©2024 Databricks Inc. — All rights reserved TROCCOさんとの連携でデータ活用を加速 • 海外サービスだけでなく国内のSaaS、Ad等にも対応 • ETL / Reverse ETLにも対応 • GUIベースで直感的に操作可能 • マネージドデータ転送にも対応 • データ取り込みだけではなく Workﬂow、 dbt連携、リネージ機能も搭載連携のポイント種類が豊富！！！