Databricks概要 - データ+AIの民主化 (2024年)

Youtube: https://www.youtube.com/watch?v=2kdU8JPDZTI

Transcript

1. ©2023 Databricks Inc. — All rights reserved Databricks概要 データ + AIの民主化 2024年2月20日
2. ©2023 Databricks Inc. — All rights reserved 6000+ の従業員 $1.5B+ の収益 $4B の投資 レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems データ & AIカンパニー のクリエイター
3. ©2023 Databricks Inc. — All rights reserved データ + AI カンパニー がすべての業界で勝者に
4. ©2023 Databricks Inc. — All rights reserved すべてのフライトのデジタルツ インをモデリングするためにAI を活用 オペレーション、メンテナンス、 カスタマーサービス横断で統合 された意思決定を提供 AIで182Mのワイアレス利用者と 15Mの家庭ブロードバンドを 保護 予測アプリケーションが 不正が起きる前に リアルタイムで80%の不正をス トップ AIでローンアプリケーション 体験をシンプルに パーソナライズされたアプリ ケーションを通じて40,000のス モールビジネスに対する$1.4B のローンを促進
5. ©2023 Databricks Inc. — All rights reserved 多くの企業はこのビジョンの 実現に苦戦しています データレイク オーケストレーショ ン & ETL データ ウェアハウス ガバナンス 機械学習 ストリーミング BI データサイエンス 生成 AI
6. ©2023 Databricks Inc. — All rights reserved 多くの企業はこのビジョンの 実現に苦戦しています データレイク オーケストレーショ ン & ETL データ ウェアハウス ガバナンス 機械学習 ストリーミング BI データサイエンス 生成 AI サイロ化された データ、AI ガバナンス AIがもたらすデータ プライバシー& コントロールの課題 高度に技術的な スタッフへの依存
7. ©2023 Databricks Inc. — All rights reserved データレイクハウス すべてのデータに対するオープンで統合された基盤 統合セキュリティ、ガバナンス、カタログ 信頼性と共有のための統合データストレージ オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像) データ サイエンス & AI ETL & リアル タイム分析 オーケストレーショ ン データ ウェアハウス
8. ©2023 Databricks Inc. — All rights reserved データレイクハウス すべてのデータに対するオープンで統合された基盤 オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像) Databricksが レイクハウス アーキテクチャを発明 2020 統合セキュリティ、ガバナンス、カタログ 信頼性と共有のための統合データストレージ ETL & リアルタイム分析 オーケストレーション データウェアハウス データサイエンス & AI Databricks AI Delta Live Tables Workflows Databricks SQL Unity Catalog Delta Lake グローバル企業の 74% がレイクハウスを導 入 現在 MIT Technology Review Insights, 2023
9. ©2023 Databricks Inc. — All rights reserved オープンな基盤に構築 全体的なデータ&AIエコシステムと容易に連携
10. ©2023 Databricks Inc. — All rights reserved すべてのデータに対するオープンで 統合された基盤 データレイクハウス データとAIを容易にスケール、活用 生成AI 皆様の組織全体のデータ + AIを民主化 データインテリジェンス プラットフォーム
11. ©2023 Databricks Inc. — All rights reserved すべての生データ (ログ、テキスト、音声、動画、画像 ) ETL & リアルタイム分析 オーケストレーション データウェアハウス データサイエンス & AI Databricks AI Delta Live Tables Workflows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog 信頼性と共有のための統合データストレージ Delta Lake Databricksデータインテリジェンスプラットフォーム オープンデータレイク
12. ©2023 Databricks Inc. — All rights reserved ETL & リアルタイム分析 オーケストレーション データウェアハウス データサイエンス & AI Databricks AI Delta Live Tables Workflows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム 信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用 データインテリジェンスエンジン オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像 )
13. ©2023 Databricks Inc. — All rights reserved ETL & リアルタイム分析 オーケストレーション データウェアハウス データサイエンス & AI Databricks AI Delta Live Tables Workflows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム 信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用 データインテリジェンスエンジン オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workflows 過去の処理に基づく ジョブコストの最適化 Delta Live Tables データ品質の自動化 Databricks AI カスタムLLMの作成チュー ニング、提供
14. ©2023 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォーム Databricks AI 生成AI • カスタムモデル • モデルサービング • RAG エンドツーエンドAI • MLOps (MLflow) • AutoML • モニタリング • ガバナンス あなたのデータのセマンティクスを理解するために生成AIを活用 データインテリジェンスエンジン オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像 ) Databricks SQL テキストからSQL Workflows 過去の処理に基づく ジョブコストの最適化 Delta Live Tables データ品質の自動化 Databricks AI カスタムLLMの作成チュー ニング、提供 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化
15. ©2023 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォーム あなたのデータのセマンティクスを理解するために データインテリジェンスエンジ オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像 Workflo 過去の処理に ジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Databricks AI カスタムLLMの作成チュー ニング、提供 オペレーション 財務 マーケティング カスタマー サービス どうすれば 組織の皆に データとAIを展開 できるのか？ “Project Genie” 自然言語で誰でもデータや AIを活用
16. ©2023 Databricks Inc. — All rights reserved データインテリジェンスプラットフォームによる 真のデータとAIの民主化の実現 シンプル 自然言語が使いやすさと効率性を全員に提供 インテリジェント あなたのデータを理解するためにE2EでAIがインテグレーション プライベート プライベートデータを用いて容易にカスタムモデルを構築
17. ©2023 Databricks Inc. — All rights reserved 17
18. ©2023 Databricks Inc. — All rights reserved
19. ©2023 Databricks Inc. — All rights reserved ©2023 Databricks Inc. — All rights reserved 解決 JetBlue は Databricks Lakehouse を使用して、独自のデータに基づい て構築された LLM を使用して、より 良い乗客エクスペリエンスを提供し ています。 JetBlue は気象、IoT、 FAA データのリアルタイム ストリー ムを活用して、効率的かつ安全な運 航を実現する世界初のデジタルツイ ンを運用し、遅延を大幅に最小限に 抑えています。 チャレンジ オンライン機能ストアのハイド レーションの欠如、迅速なスケー ルの欠如、クラウド データ ウェ アハウスの遅延の高さにより、 JetBlue のデータ サイエンティス トはスケーラブルな ML トレーニ ングと推論パイプラインの構築 を妨げられ、シームレスな顧客 エクスペリエンスを提供する能 力が妨げられました。 インパクト 増加 LLM と生成 AI のイノベーション により、より安全な運用を推進
20. ©2023 Databricks Inc. — All rights reserved ©2023 Databricks Inc. — All rights reserved 1位 ワールドシリーズ チャンピオンシップ初優 勝 チャレンジ レンジャーズは、大規模で多様 なデータセットの可能性を解き 放ち、それを AI の力と組み合 わせ、リーグ最高の選手パ フォーマンスの実現と素晴らし いファン体験を提供したいと考 えていました。 解決 Databricks は、生体力学、気象、消 費者などのさまざまなソースからの データを統合し、プレーヤーの投球 率と打率を高め、怪我を防ぐのに役 立つ AI 主導の分析を提供します。 LLM はベータ版で、プレーヤーオペ レーションの合理化し、チャットボット を使用してスタジアム内のパーソナ ライズエクスペリエンスを実現します インパクト
21. ©2023 Databricks Inc. — All rights reserved AT&T の従来のデータプラット フォームはチームをサイロ化し、ビ ジネスユニットがデータから抽出 できる価値を制限していました。 AT&Tは、民主化とプライバシー、 セキュリティ、データガバナンスの バランスをとったソリューションを 必要としていました。 Lakehouse への移行により、 AT&Tは不正行為を事前に阻止す ることで顧客とビジネスを保護す る予測ソリューションを提供できる ようになりました。 80% 詐欺の減少 100+ 不正行為防止のための実稼働環境 における ML モデル 1億以上 ペタバイト規模のデータが処理され る インパクト ©2022 Databricks Inc. — 無断複写・転載を禁じます チャレンジ 解決
22. ©2023 Databricks Inc. — All rights reserved 1 億人以上の顧客を抱える Intuit は、データと AI を活用し て洞察を引き出し、ガイド付きド キュメント ナビゲーション、 キャッシュ フロー予測、不正防 止、顧客と適切なサポート エー ジェントの接続などの顧客エク スペリエンスをパーソナライズす る必要がありました。 データブリックス レイクハウス ビジネス上の意思決定に役立つ 全社的な洞察を抽出し、ローン申 請エクスペリエンスを簡素化する ように設計された ML モデルを フィードします。 インパクト 14億ドル 40,000 の中小企業に融資を促進 20倍 洞察を得るまでの時間の短縮 2M 本番環境の ML モデル チャレンジ 解決
23. ©2023 Databricks Inc. — All rights reserved コンデナストのウェブプロパティには 毎月 1 億回以上のアクセスが集 まっています。 しかし、インフラストラクチャの複雑 さにより、切断されたサイロ状の データ環境の中で、このデータ量を 捌くのが困難でした。 Databricks を使用することで、コン デナストはデータ スタックを簡素化 しながら、視聴者のエクスペリエンス をパーソナライズし、AI が動的なク ロスチャネル レコメンデーションを提 供し、サブスクリプションを増加さ せ、更に解約を減らしました。 2000 本番環境の ML モデル 2M 毎日配信されるおすすめ情報 600万ドル ITコストの削減において インパクト チャレンジ 解決