Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データコラボレーションを加速するには?

 データコラボレーションを加速するには?

データ共有とコラボレーションを加速するためにDatabricksが提供している機能について説明します。

Databricks Japan

April 13, 2024
Tweet

More Decks by Databricks Japan

Other Decks in Technology

Transcript

  1. ©2024 Databricks Inc. — All rights reserved 3 データ共有とコラボレーションが重要な理由 ビジネスの改革、簡素化、成長

    データ利用者 データ提供者 データ価値の収 益化 イノベーション の加速 データ AIモデル アプリの共有 コラボレーションの複雑性をシンプルにし、コストを削減
  2. ©2024 Databricks Inc. — All rights reserved 4 セキュアでオープンな 共有がデータの

    価値を解放します データ共有の取り組みを成功裡に収めた CDOはビジネス価値の創出を1.7X効率的 に示しており、自身のデータ分析戦略のリ ターンを得ています。
  3. ©2024 Databricks Inc. — All rights reserved 5 データコラボレーションがビジネス インパクトを促進

    異なるクラウド & リージョンの部門間での データ共有 内部共有 (データメッシュ) 任意のプラット フォームでパートナーと データとAIのコラボレー ション B2B共有 大規模な顧客にデータ、 AI、アプリ、パッケージソ リューションを販売 商用化 プライバシー保護された 環境で信頼するパートナーと データとAIの共有 機密性のある コラボレーション
  4. ©2024 Databricks Inc. — All rights reserved 6 業界横断のデータ共有 コラボレーション

    広告と小売 店員行動解析の組み込み | 広告のアップリフト/パフォーマン ス | 需要予測 | “ネクストベストSKU”の予測 | 在庫 分析 | ライブの気象データ 金融 株価市場変動分析 | 市場リサーチ | 保険、保険計理分析 | 規制リスク & コンプライアンス | リアルタイム不正検知 | ターゲティングした金融商品開発 ヘルスケア、サイエンス ゲノムターゲット特定の組み込み | リスクスコアリング 創薬 | 人口動態の健康 | 観測研究
  5. ©2024 Databricks Inc. — All rights reserved 7 データ共有、コラボレーション成長曲線 競争優位性を解放する

    データ共有、コラボレーション成熟度 競争優位性 データ & AIのソ リューション、収 益化 プライバシー保 護されたクリー ンルーム リアルタイムの 信頼に基づくコ ラボレーション データエコシス テムの拡張 データと分析結 果の共有 統合分析 データドリブン アプローチ
  6. ©2024 Databricks Inc. — All rights reserved 9 データ、AI、アプリの共有は 複雑で高価です

    複雑で不安定な データ共有ソリューション 「単なる」データ以外の コラボレーションが困難 オープンなデータ交換 エコシステムの欠如 分断されたセキュリティ、プライ バシー、ガバナンス 実現されない ビジネス価値 AI、アプリ共有の欠如に よるイノベーションの制限 ベンダーロックインが コラボレーションを制限 信頼できる洞察を導出する能 力を制限
  7. ©2024 Databricks Inc. — All rights reserved 10 信頼できオープンなコラボレーションを実現する単 一のプラットフォーム

    完璧なものはどのようなものか? 「単なる」データ以外も共有 広範なエコシステムによるオープンな共有 データを移動することなしにセキュアなコラボレーション あなたの企業: 共有データ 共有AIモデル 共有アプリ データ 利用者 データ 提供者
  8. ©2024 Databricks Inc. — All rights reserved 11 統合されたデータ共有とコラボレーション 共有とコラボレーションを実現

    する統合PF 「単なるデータ」を超えたコラボ レーション オープンな共有と コラボレーション データとAIモデルの コラボレーションと共有 大規模かつ迅速な イノベーション データ、分析、AIのすべてのイ ノベーションを解放 広大なエコシステムへの アクセス プライバシー保護コラボ によるリスク低減
  9. ©2024 Databricks Inc. — All rights reserved 12 Databricksデータインテリジェンスプラットフォーム ETL

    & リアルタイム分析 オーケストレーション データウェアハウス データサイエンス & ML Databricks AI Delta Live Tables Workflows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog 信頼性と共有のための統合データストレージ Delta Lake インテリジェンスエンジン データの特性やセマンティクスを理解するために生成AIを活用 オープンデータレイク すべての生データ (ログ、テキスト、音声、動画、画像) ビジネスユーザーの直感的なアクセス Project Genie オープン エコシステム
  10. ©2024 Databricks Inc. — All rights reserved 13 Databricks, 高信頼コラボレーションのた

    めのプラットフォーム データインテリジェンスプラットフォームでのデータ共有 Databricks マーケットプレース Databricks クリーンルーム データ AIモデル ノートブック ダッシュボード 利用者 Powered by オープンソースDelta Sharing Unity Catalogによる保護、管理 提供者 統合された方法でデータ、AI、アプリ、 ソリューションを共有 広範にリーチできるオープンエコシステム セキュア、プライバシー保護された コラボレーション アプリ ソリューション
  11. ©2024 Databricks Inc. — All rights reserved 14 データ価値の実現 Delta

    Sharing Databricksマーケットプレース/ プライベート交換所 Databricksクリーンルーム OEM BUとパートナーデータに またがるデータにアクセス 外部のデータ & AIへのアクセス プライバシー保護された コラボレーション データがコントロールされた インタフェースを操作 CRM/SAP/Salesforce/Oracleに接続 データ価値の実現 どのようにDatabricksが共有と コラボレーションを加速するのか チームのデータに アクセス
  12. ©2024 Databricks Inc. — All rights reserved 15 Delta Sharingのデータ利用者

    15,000+ Delta Lake テーブル 互換性のある クライアント データ利用者 データ提供者 基盤: プラットフォーム横断データ共有のためのオープンプロトコル Delta sharing プロトコル 今年のニューパートナー
  13. ©2024 Databricks Inc. — All rights reserved 16 ノートブック AIモデル

    テーブル ソリューションア クセラレータ アプリ ダッシュボード ファイル Databricks マーケット プレース データとAIソリューションのオー プンマーケットプレース Databricksマーケットプレース
  14. ©2024 Databricks Inc. — All rights reserved 17 マーケットプレースエコシステムの成長 170+

    提供者 1,700+ リスティング 100K+ 訪問者 Databricksマーケットプレース 80% QoQ アクティブ接続の成長率 Carto
  15. ©2024 Databricks Inc. — All rights reserved 18 エコシステムの声 “With

    Nasdaq data now discoverable on the Databricks Marketplace and accessible via Delta Sharing, we will enable customers to access data in an open way across their tools of choice and accelerate their time.” —Bill Dague Vice President and Head of Data Product at Nasdaq “The Databricks Marketplace simplifies the process of discovering and evaluating external data with pre-built notebooks, without locking us into a single vendor or prolonging procurement cycles. With just a few clicks, we can access the data within our Databricks workspaces. We also look forward to leveraging the notebooks, dashboards, and ML models through the Marketplace to enhance our analytics and AI initiatives.” —Greg Rokita AVP Technology at Edmunds “As the adoption of AI grows, we are excited to partner with Databricks to help customers drive faster time to insights. The marketplace partnership aims to empower businesses with fostering open collaboration, real-time unified access, and driving enhanced analytics and quantitative decision-making capabilities in the financial industry and beyond.” —Stuart Brown Group Head of Enterprise Data Solutions at London Stock Exchange
  16. ©2024 Databricks Inc. — All rights reserved 19 柔軟性 -

    お好きなツールで任意の処理を実行 スケーラブル、複数パーティのコラボレーション 相互運用性 - 複製なしにすべてのデータソースと接続 Databricksクリーンルーム データ、分析、AIにおけるプライバシー保護されたコラボレーション 19 Private Preview on AWS 顧客やパートナーと容易かつ セキュアなコラボレーションを実現
  17. ©2024 Databricks Inc. — All rights reserved 20 Volume共有 Delta

    Sharing (Public Preview - Q1) イグレス費用ゼロの Cloudflare R2連携 Delta Sharing (Public Preview - Q1) 提供者向け使用量 & 分析UI マーケットプレース (GA - Q1) MosaicMLトレーニング データセット マーケットプレース (GA - 2024) Databricksクリーンルーム (Private Preview) DatabricksIQ マーケットプレース (2024) レイクハウスフェデレーション Unity Catalog (GA - Q4) クラウド横断のストレージ ロケーション Unity Catalog (Private Preview) 共有、コラボ レーションの ロードマップ AIモデルの共有 Delta Sharingとマーケットプレース (Public Preview - Q1, GA - 2024)
  18. ©2024 Databricks Inc. — All rights reserved 21 AI Models

    AI Models with Delta Sharing 企業内、パートナー間でAIモデルをセキュアに管理 21 Public Preview available now クラウド、プラットフォーム、 リージョン横断で容易にAIモデルを 共有 不必要なコピーなしにBUやパートナー横断で シームレスにAIモデルを共有 集中管理のガバナンスやセキュリティのためにネイティブで Unity Catalogと連携 リアルタイム、バッチ推論のために Databricksデータイン テリジェンスプラットフォームを用いて AI機能をデプロイ Demo: AI Model Sharing with Delta Sharing
  19. ©2024 Databricks Inc. — All rights reserved 22 AI Models

    AI Models on Marketplace オープンマーケットプレースを通じたAIモデルの配布、アクセス 22 Public Preview available now AIの発見、収益化、お使いのデータソ リューションへの組み込み OSS + プロプライエタリのAIモデルへのアクセス そのままモデルを活用、あるいはファインチューン リアルタイム、バッチ推論のために Databricksデータイン テリジェンスプラットフォーム上ですぐに活用 可能 Demo: Installing AI models by John Snow Labs Demo: Installing Foundation Model
  20. ©2024 Databricks Inc. — All rights reserved 任意のフォーマットの大規模データを 共有することで、AI +

    MLワークロードを解 放 ディレクトリやファイルのコレクションをカタログ化する Unity Catalogの新たなオブジェクトタイプ 複製することなしに、テーブルデータと一緒に任意のフォーマット のデータを管理、共有 データサイエンス、AI + MLワークロードでの非構造化 データ(画像、音声、PDF、動画など)の処理を解放 構造化 & 半構造化データを含むすべてのデータでコラボレーション Volumes with Delta Sharing 23 Public Preview available now Demo: Volume Sharing with Delta Sharing
  21. ©2024 Databricks Inc. — All rights reserved 新たなパートナーシップによって、 Cloudflare R2ストレージプラットフォー

    ムにホストされたデータを 用いてコスト削減を実現 イグレスコストや提供者の計算コストが不要 共有リージョンごとに高コストな複製が不要 ベンダーロックインなし 最速、高セキュリティ、最も安価な共有機能 Cloudflare R2 with Delta Sharing 24 Cloudflareの膨大なグローバルネットワー ク、ゼロのイグレスストレージとDatabricks のパワフルな共有、処理機能を組み合わせ ることで、共通するお客様に対して、高速、 高セキュリティ、安価なデータ共有機能をグ ローバルに提供します。” —Matthew Prince, CEO & Co-founder Public Preview available now
  22. ©2024 Databricks Inc. — All rights reserved 26 Challenge Nasdaq

    Data Link Digital Assets Market needed to support financial institutions with seamless access to their vast data sets for 2K+ crypto-currency pairs across 15 exchanges. Data changes on a microsecond basis across many different data stores, working with copies of data, and needing to operate in real-time. Solution Delta Sharing helped streamline their data delivery process for large datasets. Enabled clients to bring their compute environments to read new, curated data with minimal integration. Databricks Marketplace provides trade listings to help inform cross-exchange opportunities, trade impact, flow and analyses. “With Nasdaq data now discoverable on the Databricks Marketplace and accessible via Delta Sharing, we will enable customers to access data in an open way across their tools of choice and accelerate their time.” —Bill Dague, Vice President and Head of Data Product at Nasdaq Real-time data access, insights Impact Reduce ETL of large datasets from months to minutes Faster insights by bringing datasets across global markets to enable access and discovery
  23. ©2024 Databricks Inc. — All rights reserved 27 Turbocharging collaboration

    Challenge Anker was hampered by a legacy data warehouse, which required significant DevOps support to integrate relevant services and left little bandwidth for opportunities like granular forecasting or generative AI to accelerate product fit insights. Additionally, data governance was challenging as data engineering and science teams used different tooling, which made it impossible for business users, analysts and data scientists to access the data they needed to make decisions. Solution Once their data was in the Lakehouse, Anker was able to use Delta Sharing to make data available to the data analytics and business teams, and Unity Catalog for governance. Working with Unity Catalog, they were able to give users access for the first time and govern data access at the table level. This made their data easy to share without compromising on governance. Impact 500+ employees were able to collaborate by sharing data easily and securely 200TB+ of data from business, product, marketing and sales sources were unified on the Lakehouse to enable access and accelerate insights
  24. ©2024 Databricks Inc. — All rights reserved 28 Banking for

    the future Challenge Coastal Community Bank based in WA with 40K customers had a vision to offer BaaS (Banking-as-a-Service) and support more customers through their CCBX partner network. Apart from scaling, they needed to streamline, modernize operations for complex legacy banking infra- structure, processes and provide a better customer experience. Solution Delta Sharing allowed CCB to scale and modernize by connecting data almost instantly with myriad partner network, as well as providing simplified governance. This enabled them to provide personalized financial products, better risk assessment, automated reporting, as well as adherence to regulatory requirements. “With Delta Sharing, we don’t have to move data around anymore. Delta Sharing is so easy as it’s wrapped within the parameters of the platform. No multiple handoffs, or only seeing siloed views.” —Barb MacLean, Head of Technology, Coastal Community Bank Impact 6M+ customers are now supported on partner network, scaling from 40K 10 minutes to start ingesting data from ONE, an emerging fintech startup, a CCB partner
  25. ©2024 Databricks Inc. — All rights reserved 29 Privacy-enhanced collaboration

    Challenge Mastercard is facing the challenge of providing clients access to its valuable proprietary data sets, as privacy and security constraints impede direct sharing. The company aims to engage in custom, joint analytics with third parties, yet faces a hurdle in the inability to directly share data between the involved parties. Additionally, within Mastercard, different Lines of Business (LOB) are eager to leverage each other's data assets, but existing usage rights present constraints on direct data sharing. Solution Databricks Clean Rooms allow for Mastercard to unlock the value of its data and insights in collaborations with clients, academics and others while maintaining the needed security, privacy and utility of its data assets. Mastercard wants to give clients access to data in a secure clean room environment where clients can run jobs that merge their data with Mastercard’s after running pre-checks and post-checks to validate data quality. Mastercard says clean rooms could unlock 7-figures worth of potential revenue. Impact Data minimization by transferring data into a clean room allows for privacy and legal checks Flexibility Ability to use notebooks for privacy checks at any point– data ingest, analysis and results sharing CONFIDENTIAL - FOR INTERNAL USE ONLY
  26. ©2024 Databricks Inc. — All rights reserved 30 Enhanced data

    sharing Challenge YipitData needs to gain visibility into active and inactive datasets, improve performance for BI integrations, and open new channels to deliver data to clients. Solution Datasets are easier to consume for clients using Delta Sharing and BI tools. Our clients can consume our analytics in simpler ways than before while we internally keep the data preparation for those experiences lean, performant, and consistent with open standards. “Unity Catalog and Delta Sharing increased utilization of datasets, and made data accessible to external systems and clients in a thoughtful way” —Anup Segu, Co-Head of Data Engineering at YipitData Impact 70% reduction in cloud infrastructure resources 45% reduction in SQL warehouse cost
  27. ©2024 Databricks Inc. — All rights reserved 31 Cost-efficient blockchain

    solution Challenge Allium needed to build a cost-efficient data storage and sharing solution that met their customers’ needs across financial products, including managed blockchain databases, enriched data schemas, and real-time notification Solution The combination of Delta Sharing with Cloudflare R2 has provided Allium with a cost-effective and secure data sharing solution, taking advantage of zero egress costs since there is no need for complex replications or vendor lock-in. “Combining both Delta Sharing and Cloudflare R2 together allows us to deliver data to our customers reliably and cost-effectively. We deliver the highest quality blockchain data to our customers in their preferred environment, while minimizing our storage and egress costs, saving up to $645K per year.” —Ethan Chan, Co-Founder and CEO of Allium Impact $645K / year savings due to minimizing storage and egress costs 1PB / mo. data transfer monthly in last quarter + growing
  28. ©2024 Databricks Inc. — All rights reserved 32 Share data,

    AI, apps and solutions in a unified way Open ecosystem for massive reach Privacy-safe collaboration Simplify data, AI, apps and solution sharing and collaboration across the enterprise Powered by: Databricks is a platform for trusted collaboration
  29. ©2024 Databricks Inc. — All rights reserved Best practices to

    increase collaboration - across clouds, platforms or regions This industry-specific eBook is aimed at executive leaders and articulates the value they can achieve with data sharing and collaboration. CDOs promoting data sharing have 3x greater economic performance, as compared to their peers. Learn more about: • Industry-specific use cases • Customer stories and proof points • Partners to help get started with Databricks N EW Accelerate Industry Innovation with Data Sharing Download eBook →
  30. ©2024 Databricks Inc. — All rights reserved 34 Explore Databricks

    Marketplace! Open marketplace for all your data, analytics, and AI Explore Databricks Marketplace: marketplace.databricks.com Learn more: databricks.com/product/marketplace
  31. ©2024 Databricks Inc. — All rights reserved 35 Join the

    Data Provider Partner Program Access the broad, open ecosystem of data consumers with Databricks and monetize data assets all from a single platform. Our partners can leverage the Databricks Lakehouse Platform to: • Reach more customers • Reduce time and costs • Provide a best-in-class customer experience for all their data sharing needs Databricks natively integrates with Delta Sharing and is endorsed by a broad ecosystem of open source and commercial clients and data vendors. Apply at Databricks Partner Program
  32. ©2024 Databricks Inc. — All rights reserved 36 Getting started

    on Databricks Marketplace Consumers interested in listing can request more information. Contact information is shared with data provider to follow-up on data consumer on desired dataset. • Providers can provide sample data (optional) • Provider can share notebooks and dashboards (optional) Commercials are directly completed between provider and consumer. Databricks is not involved and does not take a fee.
  33. ©2024 Databricks Inc. — All rights reserved Databricks Clean Rooms

    How are you solving sensitive data use cases today? 37 Sign up today → Visit our website → Read our definitive technical guide 37 Download the eBook → Join our private preview Learn more about Databricks Clean Rooms