オープンでセキュアなデータ共有: Delta Sharingの仕組み

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2021 Databricks Inc. — All rights reserved Delta Sharingがもたらすビジネスの成果データの共有は、効果的なステークホルダー・エンゲージメントを達成し、企業価値を提供するための、ビジネスに直結した重要業績評価指標です。データ共有の推進とデータサイロの打破は、ほとんどの場合において組織に価値をもたらすハイパフォーマンスなD&Aチームと結びついていました。データ共有を推進する組織は、ほとんどのビジネス価値測定基準において、同業他社を上回ります。 1 2 3

Slide 3

Slide 3 text

©2021 Databricks Inc. — All rights reserved DW Vendor 3 DW Vendor 3 DW Vendor 3 DW Vendor 2 DW Vendor 2 DW Vendor 1 DW Vendor 1 DW Vendor 1 DW Vendor 4 DW Vendor 4 SFTP ODBC API Com m ercial Product データ共有は複雑で障害が起こりやすいです費用のかかるロックイン実現しない事業価値不必要な複雑さ

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2021 Databricks Inc. — All rights reserved シンプル、オープン、簡単なデータ共有 Delta Lake Delta Sharing Server Delta Sharing Client ACL Checks ... Power BI データ共有者データ受信者マルチクラウド対応レプリケーション無し容易な管理データ共有とコラボレーションにかかる時間を、数日からリアルタイムに短縮

Slide 7

Slide 7 text

Slide 8

Slide 8 text

©2021 Databricks Inc. — All rights reserved ユースケース Delta Sharingはどのように顧客価値を高め、活用されているか？ Delta Sharingが完璧なゲームチェンジャーとして機能 Line of Business Data Sharing Data Monetization B2B Data Sharing Use Case Details Beneﬁts ● サイロ化した部門間のデータアクセスを合理化 ● クラウドや地域間でデータを簡単に共有可能 ● エンジニアリング時間の節約 ● リアルタイムでデータにアクセスし、顧客価値を向上 ● 異なる事業部門とデータを共有し、さまざまなアプリケーションを通じて顧客にデータを提供 ● 生データとキュレーションされたデータを簡単に共有する能力 ● 最大手の顧客とデータを共有 ● s3からs3への共有のアクセス制御とメンテナンスの簡素化 ● 大規模なデータセットの定期更新処理を不要に ● 様々なスポーツ企業とマーケティングデータを共有 ● 顧客はさまざまなプラットフォームや地域に存在（ヨーロッパの大手サッカーチームが最大の顧客）

Slide 9

Slide 9 text

©2021 Databricks Inc. — All rights reserved 相互運用性価値実現までの時間を短縮するシェアリングの未来 "Delta Sharingは、データ共有への新しくオープンなアプローチであり、クロスプラットフォームの柔軟性を備えたシームレスで安全なデータ交換を可能にします" "金融業界におけるデータの未来は、オープンなプロトコルとスタンダード（Spark、Pandasなど）に向かう傾向にあることは歴史が物語っています。データガバナンス、共有、管理も例外ではありません。" 新しいデータフィードやFTP(File Transfer Protocol)の実装は非常に時間のかかるプロセスです—この時間は、顧客がトライアルシナリオでコンテンツを探索したり、自社に価値を生み出したりするために使用できる貴重な時間でしょう" パートナーの声 1 2 3

Slide 10

Slide 10 text

©2021 Databricks Inc. — All rights reserved 10 シンプル、オープン、簡単なデータ共有 Delta Lake Delta Sharing Server Power BI データ共有者データ受信者マルチクラウド対応レプリケーション不要用意な管理データ共有とコラボレーションにかかる時間を、数日からリアルタイム二短縮 Delta Sharing Client … Data Analyst Data Scientist Data Engineer On-Prem Authorize Authenticate

Slide 11

Slide 11 text

©2021 Databricks Inc. — All rights reserved Delta Sharingによる合理化された共有 Reﬁned Table 実用データリアルタイムでのデータ問い合わせリアルタイムでのデータアクセスマルチクラウドレプリケーションなし容易な管理 Delta Sharing サーバー Source Table シェアデータ共有者データ受信者準備 (オプション) トリガー Delta Sharing クライアント Delta Sharingは、パートナーとの共同作業時間を数日からリアルタイムに短縮します。 11

Slide 12

Slide 12 text

©2022 Databricks Inc. — All rights reserved Data Domain Data Domain Data Domain Databricks Lakehouseとデータメッシュ 12 事業部門はData Domains で組織され、それぞれソース、データ、メタデータを所有する。 Databricks Lakehouse を使用して、データからドメイン固有のInsightを生み出し、Unity Catalog （共通データカタログ）をによって他ドメインに Data Products を提供する。組織ルールや業界規制へのコンプライアンスは、 Federated Governance（統合ガバナンス）により確保される。 Data Data Product Insight Data Data Product Insight Data Data Product Insight Databricks Lakehouseプラットフォーム Data Productの消費 Data Productの作成／メンテナンス G G G G Federated Governance Unity Catalog Databricks Lakehouse Platformでは、Data Domainをさまざまなレベルで作成可能 ● 1つのワークスペースで、クラスタを使用してドメインを分離 ● 分割されたワークスペースで、データ・ドメインごとに分離 ● レイクハウスとData Domainの完全な一致

Slide 13

Slide 13 text

©2022 Databricks Inc. — All rights reserved 13 Delta Sharing Data Domain Data Domain Data Domain Data Data Produc t Insight Data Data Produc t Insight Data Data Produc t Insight Data Domain Data Domain External party Data Data Produc t Insight XYZ Data Insight data Data Produc t Insight cloud region 2 cloud provider 2 cloud region 1 cloud provider 1 company 1 company 2 G G G G G Data Produc t (D2D) (D2D) Databricks to Databricks Delta Sharing データメッシュの拡大縮小 ● Databricks に基づくデータメッシュは、クラウドリージョンおよびクラウドプロバイダーを横断して拡張可能。 ● Delta Sharing はビジネスや技術の境界を越えてドメイン間でデータ製品を共有するためのオープンプロトコルである。 ● Delta Sharing Protocolは非ベンダー依存であるため、データメッシュの異なるドメインが存在する ○ 同じ技術スタックを使う必要はない ○ ビジネス・パートナーのような、別の会社であっても問題ない

Slide 14

Slide 14 text

©2021 Databricks Inc. — All rights reserved 14 Delta Table Delta Sharing Server Delta Sharing Client Delta Sharing Protocol Access Permissions Parquet ﬁles テーブルリクエスト事前署名付き Short-Lived URLs direct access to ﬁles (parquet format) in the object store … Power BI 注釈 ● 共有はDelta Part Fileで行われ、テーブル、パーティション、Delta Versionなどをサポートします。 ● クライアントはシステムに依存せず、 parquetファイルを読み取ることができればよいです ● Databricks 共有サーバーと ACL チェックは Unity Catalogと統合されています内部の仕組みデータ共有者データ受信者 Data Sharing Protocol： ● クライアントが共有サーバーを認証 ● クライアントがテーブル（フィルタを含む）をリクエスト ● サーバーがアクセス許可をチェック ● サーバーは事前に署名された、有効期限の短いURLを生成して返す。 ● クライアントはURLを使用してオブジェクト・ストレージからファイルを直接読み込む。