小規模に始めるデータメッシュとデータガバナンスの実践

Slide 1

Slide 1 text

Slide 2

Slide 2 text

株式会社ダイニー © 2024 Dinii Inc. DataOps Night #5 自己紹介株式会社ダイニー/Data Team/Tech Lead Web フルスタックエンジニア、データエンジニア。Data Team 立ち上げと共にデータエンジニアリングに軸足を置きつつある。 BigQuery, PostgreSQL, TypeScript が好き。プロダクトづくりと BBQ と海外サッカーが好き。 Junya Kimura a.k.a kimujun 1130_kimu kimujun

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

株式会社ダイニー © 2024 Dinii Inc. なぜデータメッシュなのか DataOps Night #5 データメッシュは、組織内または組織間の複雑で大規模な環境において、分析データを共有・アクセス・管理するための分散型アプローチ (Zhamak Dehghani “Data Mesh”, O'Reilly) データメッシュとは？特徴 ● データのオーナーシップをドメインに分散する (中央集権ハブを持たない) ○ 外部ドメインに公開するデータ (= データプロダクト) をメンテナンス ● データガバナンスはセルフサービスプラットフォームによって行う

Slide 10

Slide 10 text

Slide 11

Slide 11 text

株式会社ダイニー © 2024 Dinii Inc. なぜデータメッシュなのか DataOps Night #5 PROS ❏ 高いアジリティ ❏ ドメイン間の調整だけでデータ共有が完結する ❏ 組織成長に合わせたスケーラビリティの高さ ❏ Data Team のリソースがボトルネックにならない ❏ ドメインの成熟度に合わせたデータ共有が可能 ❏ チームによってデータプラットフォームの成熟度が異なっていても問題がない CONS ❏ 移行コストの高さ ❏ 中央集権アプローチをとっているアーキテクチャから移行するコストが高い ❏ 複雑なアーキテクチャ ❏ ドメイン間のデータ共有ごとにパスが発生し全体として複雑になる ❏ データガバナンスのためのプラットフォーム整備が必須 ❏ アクセス制御や品質管理、メタデータ管理などのガバナンスが最重要本日お話するトピックデータメッシュとは？

Slide 12

Slide 12 text

株式会社ダイニー © 2024 Dinii Inc. なぜデータメッシュなのか DataOps Night #5 ダイニーのドメインの歴史 ● 2019~ モバイルオーダー POS の開発・リリース (MO-POSドメイン) ● 2023~ ダイニーキャッシュレスの開発・リリース (Finance ドメイン) ● 2024~ ダイニー勤怠の開発・リリース (Employee Satisfaction, ES ドメイン) つまり MO-POS ドメインしかなかったところに、急にドメインが 2 つ増えた Compound Startup の特徴

Slide 13

Slide 13 text

Slide 14

Slide 14 text

株式会社ダイニー © 2024 Dinii Inc. なぜデータメッシュなのか DataOps Night #5 ● 各ドメインチームが最大限独立してアプリケーションを開発する方針を取っている ○ 認証認可基盤の利用や Technical Standard の適用のみ Platform Team が整備する形 ● もともと MO-POS ドメインしかなく、1 からデータプラットフォームを作るタイミングだった ○ Compound Startup なのでドメインはさらに増え続ける ● データメッシュは大規模な環境に適用される前提の概念だが、小規模段階でも各ドメインの独立性を保ったままデータプラットフォームを実装するのに有効と考えたデータメッシュのアジリティ・スケーラビリティの高さがマッチしている中央集権からデータメッシュへの移行コストが 0 データメッシュを採用する意思決定へ (ガバナンスはガンバル)

Slide 15

Slide 15 text

Slide 16

Slide 16 text

株式会社ダイニー © 2024 Dinii Inc. 複数事業部のデータをつなぐアーキテクチャ DataOps Night #5 Dataplex ● ドメインごとのデータセットをひとまとめにして定義する ○ Lake, Zone, Asset の 3 レイヤー ○ ドメインデータに対してきめ細かい権限管理が可能 ● データ探索、品質管理、メタデータ管理 (カタログ機能) を内包 Dataplex は、分散データを統合し、そのデータのデータマネジメントとガバナンスを自動化するデータファブリックです。Dataplex は、データの移動または重複を必要としない方法でデータを管理します。 (Google Cloud “Dataplex overview”, https://cloud.google.com/dataplex/docs/introduction)

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

株式会社ダイニー © 2024 Dinii Inc. データガバナンス DataOps Night #5 実践しているガバナンスの観点 Discoverable (発見可能性) Understandable (意味の一意性) 他のドメインのデータを発見・理解する Dataplex/Data Catalog によるメタデータ・リネージ管理 Trustworthy (品質) データプロダクトの品質管理を行う Dataplex の品質管理機能を利用 Secure (セキュリティ) データプロダクトへのアクセスを管理する Dataform の assertion を利用 Interoperable (相互運用性) 各データプロダクトに同じインターフェースでアクセスするスキーマ変更をデリバリーするフローを定義 ● データプラットフォームに求められる観点ごとにガバナンスの手法を制定 ○ 観点は Data Mesh 本から一部抜粋観点解釈ガバナンス手法

Slide 20

Slide 20 text

株式会社ダイニー © 2024 Dinii Inc. データガバナンス DataOps Night #5 Dataplex (Data Catalog) によるデータガバナンス ● メタデータ管理 ○ Google Cloud Project 横断で BigQuery メタデータの一覧、検索が可能 ■ BigQuery テーブルに Description をちゃんと付与しておけば、何もしなくても使える ○ tag ベースのメタデータ管理を利用したい場合は Data Catalog を利用する ■ PII レベルの管理とか

Slide 21

Slide 21 text

Slide 22

Slide 22 text

株式会社ダイニー © 2024 Dinii Inc. データガバナンス DataOps Night #5 スキーマ変更のデリバリー ● あるデータプロダクトでスキーマ変更が発生した場合、利用者側にデリバリーする必要がある ○ サイレントでスキーマが変わると、ある日突然パイプラインが止まる ● 2 つの観点が必要 ○ データプロダクトの利用箇所を特定可能であること → Dataplex のリネージ機能でクリア ○ 互換性を保ちつつ移行できること ● 互換性を保ちながら移行する ○ データプロダクトとして公開しているデータセットのスキーマさえ変わらなければ問題がない ○ View とバージョン管理によって移行する

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

株式会社ダイニー © 2024 Dinii Inc. データガバナンス DataOps Night #5 まだできていなこと ● 品質管理のプラットフォーム制定 ○ Dataform にも品質管理の仕組みがある (assertion) ■ 現状はこれ ○ Dataplex の品質管理を使いたい ■ 他のテーブルとの関係性もルールで記述できる ● データスチュワードの整備 ○ 「このデータの管理者は誰か」を表すのがデータスチュワード ○ Dataplex にもデータスチュワード管理の機能はあるが、仕組みの検証ができていない ● コードベースでのプラットフォーム提供 ○ 今は各ドメインのリポジトリに個別に実装されている ○ 共通ライブラリとして整理して、各所で使うようにしたい

Slide 26

Slide 26 text

Slide 27

Slide 27 text

株式会社ダイニー © 2024 Dinii Inc. まとめとお知らせ DataOps Night #5 まとめ ● 複数事業部全体のデータプラットフォームとしてデータメッシュパターンを採用している ● データメッシュはガバナンス部分が重要なので Data Team が大きなリソースを割いてガバナンスに投資をしている ● データメッシュのガバナンスツールとして Dataplex を広く活用している ● ガバナンス対象が広く未着手な領域も多いのでこれからがんばる

Slide 28

Slide 28 text