Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第8回DataMeshLT#1 DataMeshって?

第8回DataMeshLT#1 DataMeshって?

SnowflakeUserGroupデタマネコミュニティ第8回活動で利用したLT資料の5本中1本目を公開します!

Transcript

  1. © 2023 HR Force Inc. 2 鈴木 凌(すずき) 株式会社HR Force

    DS統括部 DXグループ Dataチーム リーダー Salesforce / Tableauシステム管理者 データエンジニア / アナリティクスエンジニア @suzupappa @suzupappa Ryo Suzuki
  2. © 2023 HR Force Inc. 12 Data meshはなぜ必要なのか? 「中央集権的なアーキテクチャ」の限界 •

    そもそも、データ駆動(データドリブン)を進めるためには、 アジリティ・コントロール・インサイト・セキュリティが必須 • また、各ユースケース、ビジネス課題に対応するデータを作成・変更するためには、 生データやユースケース、ドメインの把握が必須 • だが、中央集権的なアーキテクチャでは、中央が管理しているDWHなどの基盤に統合する 必要があり、その統合には多大な課題や労力がかかる • また、中央に統合する過程で、ドメイン情報が排除されてしまうことも多い
  3. © 2023 HR Force Inc. 16 「ドメイン駆動設計(DDD)」 「ドメイン駆動設計(DDD、domain-driven Design )」

    Eric Evans氏が発表した大規模な組織の複雑なシステムを対象としたソフトウェア開発の手法 ドメインの専門家からの情報に従って、それに一致するようにソフトウェアをモデル化すること で、効率的な開発につながる データ基盤開発にDDDの要素を導入するメリット データ管理 / 活用におけるドメインの範囲を決定することで、ドメイン内に詳しい人が責任をも って進めることができるようになり(単一責任)、効率的な管理が可能になる
  4. © 2023 HR Force Inc. 17 「ドメイン駆動設計(DDD)」 そもそもドメインってなに? ドメイン: 取り組もうとしている問題空間

    知識、行動、法律、アクティビティが適用される領域。基本的には、サブドメインに分割される サブドメイン: 主に、下記の3つに分類される。 ・コアサブドメイン(最も重要。ビジネスを一意にする秘伝のソースみたいなもの) ・汎用サブドメイン(ビジネスに特化したものではなく、既製品で対応可能) ・支援サブドメイン(競争上の優位はないが、組織の維持には必須の部分。複雑ではない)
  5. © 2023 HR Force Inc. 18 「ドメイン駆動設計(DDD)」 どのようにドメイン境界を設定するか? ・ビジネスアーキテクチャの論理的な境界にマッピングして設定する ・組織の境界やビジネスプロセス、ドメインの専門性、に注目して境界を設定する

    ・ソフトウェアアーキテクチャの詳細な青写真を作成し、どの要素を疎結合にするか、密結合に するかを検討して、境界を設定する 原則 各コンテキスト境界につき、独自のユビキタス言語(共通言語)をもち、 一つのチーム(DevOpsチームなど)が管理する
  6. © 2023 HR Force Inc. 23 Data meshはなぜ必要なのか? 「中央集権的なアーキテクチャ」の限界 •

    そもそも、データ駆動(データドリブン)を進めるためには、 アジリティ・コントロール・インサイト・セキュリティが必須 • また、各ユースケース、ビジネス課題に対応するデータを作成・変更するためには、 生データやユースケース、ドメインの把握が必須 • だが、中央集権的なアーキテクチャでは、中央が管理しているDWHなどの基盤に統合する 必要があり、その統合には多大な課題や労力がかかる • また、中央に統合する過程で、ドメイン情報が排除されてしまうことも多い 再掲
  7. © 2023 HR Force Inc. 24 Data meshはなぜ必要なのか? 「中央集権的なアーキテクチャ」の限界 •

    そもそも、データ駆動(データドリブン)を進めるためには、 アジリティ・コントロール・インサイト・セキュリティが必須 • また、各ユースケース、ビジネス課題に対応するデータを作成・変更するためには、 生データやユースケース、ドメインの把握が必須 • だが、中央集権的なアーキテクチャでは、中央が管理しているDWHなどの基盤に統合する 必要があり、その統合には多大な課題や労力がかかる • また、中央に統合する過程で、ドメイン情報が排除されてしまうことも多い 再掲
  8. © 2023 HR Force Inc. 26 把握方法 サービスレベル契約やコントロール、データ品質ルール、データの利用方法を組 織に対して明らかにするため、データ配信契約とデータ共有合意が必要 データ配信契約

    サービス契約のようなもの データ提供のSLAやサービス条件を含むインターフェースの互換性を保証などを対象とする データ共有合意 データ利用の目的を示すもの 使用方法やプライバシー、目的(制限を含む)などを対象とする
  9. © 2023 HR Force Inc. エンタープライズ規模でのドメイン駆動設計(DDD) データプロバイダー データプロバイダー データコンシューマ データコンシューマ

    データレイヤー API群 RDS群 イベント ストリーミング データプロバイダーとコンシューマの間にデータレイヤーを介し、それらのメタデータを中央の 管理機能と連携する 中央の管理機能
  10. © 2023 HR Force Inc. 下記については時間の都合上お話していないので、 是非、本をお読みください • ビジネスアーキテクチャ ◦

    ビジネスケイパビリティ • 通信と統合のパターン ◦ ポイントツーポイント ◦ サイロ型 ◦ ハブスポークモデル 33