JEDAI データエンジニア分科会 #1 集まれデータエンジニア！ 誰も教えてくれない メダリオンアーキテクチャの デザインメソッド manabian

自己紹介 @manabian 【主な生業】 BI・DWH構築に関するSIベンダーにてテクニカルスペシャリスト職と して、次の業務を実施。 • Databricks におけるシステム実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援 • データ分析基盤に関する技術検証 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に Databricks などのデータ分析基盤に関する記事を 投稿。 • 最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定 方法の提案～ – Qiita • PySpark 開発時に知っておくべき７つのテーマ– Qiita • データエンジニア界隈で話題のdbt（data build tool）のまとめ #Python - Qiita

はじめに メダリオンアーキテクチャの実装方法論 プログラムの共通化による開発生産性向上 データ分析基盤における データを どのように管理するか

アジェンダ

1. 前提となる事項の確認 1-1. データ分析基盤とは 実際に利用できるコンポーネント 引用元：最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～ - Qiita

1. 前提となる事項の確認 1-2. メダリオンアーキテクチャとは 具体的な実装例がないため解釈に幅 引用元：メダリオンアーキテクチャ | Databricks

2. メダリオンアーキテクチャの実装方法 2-1. 全体像 引用元：Databricks ( Spark ) における Spark テーブル （データレイク）のディレクトリ構成の検討 - Qiita

2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(1/2)

2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(2/2)

2. メダリオンアーキテクチャの実装方法 2-3. Silver レイヤーついて 引用元：Bronze テーブルから Silver テーブルへのデータローディングパ ターン - Qiita

2. メダリオンアーキテクチャの実装方法 2-4. Goldレイヤーついて

2. メダリオンアーキテクチャの実装方法 2-5. Otherレイヤーついて

2. メダリオンアーキテクチャの実装方法 2-6. 全体像の振り返り

2. メダリオンアーキテクチャの実装方法 2-7. データ品質保証の実施

3. データエンジニアリングの実施方法 3-1. オーケストレーションの設計方針

3. データエンジニアリングの実施方法 3-2. Databricks におけるアクティビティ

ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian