誰も教えてくれない メダリオンアーキテクチャの デザインメソッド

JEDAI データエンジニア分科会 #1 集まれデータエンジニア！ にて発表した`誰も教えてくれない メダリオンアーキテクチャの デザインメソッド`に関するスライド

https://jedai.connpass.com/event/316240/

Transcript

1. JEDAI データエンジニア分科会 #1 集まれデータエンジニア！ 誰も教えてくれない メダリオンアーキテクチャの デザインメソッド manabian
2. 自己紹介 @manabian 【主な生業】 BI・DWH構築に関するSIベンダーにてテクニカルスペシャリスト職と して、次の業務を実施。 • Databricks におけるシステム実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援 • データ分析基盤に関する技術検証 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に Databricks などのデータ分析基盤に関する記事を 投稿。 • 最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定 方法の提案～ – Qiita • PySpark 開発時に知っておくべき７つのテーマ– Qiita • データエンジニア界隈で話題のdbt（data build tool）のまとめ #Python - Qiita
3. はじめに メダリオンアーキテクチャの実装方法論 プログラムの共通化による開発生産性向上 データ分析基盤における データを どのように管理するか
4. アジェンダ
5. 1. 前提となる事項の確認 1-1. データ分析基盤とは 実際に利用できるコンポーネント 引用元：最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～ - Qiita
6. 1. 前提となる事項の確認 1-2. メダリオンアーキテクチャとは 具体的な実装例がないため解釈に幅 引用元：メダリオンアーキテクチャ | Databricks
7. 2. メダリオンアーキテクチャの実装方法 2-1. 全体像 引用元：Databricks ( Spark ) における Spark テーブル （データレイク）のディレクトリ構成の検討 - Qiita
8. 2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(1/2)
9. 2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(2/2)
10. 2. メダリオンアーキテクチャの実装方法 2-3. Silver レイヤーついて 引用元：Bronze テーブルから Silver テーブルへのデータローディングパ ターン - Qiita
11. 2. メダリオンアーキテクチャの実装方法 2-4. Goldレイヤーついて
12. 2. メダリオンアーキテクチャの実装方法 2-5. Otherレイヤーついて
13. 2. メダリオンアーキテクチャの実装方法 2-6. 全体像の振り返り
14. 2. メダリオンアーキテクチャの実装方法 2-7. データ品質保証の実施
15. 3. データエンジニアリングの実施方法 3-1. オーケストレーションの設計方針
16. 3. データエンジニアリングの実施方法 3-2. Databricks におけるアクティビティ
17. ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian