Asset Centric なデータ変換パイプラインの攻略法

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© Recruit Co., Ltd. All Rights Reserved プロダクト開発統括室データ推進室結婚‧旅⾏‧⾃動⾞領域アナリティクスエンジニア /テックリード 2015-2019 IoTデータの研究開発 2019-2020 住宅領域アナリティクスエンジニア 2020-現在結婚‧旅⾏‧⾃動⾞領域アナリティクスエンジニア森⽥順也 Junya MORITA Proﬁle 経歴所属 2 X: https://x.com/jjjjj_kn Podcast: https://open.spotify.com/show/6Xc6jNS2p1UqjnPppwO80V?si=WXCP2O58RrePvsjTMomtIw Zenn: https://zenn.dev/mjunya1030

Slide 3

Slide 3 text

祝🎉 dbt Labs Japan Launch!

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© Recruit Co., Ltd. All Rights Reserved 運⽤している分析基盤 Data Lake Cloud Storage Data Mart BigQuery Data Warehouse BigQuery クライアント様向けアプリ・基盤カスタマー向けアプリ・基盤データ抽出・ロード Cloud Composer Transform Extract Load マート生成 dbt Core / Cloud Composer レコメンドシステム本日の主役となるマート生成ジョブ集客最適化‧営業活動効率化、ABテストの評価等、事業の価値を最⼤化するためのデータ分析基盤 GCP環境を基盤に、dbt と Cloud Composer によるマート⽣成ジョブを運⽤マート⽣成ジョブで処理されるデータ量は数百TB

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Q: 500⾏以上のSQLを解析したことがある ✋

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Q: Jobは成功しているのに、データが更新されていなかったことがある✋

Slide 13

Slide 13 text

Q: クエリの循環参照を起こしたことがある✋

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Q: dbtの処理が終わるのに5分以上かかる✋

Slide 20

Slide 20 text

Q: 異なる dbt job が、おなじテーブルを更新していた✋

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Q: Jobがコケたら、⼀旦⾃分に連絡が来る✋

Slide 27

Slide 27 text

© Recruit Co., Ltd. All Rights Reserved 27 data observation によって⾜りない情報を補うどのテーブルが、いつ、どの Job によって更新されているのか、⾃動収集する elementary-data https://docs.elementary-data.com/dbt/pac kage-models#dbt-run-results dbt run の後に on-run-end フックを使ってログを記録し、「どのテーブルがどの Job で更新されたのか」や「どの Job が失敗したのか」といった情報を記録してくれる BigQuery監査ログ https://cloud.google.com/bigquery/docs/referen ce/auditlogs dbtが生成したテーブルと、それを実行した Job の情報を確認できる

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© Recruit Co., Ltd. All Rights Reserved 30 dbt のクエリに Job 名を⼊れる dbt は model ファイルに記述された Jinja 形式の SQL を compile してから BigQuery 上で実⾏する。この際、compile する際に動的な comment を付与できる。 query_comment: append: true comment: "Job name is {{ var(JOB_NAME, 'unknown') }}" dbt run --select table_X --vars={"JOB_NAME": "daily-Job-10am"} /* Job name is daily-Job-10am */ create or replace view `gcp-project`.`my_dataset`.`table_X` OPTIONS( description="""""", ) as ... project.yml の設定 build 時に渡すオプション生成されるDDL文

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

https://www.recruit.co.jp/special/techconference202 5 リクルートテックカンファレンス　　　リクルートの開発事例・ナレッジを共有する技術カンファレンスこちらで発表するので、ぜひご参加ください！（自分のセッションは20日17:45～予定です）