Slide 1

Slide 1 text

資料也要 CI/CD? 用 Airbyte 自動化資料同步 Olaf

Slide 2

Slide 2 text

Olaf Tsai NCU MIS LINE TECH FRESH @ SRE

Slide 3

Slide 3 text

為什麼資料開始變難管理? 資料不只存在一個地方,而是分散在很多系統裡 3

Slide 4

Slide 4 text

我們以前怎麼同步資料? 4

Slide 5

Slide 5 text

CI/CD 讓 code 從開發到部署變成可控流程; Data Pipeline 讓 data 從產生到使用變成可控流程 CI/CD vs Data Pipeline 5

Slide 6

Slide 6 text

Airbyte:把資料同步流程工程化 圖片來源: https://airbyte.com/data-engineering-resources/enterprise-data-architecture 6

Slide 7

Slide 7 text

Airbyte:把資料同步流程工程化 Load Extract Transform Analytics 7

Slide 8

Slide 8 text

DataOps 正在改變資料流程 圖片來源: https://medium.com/towards-data-engineering/dataops-driven-governance-and- analytics-with-dbt-and-starrocks-9b23897688fd 8 8

Slide 9

Slide 9 text

LinkedIn: olaf-tsai