Slide 1

Slide 1 text

DB 醬,嗨!哪泥嘎斯基? Sophia Chen & Jerry Chen

Slide 2

Slide 2 text

Jerry Chen TECH FRESH @ LINE CB Team | Backend Dev Education • MCDS @ CMU (Incoming) • B.B.A in Information Management @ NTU Experience • TECH FRESH @ LINE Taiwan • Software Engineer Intern @ Trend Micro • Data Scientist Intern @ Cathay Financial Holdings

Slide 3

Slide 3 text

01 02 03 04 什麼是 OA? (\OAO/) 該選哪種 DB 醬呢? 資料水管工 What DB do you like? ETL 資料庫變更管家 Liquibase What is OA Shop? 05 在 LINE 開發是什麼樣的體驗? Life at LINE CONTENT

Slide 4

Slide 4 text

什麼是OA? (\OAO/) 01 What is OA Shop?

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

賣家使用官方帳號進行精準行銷 根據訊息使用量,購買不同方案 根據不同受眾客製化廣告、優惠

Slide 7

Slide 7 text

從開發者的角度而言 • 紀錄賣家訊息用量 • 管理賣家方案狀態 • 提供賣家查詢受眾 • 儲存一段時間內的受眾(消費者)資訊 訊息流量管理 受眾精準行銷服務 可以拆分成兩大部分,我們會使用不同資料庫 (DB)!

Slide 8

Slide 8 text

該選哪種 DB 醬呢? 02 What DB do you like?

Slide 9

Slide 9 text

為什麼要兩種 DB 呢? Controller Service Model 當一個 API 請求發生時 … Frontend request response call call data response 處理商業邏輯 決定怎麼做 接收請求、 用戶驗證 管理資料 要求快速回覆的 API 牽涉大量資料的讀寫

Slide 10

Slide 10 text

為什麼要兩種 DB 呢? Controller Service Model 當一個 API 請求發生時 … OLAP 支援大量讀取 OLTP 高即時性 Frontend request response call call data response 處理商業邏輯 決定怎麼做 接收請求、 用戶驗證 管理資料 我們使用不同的 DB !

Slide 11

Slide 11 text

OLTP vs OLAP Data transfer Transaction 交易、購物、 註冊等服務 分析、大量資料 歷史紀錄 Online Transaction Processing Online Analytical Processing 處理很多筆小資料 快速寫入、查詢 即時性要求高 做分析,常批量查詢資料 寫入相對較少

Slide 12

Slide 12 text

在我們的服務中 OLTP (KR) OLAP (KR) OLAP (TW) OLTP (TW) Seller Customer Register Buy Add to cart

Slide 13

Slide 13 text

在我們的服務中 OLTP (KR) OLAP (KR) OLAP (TW) OLTP (TW) Seller Customer Register Buy Add to cart 我們是怎麼讓資料轉移的? ? ? ?

Slide 14

Slide 14 text

在我們的服務中 OLTP (KR) OLAP (KR) OLAP (TW) OLTP (TW) Seller Customer Register Buy Add to cart ETL! ETL ETL ETL

Slide 15

Slide 15 text

資料水管工 03 ETL

Slide 16

Slide 16 text

Extract, Transform, Load 什麼是 ETL? Extract Load Transform

Slide 17

Slide 17 text

找出所有將商品加入過購物車的人 A Case: Extract Load Transform Product Users Item Cart 如何組合、篩選資料? 如何確保資料被 正確儲存? 需要哪些資料?

Slide 18

Slide 18 text

大家可能會覺得 為什麼我們不能直接搬移資料? 為什麼需要 ETL?

Slide 19

Slide 19 text

資料量級 千萬級別的資 料需要分散式 框架處理 多種來源 自動化 測試更好寫、 搬移資料不求人 遷移方便 註解文字註解 文字註解 為什麼需要 ETL? 資料來源複雜, 需要良好的系統 管理 好的框架設計能避免混亂

Slide 20

Slide 20 text

Extract Load Transform 術業有專攻 框架與工具 負責監控 ETL 流程 讓資料庫可以 分散式儲存 利用分散式的並 行運算,處理大 量資料

Slide 21

Slide 21 text

Sophia Chen TECH FRESH @ LINE CB Team | Backend Dev Education • M.S. in Computer Science @NTU • B.B.A in Information Management @NTU Experience • 2024 – 2025 | TECH FRESH @ LINE Taiwan • 2023 | Backend Trainee @ AppWorks School

Slide 22

Slide 22 text

資料庫變更管家 04 Liquibase

Slide 23

Slide 23 text

剛開始寫程式的我們 ...

Slide 24

Slide 24 text

剛開始寫程式的我們 ...

Slide 25

Slide 25 text

程式碼的版本控制:GitHub

Slide 26

Slide 26 text

資料庫該如何版本控制呢 ?

Slide 27

Slide 27 text

開發資料庫時有沒有遇過 ... ADD Column MODIFY Datatype RENAME Column 1. 手動執行腳本、資料庫版本失控 2. 有多環境的管理需求 3. 跨團隊協作混亂、缺少共同規範 4. 升級失敗後的回退(rollback)困難

Slide 28

Slide 28 text

開發資料庫時有沒有遇過 ... 開發 DB 正式 DB id name debug_log id name 1. 手動執行腳本、資料庫版本失控 2. 有多環境的管理需求 3. 跨團隊協作混亂、缺少共同規範 4. 升級失敗後的回退(rollback)困難

Slide 29

Slide 29 text

開發資料庫時有沒有遇過 ... userEmail timestamp user_email created_at 1. 手動執行腳本、資料庫版本失控 2. 有多環境的管理需求 3. 跨團隊協作混亂、缺少共同規範 4. 升級失敗後的回退(rollback)困難

Slide 30

Slide 30 text

開發資料庫時有沒有遇過 ... Version 1 Version 2 回退(rollback) 1. 手動執行腳本、資料庫版本失控 2. 有多環境的管理需求 3. 跨團隊協作混亂、缺少共同規範 4. 升級失敗後的回退(rollback)困難

Slide 31

Slide 31 text

Liquibase !

Slide 32

Slide 32 text

Liquibase 是什麼 ? Source from : https://docs.liquibase.com/concepts/changelogs/home.html

Slide 33

Slide 33 text

ChangeSet 當我們想要新增兩個 user 資料到資料庫:

Slide 34

Slide 34 text

高可追溯性 & 自動化 版本控制與變更追蹤 Liquibase 特性

Slide 35

Slide 35 text

Liquibase 特性 多環境管理 多環境差異化管理

Slide 36

Slide 36 text

Liquibase 特性 回退機制 完善升級與回退機制

Slide 37

Slide 37 text

Liquibase 特性 集中協作 統一流程與規範化協作 Source from : https://docs.liquibase.com/concepts/bestpractices.html

Slide 38

Slide 38 text

在 LINE 開發是什麼樣的體驗? 05 Life at LINE

Slide 39

Slide 39 text

TECH FRESH 工作日常 Development CI/CD & Observability New Technology Research and Sharing

Slide 40

Slide 40 text

溝通能力 解決問題 學習能力 技術經驗 我們的收穫 不僅僅只是技術經驗而已 問題有時候不明確 比起單純接收指令, 更重要的是溝通討論 公司的技術、規模很廣, 持續學習

Slide 41

Slide 41 text

2100 特點項目文字 特點項目 Work Life Balance 1234 999 特點項目文字 特點項目

Slide 42

Slide 42 text

2100 特點項目文字 特點項目 Work Life Balance 1234 特點項目文字 特點項目 999 特點項目文字 特點項目

Slide 43

Slide 43 text

No content