讓測試不再 BB！ 從 BDD 到 CI/CD， 不靠人力也能 MVP

Speaker: Joe Lin & Mia Chu
Event: LINE TECH FRESH 畢業分享會 2025

Transcript

1. 讓測試不再 BB！ 從 BDD 到 CI/CD， 不靠人力也能 MVP Joe Lin & Mia Chu
2. QA如何開發測試？ End-to-End Testing Performance Testing QA 角色與任務 CI/CD CONTENT 監控 Monitoring 01 02 03 04 06 05
3. Joe Lin TECH FRESH QA Dev 2021/09 ~ 2025/06 @NTUT EECS 2024/07 ~ 2025/06 @LINE Taiwan
4. 01 QA 角色與任務
5. QA 角色與任務 需求溝通 制定規格 確認行為範例與驗收條件 討論產品目標與價值 開發與測試 依需求實作功能並確保符合情境 完成驗收 通過測試驗證並交付可用產品
6. 監控產品狀況 QA 職責 提高產品品質 加速回歸驗證 縮短交付週期 驗證真實情境 QA 職責
7. 報告整合與測試監控 QA 工作 測試規劃與安排 自動化測試 CI/CD 手動測試 QA 工作 測試工程師 自動化測試工程師
8. 自動化測試 功能性測試 非功能性測試 整合測試 單元測試 端對端測試 安全性測試 相容性測試 效能測試
9. 02 QA 如何開發測試？
10. 行為驅動開發 協作與溝通 強調團隊各角色之間的有效溝通 使用者情境 採用簡單格式來描述功能行為 自動化測試 CI/CD 監控/報告
11. 行為驅動開發 自動化測試 CI/CD 監控/報告 需求溝通 制定規格 確認行為範例與驗收條件 討論產品目標與價值 開發與測試 依需求實作功能並確保符合情境 完成驗收 通過測試驗證並交付可用產品
12. 行為驅動開發 自動化測試 CI/CD 監控/報告 需要開發的功能 具體使用情境 前置條件 執行動作/功能 預期結果 補充
13. 行為驅動開發 自動化測試 CI/CD 監控/報告 需求溝通 制定規格 確認行為範例與驗收條件 討論產品目標與價值 開發與測試 依需求實作功能並確保符合情境 完成驗收 通過測試驗證並交付可用產品
14. 行為驅動開發 對應到 功能檔案 步驟實作 自動化測試 CI/CD 監控/報告
15. 行為驅動開發 01 跨角色合作 開發、測試、業務人員密切溝通 03 活文件 規格同時是測試與文件 02 通用語言 使用大家都能理解的共通語言 04 由外而內的開發 從使用者行為或業務需求出發，再在 進行系統設計與實作 自動化測試 CI/CD 監控/報告
16. 03 End-to-End Testing
17. End-to-End Testing 驗證「使用者」體驗 驗證系統整合性 捕捉跨層問題 自動化測試 CI/CD 監控/報告
18. Page Object Model Test Methods Web Element Methods Page Object Test 基本概念與結構： • 每個網頁對應一個類別 (class) • 每個類別包含： • 要操作的元素 (按鈕, 輸入框…) • 可以進行的動作 (login(), search()…) 自動化測試 CI/CD 監控/報告
19. Page Object Model 01 易維護 UI 改變時，只需更新一個地方 03 可重用性 同一頁面類別可在多個測試中使用 02 可讀性高 測試步驟像是在讀操作流程 ex: page.login() 04 可擴展性 隨著應用成長，測試架構依然清晰 自動化測試 CI/CD 監控/報告
20. E2E Testing Tool - Playwright 01 多瀏覽器支援 Chrome、Firefox、Safari 03 內建錄影、截圖、追蹤 測試失敗時能快速回溯與重現問題 02 自動等待 減少 flakiness （測試不穩定） 04 支援現代測試架構 POM、API 測試、並行執行 自動化測試 CI/CD 監控/報告
21. Mia Chu TECH FRESH @ LINE Education • M.S. in Information Management @ NTU • B.S in Management Information Systems @ NCCU Experience • 2024-2025 TECH FRESH @ LINE TRAVEL • 2023 SDET @ iKala
22. 04 Performance Testing
23. 為什麼我們需要效能測試？ 可用性 API / E2E 測試 效能測試 + → 自動化測試 CI/CD 監控/報告
24. 效能測試分類 負載測試 Load Testing 可靠性測試 Reliability Testing 浸泡測試 Soak Testing 壓力測試 Stress Testing 自動化測試 CI/CD 監控/報告 All images sourced from Flaticon
25. 壓力測試 Stress Testing 自動化測試 CI/CD 監控/報告 All images sourced from Flaticon 效能測試分類
26. 負載測試 Load Testing 壓力測試 Stress Testing 自動化測試 CI/CD 監控/報告 All images sourced from Flaticon 效能測試分類
27. 負載測試 Load Testing 浸泡測試 Soak Testing 壓力測試 Stress Testing 自動化測試 CI/CD 監控/報告 All images sourced from Flaticon 效能測試分類
28. 負載測試 Load Testing 可靠性測試 Reliability Testing 浸泡測試 Soak Testing 壓力測試 Stress Testing 自動化測試 CI/CD 監控/報告 All images sourced from Flaticon 效能測試分類
29. 關鍵指標 & 工具 Image sourced from https://sjinnovation.com/fine-tune-your-performance-testing- strategy-learn-how-test-and-optimize-your-application 自動化測試 CI/CD 監控/報告
30. 05 CI/CD
31. CI/CD 自動化測試 CI/CD 監控/報告 Image sourced from https://www.mabl.com/blog/what-is-cicd
32. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
33. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
34. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
35. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
36. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
37. 持續整合 Continuous Integration Pull Request Unit Test & Sonar Build Image (Dry Run) PR Notify Ready for Code Review 自動化測試 CI/CD 監控/報告
38. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
39. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
40. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
41. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
42. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
43. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
44. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
45. 持續部署 Continuous Deployment Merge to Main Branch Update Test Coverage Build Docker Image Push to Harbor Update Image Tag Sync to K8s PostSync Jobs Logos sourced from the official websites of GitHub and ArgoCD. 自動化測試 CI/CD 監控/報告
46. 專案分享 : Performance Test in CD Image sourced from https://imgflip.com/i/4f8o46 CI/CD 自動部署至 BETA 環境 Current State 部署成功 ≠ 系統穩定 Challeng e 部署時自動觸發壓測 Objective
47. 系統架構 Deployment Manifest YAML Pull Changes Sync Cluster Status Pull Image & Update Container Detect Changed Repo & Execute Tests PostSync Hook Notify Result Send Metrics Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
48. 系統架構 Deployment Manifest YAML Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
49. 系統架構 Deployment Manifest YAML Pull Changes Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
50. 系統架構 Deployment Manifest YAML Pull Changes Sync Cluster Status Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
51. 系統架構 Deployment Manifest YAML Pull Changes Sync Cluster Status Pull Image & Update Container Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
52. 系統架構 Deployment Manifest YAML Pull Changes Sync Cluster Status Pull Image & Update Container Detect Changed Repo & Execute Tests PostSync Hook Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
53. 系統架構 Deployment Manifest YAML Pull Changes Sync Cluster Status Pull Image & Update Container Detect Changed Repo & Execute Tests PostSync Hook Notify Result Send Metrics Logos sourced from the GitHub, Argo CD, Kubernetes, Docker, Python, k6, Slack, and Grafana official websites.
54. Argo CD Images sourced from https://systemweakness.com/waiting-for-hooks-in-argocd-e5329ec0436c 在 Sync 成功時觸發 Performance Test
55. K8s 使用 PostSync hook 觸發 Job
56. K8s 使用 PostSync hook 觸發 Job 執行兩個 container repo-change-detector 判斷哪個 repo 被更新 qa-k6-runner 執行對應的 k6 測試腳本
57. Test Results 將數據推送至 Grafana 視覺化呈現效能指標
58. Test Results 測試完成後 自動將結果推送到 Slack 將數據推送至 Grafana 視覺化呈現效能指標
59. 06 監控 Monitoring
60. 監控 自動化測試 CI/CD 監控/報告 Images sourced from the Grafana, Allure Report, and Stack Overflow official websites.