QA 蝦米 QA？我的扣超讚的啊

Speaker: Lawrence Tsai, YT Chen
Event: LINE TECH FRESH 畢業分享會

Transcript

1. QA 蝦米 QA？ 我的扣超讚的啊
2. 01 02 03 04 Development Process Job Responsibility 專案分享：Test Case ⾃動分類 Introduction 05 專案分享：Release 流程優化 CONTENT
3. 01 Introduction
4. Lawrence Tsai Education • M.S. in Management Information Systems @ NTU • B.S.S. in Journalism & Communication @ CUHK Experience • 2023 LINE Taiwan | TECH FRESH @ LINE TRAVEL • 2022 Dcard | QA Intern @ EC TECH FRESH @ LINE
5. 機票 住宿 體驗 團旅 Logo 取⾃ Flaticon
6. YT Chen Education • M.S. in Computer Science @ NTUT • B.B.A in Finance @ TKU Experience • 2023 | TECH FRESH @ LINE Taiwan • 2022 | Backend Engineer Intern @ thingnario • 2020-2021 | Data Engineer @ iiNumbers TECH FRESH @ LINE
7. A mobile ecommerce alliance platform for shopping guide and point reward.
8. 02 Development Process
9. Software Development Life Cycle 1 ANALYSIS 2 DESIGN 3 DEVELOPMENT 4 TESTING 5 DEPLOYMENT 6 MAINTENANCE Business Designer Developer QA Operations Technical Support
10. Development Process for QA 1 ANALYSIS 2 DESIGN 3 DEVELOPMENT 4 TESTING 5 DEPLOYMENT 6 MAINTENANCE Test Requirement Analysis Automation Script Development E2E Testing Stress Testing CUJ Testing Test Case Writing Performance Monitoring Regression Testing Continuous Development (CD) Continuous Integration (CI)
11. 03 Job Responsibility
12. Test Case & Test Run Test Case Test Run Test Case 1 2 3 Test Case 3 明確的⽬的＆可執⾏的步驟 預期結果 vs 實際結果？ 清楚涵蓋特定的功能或問題點 ⼀系列的多 Test Cases 組合 根據某種具體的使⽤者場景所定義 記錄測試點以評估軟體品質
13. Job Responsibility Test Case Preparation Automation Manual Testing 2 DESIGN 3 DEVELOPMENT 圖片取⾃ TestRail
14. Manual Testing Job Responsibility 確認⾴⾯上有「LINE 購物」的 logo Test Case 1 2 確認⾴⾯上有「搜尋框」的元素 Test Run 3 DEVELOPMENT 4 TESTING Test Case Logo 取⾃網路 Automation
15. Job Responsibility 5 DEPLOYMENT 6 MAINTENANCE Continuous Integration (CI) 圖片取⾃網路
16. Job Responsibility 圖片取⾃網路 Continuous Deployment (CD) 5 DEPLOYMENT 6 MAINTENANCE
17. Job Responsibility 5 DEPLOYMENT 6 MAINTENANCE 圖片取⾃網路 Monitoring
18. 04 專案分享： Test Case ⾃動分類
19. 寫 Test Case 也會有技術債？ Epic：⾸⾴標題 Banner 確認⾴⾯上有「LINE 購物」的 logo 2000～3000 筆 確認⾴⾯上有「搜尋框」的元素 確認「搜尋框」旁是「相機」的 icon 確認⾴⾯上有「購物⾞」的 icon 確認跳轉⾴⾯可以導購成功 確認商店⾴⾯上有「專屬推薦」 Epic：？？？ Test Case Solution： 舉辦 workshop 讓⼤家⼀起償還歷史共業 🥳
20. 架構圖 testrail- backup build-pipeline TestRail Cloud Preprocess & Modeling GitHub Actions Test Cases (TC) Test Runs (TR) Prediction Result Request Export Pull Data Upload Upload
21. 建立模型 Ｐ Ｎ Ｐ • True Positives (TP) • False Negatives (FN) Ｎ • False Positives (FP) • True Negatives (TN) Baseline • Text preprocessing：TF-IDF • Model：Naive Bayes classifier Optimized • Text preprocessing：TF-IDF • Model：Random Forest classifier Performance = Naïve Bayes Classifier
22. 模型效能 0.54 0.63 0.85 0.89 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 標完的資料 標完的資料 + Test Run 資料 Baseline Optimized
23. 05 專案分享： Release 流程優化
24. Release Calendar • 公司有多個團隊及產品 • 每個產品有 Maintenance、Resolved 等不同狀態 • 需要有 Calendar 記錄更新時間、Release 的產品、 Release 版號等訊息⽅便統⼀管理
25. 架構圖 Trigger Jenkins Deployment Manifests Pull Changes Sync Cluster Status Pull Image & Update Containers Trigger Python code Logo 取⾃ Flaticon、網路 Update Calendar
26. ArgoCD 在 ArgoCD Sync 以及 Sync Success 的時候更新 Calendar 圖⽚取⾃網路
27. K8s 利⽤ ArgoCD Hook 在 Sync 時觸發 Job Curl Jenkins 執⾏任務並 帶入 Parameters
28. Jenkins 可⼿動選擇⾏為，或通過 parameters 決定