以開發者資料驅動的 CI/CD 優化策略

DevOpsDays Taipei 2024

Transcript

1. 以開發者資料驅動的 CI/CD 優化策 略 DevOpsDays Taipei 2024
2. 吳明倫 (Allen Wu) • 玉山銀行 智能金融處 副主任工程師 • DevOps Engineer • Former Data Scientist • Blog : Byte and Ink 演講經歷 • DevOpsDays Taipei 2023 以產品思維驅動的 DevOps 策略：金融業 AI 團隊的實踐之旅
3. 以開發者資料驅動的 「CI/CD 優化策略」
4. 為什麼 CI/CD Pipeline 需要優化？
5. CI/CD 是加速優化迭代的關鍵 Act Check Plan Do 目標設定 需求分析 開發與測試 持續整合 自動部署 監控與回饋 數據分析 回顧及檢討 改善措施 調整策略
6. CI/CD Pipeline 優化場景 新工具的導入 改變流程 組織規模 發生顯著變化 效率不佳 錯誤率上升
7. 可觀測性提供「狀態」及「優化方向」 Application Log 系統指標 CI/CD
8. CI/CD 可觀測性的重要性與價 值
9. Outline CI/CD 架構 遭遇困境 優化策略
10. CI/CD 架構 橫跨 100 + 團隊的 CI/CD as a Service
11. 關於玉山銀行智能金融處 (智金處) • 玉山銀行內部 AI 供應商 • 透過機器學習、GAI 提供解決方案 • 票據辨識、信用卡盜刷偵測、智能客服
12. MLaaS MLaaS (Machine Learning as a Service) Data Scientist MLaaS 微服務 模型監控 服務監控 AI 模型 行銷推薦 信用卡盜刷偵測 警示帳戶偵測 票據影像辨識 … Centralized CI/CD
13. Centralized CI/CD Strategy Blueprint CI/CD Setting CI/CD Setting CI/CD Setting Reference Data Scientist Teams DevOps Team 將運行邏輯抽離 統一管理
14. Simplify the Standardisation and Consistency Efforts Blueprint CI/CD Setting CI/CD Setting CI/CD Setting Reference Data Scientist Teams DevOps Team 1.一致的安全措施及規範 2.重用性高 3.易於自動化
15. 有效運用資源 4 DevOps Engineers 80+ Data Scientists
16. 解耦部署流程 Application Tier CI/CD Tier Platform Tier Data Scientist DevOps Engineer Infra
17. 遭遇痛點 跨團隊 CI/CD Pipeline 會遇到什麼問題？
18. 對於 Developer 來說 在 CI/CD 最討厭遇到什麼事情？
19. Flaky Test v1.2.3 v1.2.3 v1.2.3 V V X V X - V V V 09:48 13:42 11:15 But why ?
20. Centralized 策略的高變更風險 Blueprint CI/CD Setting CI/CD Setting CI/CD Setting Reference DevOps Team
21. 中介層面臨的溝通挑戰 CI/CD Tier Data Scientist DevOps Engineer Infra Hey ! We have changed something ! :D WTF!! Error Again!!!
22. 會造成什麼影響？ Application Tier CI/CD Tier Platform Tier Data Scientist DevOps Engineer Infra
23. 狀態不明導致失去信任 Data Scientist 「CI/CD Pipeline 怪怪的...」 無法信任自動化機制 DevOps Engineer 「我們提供的產品真的穩定嗎...?」 無法掌握組織的 CI/CD 狀況
24. 維運人員缺乏明確的優化方向 DevOps Engineer 我們應該要優化 什麼功能呢？ A! B! C! Data Scientists
25. Lack of CI/CD Observability !
26. Lack of CI/CD Observability Application Tier CI/CD Tier Platform Tier Data Scientist DevOps Engineer Infra
27. DORA ? Deployment Frequency The number of times per day that a release is deployed into production. Lead Time For Change Total time between the initiation of a feature request to the delivery of that feature to a customer. Mean Time to Recovery (MTTR) Average time it takes the team to restore service when a failure/outage occurs in production. Change Failure Rate Percentage of changes that resulted in degraded services, like the service impairment or outage, and needed to be fixed.
28. DORA metrics measure team efficiency, not overall performance Team 1 60 40 95 75 Team 3 Team 2 Team 4
29. 數據驅動 建立 CI/CD 可觀測性 有效改善痛點
30. 設定目標 01 找資料來源 02 03 資料分析 資料處理 04 溝通與行動 05
31. 01 設定目標 觀測 CI/CD Pipeline 需要什麼？
32. CI/CD Pipeline 的狀態包含... 團隊資訊、使用習慣、開發習慣 執行成功與否、觸發機制、執行時間 執行當下發生什麼事情？ CI/CD 的執行狀態 CI/CD Status CI/CD 的執行內容 CI/CD Log Developer 如何參與 CI/CD ? Developer Data 01 尋找問題
33. 02 找資料來源 哪裡有最直接的資料？
34. CI/CD Platform! 02 尋找資料源
35. 內建的視覺化分析工具? • 遵守既定流程 • 指標數量有限 • 衡量單一團隊 02 尋找資料源
36. 橫跨 CI/CD 各階段的原始資料 Plan Develop Testing Deploy Board Ticket Commit Pull Request Comment Pipeline Status Pipeline Duration Log
37. 資料收集架構 API Wrapper Preprocessor API Call 03 資料處理
38. Supervisors DevOps Team Developers 分群受眾，找出對應痛點 04 資料分析
39. Supervisors 04 資料分析 長期的生產力和部署趨勢 了解組織整體的發展與變化 歷史趨勢分析 02 團隊生產力 每個團隊的程式碼提交頻率和數量 04 CI/CD Pipeline 的部署次數和成功率 評估組織的發佈效率和穩定性 組織層級的 CI/CD 狀態 01 各團隊和人員的工作分佈狀況 了解資源分配是否合理 工作負載分布 03 目標：提升組織效率
40. DevOps Team 04 資料分析 識別並解決潛在的技術問題 各階段的成功 / 失敗率 Error Log 從 Log 中分析開發者的具體痛點 取得量化指標 衡量 CI/CD as a Service 的狀態 掌握 Pipeline 狀態 優化 Pipeline 運行時間 提高交付效率 各階段的運行時間 目標：辨別優化方向 02 04 01 03
41. Developers 04 資料分析 指標與組織內其他團隊的差異 作為優化團隊的依據 與其他團隊的差異 02 不同性質團隊的開發習慣不盡相同 建立團隊專屬指標 01 藉由開發者資料分析 判斷新工具導入的效益 效益評估 03 提高開發效率 目標：提高開發效率
42. 資料分析如何解決問題？ 狀態不明 導致失去信任
43. 依靠「使用者」的反應 來衡量 CI/CD 的表現 “沒跟你說，不代表沒說” Before
44. After : 關注整體的狀況 & 趨勢 各環境部署失敗率 Production UAT Staging
45. 資料分析如何解決問題？ 狀態不明 導致失去信任 建立量化指標 掌握具體狀態
46. 資料分析如何解決問題？ 狀態不明 導致失去信任 建立量化指標 掌握具體狀態 維運人員 失去優化方向
47. Before: 根據開發者的報案決定優化順序 1. 維運成本極高 2. 難以區別錯誤等級 “無法精準且有效的優化” A 有問題!! B 有問題!! 幫我看看 A !! C 出錯啦!!
48. After : 識別問題層級、進行對應處理 CI/CD Tier 錯誤 優先修正 Blueprint 語法異 常 10% 60% Application Tier 錯誤 不需處理 單元測試有誤 30% Checkmarx 服務異常 100% Platform Tier 錯誤 優先轉送
49. 資料分析如何解決問題？ 建立量化指標 掌握具體狀態 維運人員 失去優化方向 識別問題 進行對應處理 狀態不明 導致失去信任
50. 分析結果帶來了什麼樣的改變？ 尋找問題 01 找資料來源 02 資料處理 03 資料分析 04 溝通與行動 05
51. 讓數據說話 Before To Do : 我們感覺 CI/CD 的時間很長 : 是喔？我看起來還好呀 : …@!#$@! 從模糊的質化評估轉為一致的量化指標 After To Do : 我們感覺 CI/CD 的時間很長 : 這個月的時間跟過往差不多， 都在兩分鐘以內耶。 : 好吧！ Pipeline 執行時間
52. 讓數據說話 Before To Do : 我們得來想想導入工具後 該如何量化效益？ (人工比對導入前後的結果 ) 量化開發者的體驗變得更加容易 After To Do : 我們得來想想導入工具後 該如何量化效益？ : 可以協助取得團隊上、下半年 的 Test Coverage 嗎？ (從資料庫中撈取報表) Pipeline Log
53. 讓數據說話 Before To Do : Reviewer 都不核准我的 PR ! : CI/CD Pipeline 還是成功了？ : 是沒錯啦...算了！ 善用每一個階段的資料，尋找潛在的癥結點 After To Do : Reviewer 都不核准我的 PR ! : Response Time 上升了 50 % 有必要關心一下。 (確認 Reviewer 狀況) Pull Reqeust, Comment
54. Before: 中介層的溝通挑戰 CI/CD Tier Data Scientist DevOps Engineer Infra Hey ! We have changed something ! :D WTF!! Error Again!!!
55. After : 提供改善的「起始點」 CI/CD Tier Data Scientist DevOps Engineer Infra 「開發團隊使用系統時 出現不尋常的跡象!」 「團隊的開發情境有怪味!」
56. 解決方案，不一定都是技術解 CI/CD Tier 錯誤 優先修正 Blueprint 語法異 常 10% 60% Application Tier 錯誤 不需處理 單元測試有誤 30% Checkmarx 服務異常 100% Platform Tier 錯誤 優先轉送
57. 解決方案，不一定都是技術解
58. CI/CD 可觀測性的發展階段 視覺化工具、簡報 分析報告 01 排程產出報表 定期報表 02 每天更新 批次更新 Dashboard 03 即時更新 即時更新 Dashboard 04
59. 總結 Data CI/CD 現況 CI/CD 可觀測性 受眾分群 行動及影響 數據驅動的策 略 分離難以分析的群體 找出具體的痛點及著力點 實踐過程中 數據帶來的轉變 為什麼需要 CI/CD 可觀測性？ 玉山銀行智能金融處 CI/CD 現況的分享 透過 Developer 資料建構 CI/CD 可觀測性 Data
60. Takeaway
61. CI/CD 可觀測性 • Why : 對於優化 CI/CD Pipeline 至關重要。 • Where : 從 CI/CD Platform 中取得開發者資料。 • How : 以數據驅動的思維，逐步建構可觀測性。 • What : 對於組織的變化及影響。
62. Thanks!