那些年我們做過的 DevOps Pipeline @ DevOpsDays Taipei 2023

那些年我們做過的 DevOps Pipeline @ DevOpsDays Taipei 2023

CI / CD Pipeline 是 DevOps 工程實踐中非常重要的一項工具，這麼多年過去 CI / CD 技術與工具的發展，已經從地端到雲端、VM 到 Container、老爺爺到太空章魚⋯⋯等經歷多個年代。到底為何我們仍需要 CI / CD Pipeline？

就讓我們來回顧一下 CI / CD Pipeline 的歷史軌跡，放眼過去、展望未來，認識這項在實踐 DevOps 時，你絕對少不了的重要工具！

Transcript

1. Photo by Simon Stratford on Unsplash Cheng Wei Chen @ DevOpsDays Taipei 2023 那些年我們做過的 DevOps Pipeline
2. Cheng Wei Chen 陳正瑋 Athemaster 炬識科技 / Technology Consultant 《Effective DevOps 中⽂版》譯者、GitLab Hero、DevOps Taiwan Community 志⼯ 著作《和艦長⼀起30天玩轉GitLab》 https://chengweichen.com
3. 當有人跟你說： 「嘿，我們來導入 
 DevOps 吧！」 你覺得他打算⋯⋯？ Photo by Camylla Battani on Unsplash
4. 1 2 3 4 5
5. 什麼是 CI / CD？ Photo by Camylla Battani on Unsplash
6. 圖片來源 - https://semaphoreci.com/blog/7-continuous-integration-tools-for-php-laravel 圖片來源 - https://ohdear.app/news-and-updates/our-gitlab-ci-pipeline-for-laravel-applications 圖片來源 - https://lorisleiva.com/laravel-deployment-using-gitlab-pipelines 隨意 Google 找到的
7. 圖片來源 - https://docs.gitlab.com/ee/ci/introduction/ GitLab Hero 自肥
8. Continuous Integration Photo by JJ Ying on Unsplash 持續 整合
9. Testing Code Deploy Build Debug / Feature Local 環境 composer source code (*.php) code/ -> /var/www/ 開啟瀏覽器，點⼀點⋯
10. Testing Local Code Deploy Build Local 環境 Testing Main Code Deploy Build 其他環境 Debug / Feature
11. Photo by Aldo De La Paz on Unsplash Continuous Integration
12. 沒有⾃動化測試， 
 不要說你是在做 CI！ Photo by Jamie Street on Unsplash
13. 圖片來源：《Continuous Delivery》Ch4 功能性驗收測試 單元測試 整合測試 系統測試 非功能性驗收測試 效能測試、負載測試 安全性測試 探索性測試 可⽤性測試 商業 技術 團隊 專案 手動 / 自動 手動 自動 自動
14. 圖片來源: http://www.ambysoft.com/essays/ fl oot.html
15. 開發⼈員應遵守的 CI 七⼤要領： • Commit code frequently • Don’t commit broken code • Fix broken builds immediately • Write automated developers tests • All tests and inspections must pass • Run private builds • Avoid getting broken code 網路上查得到
16. Continuous Delivery Photo by JJ Ying on Unsplash 持續 交付
17. Code Delivery Release source code (*.php) artifacts.zip User Install / Config / Provision / Setup … Photo by Fernando Lavin on Unsplash Photo by Roberto Sorin on Unsplash Photo by Campaign Creators on Unsplash Photo by William Hook on Unsplash Application / Services Install / Config / Provision / Setup … Deploy
18. Code Delivery Release Deploy environment dev staging prod local 開發 測試 老闆 顧客 Install / Config / Provision / Setup … source code (*.php) artifacts.zip con fi g fi les env fi les + VM VM VM (Cloud)
19. 任何人（環境） 都可以 取得（部署） 任意版本的應用程式 當然前提是如果有那個必要性與權限 注意：不只是 Source Code
20. Code Delivery Release Deploy environment dev staging prod local 開發 測試 老闆 顧客 持續交付 Install / Config / Provision / Setup …
21. 修復問題的耗費的資源 尚未整合的「異動」數量 修復問題 之 惡性循環 發生問題 + + + 持續（頻繁）的整合與交付⼩範圍的異動（包含程式、環境⋯⋯） 每次異動都靠 CI / CD 守護最低限度的品質 及早發現問題 及早修復問題 + 潛在問題的數量 / 複雜度 
 發生問題的機率
22. Testing Local Code Deploy Build Local 環境 Testing Main Code Deploy Build 其他環境 Debug / Feature CI / CD 

23. 持續交付的原則： • 建立可重複且可靠的流程 • 盡可能的⾃動化 • 以版本控制管理並保護⼀切 • 越是棘⼿的事，越要儘早且頻繁處理 • 重視品質 • 交付是每位成員的責任 • 持續改善 2-3-4 網路上查得到
24. 圖片來源 - https://www.ithome.com.tw/article/152583 CI/CD 還在崛起？
25. 1999 – VMware 2007 - Bamboo 2007 - Cruise 1999 – Continuous Integration 1999 – eXtreme Programming 1994 - Origin of Continuous integration by Grady Booch 2007 - CI (Book) 資料來源: https://en.wikipedia.org/wiki/Continuous_integration 2010 - CD (Book) 2011 - Jenkins 2006 - TeamCity 2010 - GoCD 2005 - Huden 2009 - 1st DevOpsDays 2007 – VirtualBox 我們在這裡 2000 - Apache Subversion (SVN) 2005 - Git 1990 2000 2015 1995 2010 2005 2020 2025
26. 第 1 代 CI / CD Pipeline CI Server VM SSH VM Agent Developer Jenkins Server Target Server / VM User / Password / SSH Key Actions / Shell scripts Pipeline / Step / Job Run backup / git pull / composer / con fi gure DB / runtime / nginx site con fi g / HA (LB) GUI
27. 1999 – VMware 2007 - Bamboo 2007 - Cruise 1999 – Continuous Integration 1999 – eXtreme Programming 1994 - Origin of Continuous integration by Grady Booch 2007 - CI (Book) 2010 - CD (Book) 2011 - Jenkins 2006 - TeamCity 2000 - Apache Subversion (SVN) 2010 - GoCD 2005 - Huden 2009 - 1st DevOpsDays 2007 – VirtualBox 資料來源: https://en.wikipedia.org/wiki/Continuous_integration 2008 - Bitbucket 2016 - Gitea 2005 - Git 2011 - Travis CI 2011 - CircleCI 2012 - GitLab CI 2018 - GitHub Action 1990 2000 2015 1995 2010 2005 2020 2025 2011 - GitLab 2008 - GitHub
28. 第 2 代 CI / CD Pipeline Pipeline VCS YAML CI Service Developer Server Target Server / VM Actions / Shell scripts Pipeline / Step / Job Run backup / git pull / composer / con fi gure DB / runtime / nginx site con fi g / HA (LB) GitLab CI User / Password / SSH Key VM SSH CI Job
29. 第 2 代 CI / CD Pipeline Pipeline VCS YAML CI Service Pipeline as Code GitLab & GitLab CI VM SSH CI Job Developer VCS CI / CD
30. 1999 – VMware 2007 - Bamboo 2007 - Cruise 1999 – Continuous Integration 1999 – eXtreme Programming 1994 - Origin of Continuous integration by Grady Booch 2007 - CI (Book) 2010 - CD (Book) 2011 - Jenkins 2006 - TeamCity 2000 - Apache Subversion (SVN) 2010 - GoCD 2005 - Huden 2009 - 1st DevOpsDays 2007 – VirtualBox 2016 - Gitea 2012 - GitLab CI 2008 - Bitbucket 2005 - Git 2011 - Travis CI 2011 - CircleCI 2018 - GitHub Action 2011 - GitLab 2008 - GitHub 資料來源: https://en.wikipedia.org/wiki/Continuous_integration 2014 - Docker (v1.0) 2015 - K8s 1990 2000 2015 1995 2010 2005 2020 2025
31. 1999 – VMware 2007 - Bamboo 2007 - Cruise 1999 – Continuous Integration 1999 – eXtreme Programming 1994 - Origin of Continuous integration by Grady Booch 2007 - CI (Book) 2010 - CD (Book) 2011 - Jenkins 2006 - TeamCity 2000 - Apache Subversion (SVN) 2010 - GoCD 2005 - Huden 2009 - 1st DevOpsDays 2007 – VirtualBox 2016 - Gitea 2012 - GitLab CI 2008 - Bitbucket 2005 - Git 2011 - Travis CI 2011 - CircleCI 2018 - GitHub Action 2011 - GitLab 2008 - GitHub 資料來源: https://en.wikipedia.org/wiki/Continuous_integration 2014 - Docker (v1.0) 2015 - K8s 1990 2000 2015 1995 2010 2005 2020 2025 第 2.5 代 CI / CD Pipeline VM VM Container
32. build test release deploy dev / stg test dev / stg deploy prod code Local 第 1~2 代 CI / CD Pipeline build VM build VM zip dev VM stg VM prod VM test VM prod VM Local 容器 build 容器 test 容器 image dev 容器 stg 容器 第 2.5 代 CI / CD Pipeline prod VM prod VM
33. 1999 – VMware 2007 - Bamboo 2007 - Cruise 1999 – Continuous Integration 1999 – eXtreme Programming 1994 - Origin of Continuous integration by Grady Booch 2007 - CI (Book) 2010 - CD (Book) 2011 - Jenkins 2006 - TeamCity 2000 - Apache Subversion (SVN) 2010 - GoCD 2005 - Huden 2009 - 1st DevOpsDays 2007 – VirtualBox 2016 - Gitea 2012 - GitLab CI 2008 - Bitbucket 2005 - Git 2011 - Travis CI 2011 - CircleCI 2018 - GitHub Action 2011 - GitLab 2008 - GitHub 資料來源: https://en.wikipedia.org/wiki/Continuous_integration 2014 - Docker (v1.0) 2016 - IaC (Book, 1st) 2020 - IaC (Book, 2nd) 2015 - Spinnaker 2015 - Buddy 2019 - Argo CD 2018 - Jenkins X 1990 2000 2015 1995 2010 2005 2020 2025 2017 - GitOps 2021 - Terraform v1.0.0 第 3 代 CI / CD Pipeline Container VCS YAML Container Automation 2021 - Pulumi v2.0.0 2015 - K8s
34. K8s 是新時代的 OS / Infra Photo by JJ Ying on Unsplash
35. 第 3 代 CI / CD Pipeline Container VCS YAML Container Automation Everything as Code Dev / Ops / Infra 圖片來源：https://landscape.cncf.io
36. build test release deploy dev / stg test dev / stg deploy prod code 第 3 代 CI / CD Pipeline Local 容器 build 容器 test 容器 image dev k8s stg k8s prod k8s Infrastructure Code / Manifest Code Application Code plan test code apply test
37. 涉及：⼯具、架構、流程 Photo by Renel Wackett on Unsplash 你調整過多少次 Pipeline？ Jenkins GitLab CI 1 VM 2 VM / Container 3 Stage 5 Stage
38. 好的程式與架構是 
 持續演化來的～ Photo by Fancycrave on Unsplash 江湖傳⾔ 你會說 Pipeline嗎？ 你會說 Pipeline 嗎？
39. 好的程式與架構是 
 持續演化來的～ 組織架構、文化、流程、Tech Stack 也是 
 Photo by Fancycrave on Unsplash 江湖傳⾔ DevOps Pipeline 當然也是
40. 想像與思考 PHP DigitalOcean GitLab CI Monolith Members: 3 Laravel 這些條件會產生何種 Pipeline？ GitLab.com NAS run Docker
41. 想像與思考 2 JAVA AWS Jenkins Monolith Members: 10 Spring 這些條件會產生何種 Pipeline？ Bitbucket VM
42. 想像與思考 3 Golang AWS GitLab CI Microservice Dev Team: 30 Go Micro 這些條件會產生何種 Pipeline？ 自架 GitLab GCP Azure Argo CD K8s Platform Team: 6
43. 想像與思考 4 JAVA AWS Jenkins Monolith Members: 10 Spring 如果加上更多的條件呢？ Bitbucket VM 軟硬整合？ 金融業？ 多產品彼此相依？ APP + Web？
44. Photo by Joshua J. Cotten on Unsplash 有哪些「因素」會影響 CI/CD Pipeline 的規劃？ 想想看
45. 程式語言 部署環境 可用 IT 資源 組織架構 工具決策 產品交付方式 資安規範 團隊文化 軟體架構 系統架構 如何 build？ 如何 test？ 產業別 產品類型 團隊人數 產品的品質要求 產品迭代速度 產品交付速度
46. 全都是相依關係 Photo by Fancycrave on Unsplash 有辦法只靠⾃⼰搞定？
47. 還不用談到 DevOps，光是 CI / CD Process People Technology 涉及：流程、人、技術 Pipeline / Work fl ow Top Bottom Tools / Solution Team Department
48. Photo by Fancycrave on Unsplash 建議？
49. 圖片來源：網路迷因 以下分享的內容 可能不適⽤於你、你的公司或團隊 請⼩⼼服⽤。
50. Mindset 圖片來源：https://www.ghibli.jp/works/laputa/ • 是⼀趟漫長的旅程 太漫長了～ 長到都⽣青苔了~
51. Mindset 圖片來源：https://www.ghibli.jp/works/laputa/ • 持續改善、迭代是常態 第三個 Job 
 壞了誒？ 沒事～ 正常迭代嘍～
52. Mindset 圖片來源：https://www.ghibli.jp/works/laputa/ • 跨職能、跨部⾨的溝通協調無可避免 部署失敗 Infra Ops Dev 炸鍋的 Prod 環境
53. The Question Behind the Question 圖片來⾃ DevOpsDays Taipei 2022 • 退後⼀步，了解全貌
54. The Question Behind the Question Photo by Fancycrave on Unsplash • 退後⼀步，了解全貌 • ⼈、流程、⼯具、資源限制， 
 權衡多項變因的多重相依關係 • 找出關鍵瓶頸點， 
 安排超前 2~3 步的規劃 • 交付「價值」，⽽不是無謂的⾃動化
55. Communicate, collaborate, align goals 圖片來源：https://www.ghibli.jp/works/kazetachinu/ • 持續溝通不能少 有在⽤ Docker 的舉⼿！
56. Communicate, collaborate, align goals 圖片來源：https://www.ghibli.jp/works/kazetachinu/ • 對⿑團隊對於 Pipeline 的期待 以後 K8s 就歸你管吧！ ……
57. Communicate, collaborate, align goals 圖片來源：https://www.ghibli.jp/works/kazetachinu/ • 建立共同的 Pipeline 使⽤原則 哪個蠢貨在週五按下 Deploy 的！ 你老闆啊
58. Communicate, collaborate, align goals 圖片來源：https://www.ghibli.jp/works/kazetachinu/ • 避免落入無效的⾃動化 沒有測試，就全⾃動 部署，錯了嗎？ ⼤錯特錯
59. First success, Small Wins Photo by Fancycrave on Unsplash • 搶下灘頭堡 • 借⼒使⼒ • 越過死亡⼭⾕ 死亡山谷 灘頭堡 Small Win Small Win
60. Knowledge management Photo by Fancycrave on Unsplash • 關鍵知識、決策、技能的 • 保存 • 交流 • 傳承 CNCF 也說了要好好的寫⽂件
61. Photo by Fancycrave on Unsplash 更實務或技術⼀點的建議？
62. 圖片來源：網路迷因 以下分享的內容 可能不適⽤於你、你的公司或團隊 請⼩⼼服⽤。
63. 釐清是哪個世代的 Pipeline Photo by Fancycrave on Unsplash • 1 • 2 • 2.5 • 3
64. 建立管理相依關係的原則 Photo by Fancycrave on Unsplash • Dependency • Package • Release • Artifact • Container • Secret • Infrastructure • Environment management
65. ⼩處著⼿，持續迭代 Photo by Fancycrave on Unsplash • 不要妄想⼀條龍，CI、CD 是可以拆開的 • Everything as Code • 良好的軟⼯技巧、架構設計 • 模板、模組、繼承 • 標準化與客製化的愛恨情仇 (80/20) • 測試再測試 • VSM、三步⼯作法、系統思考、全貌⋯⋯
66. 好 多 書不讀嗎？ Docker 或 Container Books More…
67. Photo by Fancycrave on Unsplash 總結 & 回顧
68. DevOps != CI/CD != ⾃動化
69. Photo by Aldo De La Paz on Unsplash CI / CD 是你的守護者
70. 修復問題的時間長度 尚未整合的「異動」數量 修復問題 之 惡性循環 潛在問題的數量 
 與發生問題的機率 發生問題 + + + 持續（頻繁）的整合與交付⼩範圍的異動（包含程式、環境⋯⋯） 每次異動都靠 CI / CD 守護最低限度的品質 及早發現問題 及早修復問題 +
71. 沒有⾃動化測試， 
 不要說你是在做 CI / CD Photo by Jamie Street on Unsplash
72. • 頻繁的整合異動（Code、Con fi g、Env⋯⋯） • 建立團隊開發維運的協作節奏 • 及早取得回饋、發現錯誤、修復錯誤 • 建置流程的標準化、簡化 • 降低試錯成本、減少浪費 持續整合 / 交付
73. CI / CD 的原則： • 建立可重複且可靠的流程 • 盡可能的⾃動化 • 以版本控制管理並保護⼀切 • 越是棘⼿的事，越要儘早且頻繁處理 • 重視品質 • 交付價值是每位成員的責任 •持續改善
74. 第 1 代 CI / CD Pipeline CI Server GUI VM SSH VM Agent 第 2 代 CI / CD Pipeline Pipeline VCS YAML CI Service CI Job 第 3 代 CI / CD Pipeline Container VCS YAML Container Automation VM Container 2.5 VM
75. 程式語言 部署環境 可用 IT 資源 組織架構 工具決策 產品交付方式 資安規範 團隊文化 軟體架構 系統架構 如何 build？ 如何 test？ 產業別 產品類型 團隊人數 產品的品質要求 產品迭代速度 產品交付速度
76. 全都是相依關係 Photo by Fancycrave on Unsplash 有辦法只靠⾃⼰搞定？
77. CI / CD / DevOps Process People Technology 涉及：流程、人、技術 Pipeline / Work fl ow Top Bottom Tools / Solution Team Department
78. • Mindset • The Question Behind the Question • First success, Small Wins • Communicate, collaborate, align goals • Knowledge management Photo by Fancycrave on Unsplash 個⼈⼼得
79. • 釐清是哪個世代的 Pipeline • 建立管理相依關係的原則 • ⼩處著⼿，持續迭代 Photo by Fancycrave on Unsplash 個⼈⼼得
80. 好 多 書不讀嗎？ Docker 或 Container Books More…
81. 實踐 第3代 CI/CD 的難題？ 第3代 CI/CD 解決了什麼新問題？ Photo by Camylla Battani on Unsplash
82. Photo by Clark Tibbs on Unsplash Thank You