Continuous Delivery with Ansible x GitLab CI (2e)

# DevOps 人一定要知道的 Ansible & GitLab CI 持續交付技巧 (2/e)
　
Ansible 是個與 Puppet, Salt, Chef 並列的 Infrastructure as Code 組態設定工具，其簡單易用的特性更讓人愛不釋手；GitLab 是業界很常見的 Git 私有版本控制服務，搭配其 GitLab CI 將能快速建立屬於自己的 CI/CD Pipeline 與自動化部署。
　
本次凍仁將會藉由 Ansible 和 GitLab 帶領大家一探持續部署的世界和 DevOps 的威力！
　
#DevOpsTaiwan #DevOpsTW #Agile #Meetup
　
> https://devops.kktix.cc/events/meetup-kaohsiung-1

Transcript

1. [ chusiang@devops-taiwan ~ ] $ cat .profile # Author: 凍仁翔 / chusiang@drx.tw # Blog: http://note.drx.tw # Modified: 2017-08-23 22:44 2/e
2. 坐穩囉 要開始了了！ 2
3. 關於我 • 凍仁翔 (@chusiang_lai)。 • 《凍仁的筆記》作者。 • DevOps Taiwan 志⼯工。 • 1 年年以上的 Ansible 使⽤用經驗。 • 5 年年以上的 IT 維運經驗。 • 第 8 屆 IT 邦幫忙鐵⼈人賽 DevOps 組冠軍。 3
4. Outline I. DevOps ⼈人是什什麼？ II. 持續交付是什什麼？ 4
5. Outline I. DevOps ⼈人是什什麼？ II. 持續交付是什什麼？ III. Ansible 是什什麼？ IV. 怎麼部署 Ansible 環境？ V. 怎麼操作 Ansible？ 5
6. Outline VI. GitLab CI 是什什麼？ VII. Pipeline 是什什麼？ VIII.怎麼操作 GitLab CI？ 6
7. Outline VI. GitLab CI 是什什麼？ VII. Pipeline 是什什麼？ VIII.怎麼操作 GitLab CI？ IX. 怎麼⽤用 Ansible 和 GitLab CI 進⾏行行持續交付？ X. Q&A 7
8. Ⅰ. DevOps ⼈人是什什麼？ 8
9. 前⼈人眼中的 DevOps 是什什麼？ 9
10. Agile Tour 台中 by 正瑋 x Mina @ 2017.01.14
11. Agile Tour 台中 by 正瑋 x Mina @ 2017.01.14
12. 我⼼心中的 Dev ⼈人是什什麼？ 等 Ops？ 有事 On-call 沒事下班 Coding 12
13. 我⼼心中的 Ops ⼈人是什什麼？ 耗時 有事救火 沒事 On-call 敲指令 裝機器 改什什麼 常忘記 13
14. 我⼼心中的 DevOps ⼈人是什什麼？ 不⽤用 20 分 有事 On-call 沒事讓 code "⾃自⼰己" 管機器 Coding 管機器 14
15. 今天會⽤用到哪些 Tools？ 15
16. 今天會⽤用到哪些 Tools？ Git, GitLab GitLab CI Docker Ansible 16
17. 今⽇日⽤用到哪些 License？ LGPL MIT Apache GPL 17
18. 可以⽤用到哪些 Tools 替代？ Git, GitLab GitHub GitLab CI Jenkins CI Docker Vagrant Ansible Chef 18
19. Ⅱ. 持續交付是什什麼？ 19 可以讓我們提早下班的玩意兒！
20. 持續交付是什什麼？ 《Continuous Delivery》- https://goo.gl/r9vXFg 持續的、不間斷的、不鬆懈的。 投遞、傳送、交付、交貨。 20
21. 《Continuous Delivery 中⽂文版》- https://goo.gl/SK745B 利利⽤用⾃自動化的 建置、測試與部署 ，完美創造出可信賴 的軟體發佈 - Jez Humble & David Farley 21
22. 建置 測試 發佈 部署 ⾃自動化
23. 建置 測試 發佈 部署 ⾃自動化
24. 建置 測試 發佈 部署 ⾃自動化
25. 建置 測試 發佈 部署 ⾃自動化
26. 建置 測試 發佈 部署 ⾃自動化
27. 建置 測試 發佈 部署 ⾃自動化 27
28. 持續交付和持續部署有什什麼不同？ 前者需⼿手動 Release ⾄至 Production，⽽而後者則⾃自動化之。 28 Continuous Delivery Continuous Deployment auto auto manual Build Deploy Test Release auto auto auto Build Deploy Test Release
29. 導入持續交付的好處是什什麼？ 29
30. Before 需耗數 hr 交付 1 週以上 交付 1 次 發佈 ≒ 救火 ⼈人為失誤 ↑ 30
31. Code 還在本機？ 推上 Git server？ 組態設定對了了？ 單元測試過了了？ 持續交付過了了？ 真 實 案 例例 R&D：我程式寫完了了！ 我：(哪裡寫完了了？！) 31
32. After 交付 < 5 min commit 即交付 即早發現 即早治療 ⼈人為失誤 ↓ 32
33. R&D：我程式寫完了了！ 我：等 CD 過了了再說。 Code 還在本機？ 推上 Git server？ 組態設定對了了？ 單元測試過了了？ 持續交付過了了？ 真 實 案 例例 33
34. 案例例分析 提前預演變更更⼯工作，避免 每次變更更都變成例例外⼯工作！ 《The Phoenix Project》 Amazon - https://goo.gl/visckK 34
35. Ⅲ. Ansible 是什什麼？ 35
36. Ansible 取名⾃自知名⼩小說
 《安德的遊戲》，是 虛構的超光速通訊裝置。 有了了它我們就可以像 Ender 指揮戰艦般的操控伺服器。 電影海海報 - https://goo.gl/4xftZT 36
37. Ansible ⾃自 2013 年年創立， 於 2015 年年被 Red Hat 併購。 iThome - http://goo.gl/yJbWtz 37
38. Ansible Tower 更更獲選 Linuxpilot 2017 Linux & OSS 最佳解決⽅方案， 擁有最佳系統⾃自動化管理理⽅方案 之名。 Linuxpilot - https://goo.gl/mSxR4E 38
39. 我⼼心中的 Ansible 是什什麼？ 1. 與 Puppet、SaltStack、Chef 並列列其四。 2. Python like 的組態設定⼯工具
 (Infrastructure as Code)。 39
41. Python Ansible SaltStack Ruby Chef Puppet vs
42. Python Ansible SaltStack Ruby Chef Puppet vs
43. 我⼼心中的 Ansible 是什什麼？ 3. 不需 Agent，有 Python 和 SSH 就可以闖天下！ 4. 容易易上⼿手。 5. 社群強⼤大，有商業公司⽀支援。 43
44. 真實案例例 每週節省 26 hr 的⼯工時。 (6 x 3) x 2 - (5 x 1) x 2 = 26 hr 44
45. 減少例例⾏行行性⼯工作⼈人⼒力力成本 0 350 700 1,050 1,400 Week Month Year 104 hr 26 hr 1,352 hr 45
46. 節省企業開⽀支 0 125,000 250,000 375,000 500,000 Week Month Year $35,360 $8,840 $459,680 46
47. Ⅳ. 怎麼部署 Ansible 環境？ 47 觀念念、安裝、設定
48. Ansible 是怎麼運作的？ 透過 inventory 定義 Managed node，並藉由 SSH 與 Python 進⾏行行溝通。 48
49. 怎麼安裝 Ansible？ • 只需在 Control Machine (主控端) 安裝 Ansible； Managed node 則需 Python 2.5+ 和 SSH。 49 $ sudo apt-get install ansible # Debian, Ubuntu. $ sudo yum install ansible # RHEL, CentOS. $ brew install ansible # Mac OS X (homebrew). $ sudo pip install ansible # Python (pip).
50. 怎麼設定 Ansible？ • 藉由 ansible.cfg 來來設定 inventory (host file) 檔案路路徑、 Managed node (被控端) 使⽤用者名稱、SSH ⾦金金鑰 … 等。 50 $ vim ansible.cfg 1 [defaults] 2 hostfile = hosts # 指定 inventory 路路徑。 3 4 remote_user = docker # 遠端使⽤用者名稱。 5 6 #private_key_file = ~/.ssh/id_rsa 7 8 host_key_checking = False # 不檢查 ssh ⾦金金鑰。
51. inventory 是什什麼？ • 定義 Managed node (被控端) 位址與群組的主機清冊，
 通常會⽤用來來設定 ssh 或 winrm 的連線資訊。 51 $ vim hosts 1 # 在同⼀一主機的不同 Port 跑 ssh server。 2 3 [staging] 4 stg.demo.drx.tw ansible_ssh_host=demo.drx.tw ansible_ssh_port=10022 5 6 [production] 7 prd.demo.drx.tw ansible_ssh_host=demo.drx.tw ansible_ssh_port=20022
52. Ⅴ. 怎麼操作 Ansible？ 52 Ad-Hoc command, Playbook* (Module)
53. and 53 Playbooks Ad-Hoc commands
54. Ad-Hoc commands 簡短指令 54
55. ⼀一般的 command line 是什什麼？ • 這裡的 command line 為 Linux Shell 底下的指令操作， 以下為 ping 和 echo 的操作的結果。 55 $ ping localhost PING localhost (127.0.0.1): 56 data bytes 64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.037 ms --- localhost ping statistics --- 1 packets transmitted, 1 packets received, 0.0% packet loss round-trip min/avg/max/stddev = 0.037/0.037/0.037/0.000 ms $ echo Hello World Hello World
56. 怎麼⽤用 Ad-Hoc commands？ ansible <host-pattern> [-m module_name] [-a args] [options] • host-pattern: all, server1, server1:server2, server_group. 56 $ ansible all -m ping localhost | SUCCESS => { "changed": false, "ping": "pong" } $ ansible all -m command -a "echo Hello World" localhost | SUCCESS | rc=0 >> Hello World # 各個 Module 的詳細說明請參參考官⽅方 All Modules ⽂文件。
57. 劇本 Playbooks 57
58. Playbooks 是什什麼？ • 比 Shell Script 更更結構 化的腳本語⾔言，是⼀一鍵 部署的好物。 • 使⽤用 YAML 格式，簡單 易易讀。 Baby Playbook Onesie - http://goo.gl/GKJvXn 58
59. Playbooks 是什什麼？ • 通常會有 Play, Task, Module 和 handler 等。 • 整合 Jinja2 的 template 系統，可使⽤用變數、判 斷式、迴圈等表達式。 Baby Playbook Onesie - http://goo.gl/GKJvXn 59
60. Playbooks 是什什麼？ • ⼀一份 Playbook 可以有多個 Play、多個 Task 和多個 Module。 • 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
 
 
 
 
 
 
 
 
 
 
 
 
 60 $ vim example.yml 1 --- 2 - name: a sample playbook 3 hosts: all 4 tasks: 5 - name: Hello World 6 command: echo "Hello World" 7 - name: Install Vim 8 become: true 9 apt: 10 name: vim
61. Playbooks 是什什麼？ • 執⾏行行 playbook。 61 $ ansible-playbook example2.yml PLAY [a sample playbook.] ******************************************* TASK [setup]********************************************************* ok: [stg.demo.drx.tw] TASK [Hello World] ************************************************** changed: [stg.demo.drx.tw] TASK [Install Vim] ************************************************** changed: [stg.demo.drx.tw] => (item=[u'vim']) PLAY RECAP ********************************************************** stg.demo.drx.tw : ok=1 changed=2 unreachable=0 failed=0
62. • 執⾏行行 playbook。 $ ansible-playbook example2.yml PLAY [a sample playbook.] ******************************************* TASK [setup]********************************************************* ok: [stg.demo.drx.tw] TASK [Hello World] ************************************************** changed: [stg.demo.drx.tw] TASK [Install Vim] ************************************************** changed: [stg.demo.drx.tw] => (item=[u'vim']) PLAY RECAP ********************************************************** stg.demo.drx.tw : ok=1 changed=2 unreachable=0 failed=0 Playbooks 是什什麼？ 62 TASK [setup]：被執⾏行行的 managed node 有哪些 PLAY RECAP：總結 (ok / changed / failed )
63. • 透過動作 (Play) 對特定 Managed node 進⾏行行操控，通常包含 Task 和 Module。 • 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
 
 
 
 
 
 
 
 
 
 
 
 
 Plays 是什什麼？ 63 $ vim example.yml 1 --- 2 - name: a sample playbook 3 hosts: all 4 tasks: 5 - name: Hello World 6 command: echo "Hello World" 7 - name: Install Vim 8 become: true 9 apt: 10 name: vim Play
64. • 藉由各種不同的模組 (Module)、迴圈和判斷式等組合來來完成各種任務 (Task)。 • 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
 
 
 
 
 
 
 
 
 
 
 
 
 $ vim example.yml 1 --- 2 - name: a sample playbook 3 hosts: all 4 tasks: 5 - name: Hello World 6 command: echo "Hello World" 7 - name: Install Vim 8 become: true 9 apt: 10 name: vim Tasks 是什什麼？ 64 Task 1 Task 2
65. • 最⼩小的操作⽅方法 (Method)，好比 Python 的內建函式。 • 此例例⽤用到了了 Play × 1, Task × 2 和 Module × 2 (command, apt)。
 
 
 
 
 
 
 
 
 
 
 
 
 $ vim example.yml 1 --- 2 - name: a sample playbook 3 hosts: all 4 tasks: 5 - name: Hello World 6 command: echo "Hello World" 7 - name: Install Vim 8 become: true 9 apt: 10 name: vim Modules 是什什麼？ 65 Module
66. Ⅵ. GitLab CI 是什什麼？ 66
67. GitLab 是什什麼？ 集 Git Repository、Docker Registry、Issue tracking、Code Review、 CI 和 CD 於⼀一⾝身的現代平台。 67
68. GitLab CI 可以做什什麼？ Unit Test Integration Test Delivery Deployment Build Syntax Check 68
69. Ⅶ. Pipeline 是什什麼？ 69 管道 (線)？⽣生產線？傻傻分不清楚？！
70. Ch 5. 部署流⽔水線解析 Ch 6. 建置與部署的腳本化 Ch 7. 提交階段 Ch 8. ⾃自動化驗測試 Ch 9. 非功能性需求測試 Ch 10. 應⽤用程式的部署與發佈 書中的 Pipeline 是什什麼？ 《Continuous Delivery》- https://goo.gl/r9vXFg 70
71. 原始 程式碼 應⽤用程式 設置 提交階段 編譯 單元測試 程式碼分析 組裝 binaries 驗收階段 設置環境 部署 binaries 冒煙測試 驗收測試 UAT 階段 設置環境 部署 binaries 冒煙測試 探索性測試 ⽣生產⼒力力測試階段 設置環境 部署 binaries 冒煙測試 執⾏行行⽣生產⼒力力測試 ⽣生產環境 設置環境 部署 binaries 冒煙測試 版本控制 ⾃自動發佈 ⾃自動發佈 ⼀一鍵發佈 ⼀一鍵發佈 Binary 儲存庫 binaries metadata 程式碼 應⽤用程式設置 binaries metadata binaries binaries metadata metadata Adapted from “Continuous Delivery” © Dave Farley and Jez Humble 2010 Translated by Chu-Siang Lai 2017
72. 原始 程式碼 應⽤用程式 設置 提交階段 編譯 單元測試 程式碼分析 組裝 binaries 驗收階段 設置環境 部署 binaries 冒煙測試 驗收測試 UAT 階段 設置環境 部署 binaries 冒煙測試 探索性測試 ⽣生產⼒力力測試階段 設置環境 部署 binaries 冒煙測試 執⾏行行⽣生產⼒力力測試 ⽣生產環境 設置環境 部署 binaries 冒煙測試 版本控制 ⾃自動發佈 ⾃自動發佈 ⼀一鍵發佈 ⼀一鍵發佈 Binary 儲存庫 binaries metadata 程式碼 應⽤用程式設置 binaries metadata binaries binaries metadata metadata Adapted from “Continuous Delivery” © Dave Farley and Jez Humble 2010 Translated by Chu-Siang Lai 2017
73. – Chu-Siang Lai 「Pipeline 好比⽣生產線，導入⾃自動化後 ，⾃自然顯現的軟體發佈流程。」 73
74. GitLab Pipelines ⼜又是什什麼？ 圖像化的軟體發佈⽣生產線。 74
75. User Story 1. commit 即交付。 2. 收到 develop commit 後，即部署⾄至 stg.demo.drx.tw
 ，並進⾏行行測試。 3. 收到 master commit 後，即部署到 prd.demo.drx.tw
 ，但需先部署⾄至 stg.demo.drx.tw，並通過測試。 75
79. Ⅷ. 怎麼操作 GitLab CI？ 79 在專案底下建立 .gitlab-ci.yml，當程式碼上傳⾄至 GitLab 即會觸發 GitLab CI。
80. • YAML 語法。 • 此例例⼤大致可分為 stage × 1 和 job × 1。
 
 
 
 
 
 
 
 
 
 
 怎麼寫 .gitlab-ci.yml？ $ vim .gitlab-ci.yml 1 stages: 2 - build 3 4 build_binary: 5 image: ubuntu:16.04 6 stage: build 7 script: 8 - chmod 755 penguin-htdocs/DEBIAN 9 - dpkg -b penguin-htdocs 10 tags: 11 - docker 80
81. 怎麼觸發 GitLab CI？ 81 Trigger by git push.
82. 從 Pipelines 看觸發狀狀態。 82
83. 詳細觸發資訊。 83
84. Ⅸ. 怎麼⽤用 Ansible 和 GitLab CI 進⾏行行持續交付？ 84 在 GitLab CI，⽤用 Ansible (Docker Containers) 跑 Playbooks 即可。
85. 85 Ansible GitLab CI Docker
86. https://hub.docker.com/r/chusiang/ansible/ 0 86
87. $ vim .gitlab-ci.yml 1 stages: 2 - build 3 - deploy 4 - test 5 - release 6 7 build_binary: 8 image: ubuntu:16.04 9 stage: build 10 script: 11 # For fix bad permissions of control directory on GitLab CI. 12 - chmod 755 penguin-htdocs/DEBIAN 13 14 # build deb. 15 - dpkg -b penguin-htdocs 16 artifacts: 17 expire_in: 1 week 18 paths: 19 - penguin-htdocs.deb 20 tags: 21 - docker 22 87 1 Test Delivery Deployment Build
88. 22 23 deploy_to_dev: 24 image: chusiang/ansible:alpine-3.6 25 stage: deploy 26 script: 27 - ls 28 - cd ansible-playbooks/ 29 - echo "${VAULT_KEY}" > secret.txt 30 - ansible-playbook deploy.yml 31 - rm -f secret.txt 32 only: 33 - master@chusiang/coscup2017-cd-demo 34 - develop@chusiang/coscup2017-cd-demo 35 - tags@chusiang/coscup2017-cd-demo 36 tags: 37 - docker 38 88 2 Test Delivery Deployment Build
89. 38 39 test_dev: 40 image: chusiang/ansible:alpine-3.6 41 stage: test 42 script: 43 - cd ansible-playbooks/ 44 - echo "${VAULT_KEY}" > secret.txt 45 - ansible-playbook test.yml 46 - rm -f secret.txt 47 only: 48 - master@chusiang/coscup2017-cd-demo 49 - develop@chusiang/coscup2017-cd-demo 50 - tags@chusiang/coscup2017-cd-demo 51 tags: 52 - docker 53 89 3 Test Delivery Deployment Build
90. 53 54 release_to_prd: 55 image: chusiang/ansible:alpine-3.6 56 stage: release 57 script: 58 - cd ansible-playbooks/ 59 - echo "${VAULT_KEY}" > secret.txt 60 - ansible-playbook -i production deploy.yml 61 - rm -f secret.txt 62 only: 63 - master@chusiang/coscup2017-cd-demo 64 - tags@chusiang/coscup2017-cd-demo 65 tags: 66 - docker 67 90 4 Test Delivery Deployment Build
91. Delivery Build Test Deployment 1. package deb file. 91
92. Delivery Build Test Deployment 2. $ ansible-playbook deploy.yml 1. package deb file. 92
93. Delivery Build Test Deployment 2. $ ansible-playbook deploy.yml 1. package deb file. 3. $ ansible-playbook test.yml 93
94. Delivery Build Test Deployment 2. $ ansible-playbook deploy.yml 1. package deb file. 3. $ ansible-playbook test.yml 4. $ ansible-playbook \
 -i production deploy.yml 94
95. https://gitlab.com/chusiang/coscup2017-cd-demo 5 95
96. Build stage 6 Test Delivery Deployment Build 96
97. Deploy, Test and Release stages 7 Delivery Build Test Deployment 97
98. Pipelines 8
99. 火⼒力力展⽰示 Live Demo 99
100. Demo 環境為 Control Machine (Alpine 3.6) + Managed node*2 (Ubuntu 16.04)。 透過 GitLab CI 和 Ansible 操控 Managed node 100
101. https:/ /youtu.be/QHim_JxB4ZY 101
102. – Chu-Siang Lai 「持續交付是⼀一段⼈人類與企業的進化史。」 102
103. 我的 Pipeline 進化史 Unit Test Integration Test Delivery Deployment Build Syntax Check Unit Test Delivery Deployment Build Syntax Check Unit Test Delivery Deployment Build Syntax Check Delivery Deployment Build Syntax Check Build Syntax Check Build 103
104. 參參考⽂文獻 1. 提到 DevOps 到底在談些什什麼玩意兒？ by Chen Cheng-Wei - https://goo.gl/7YTeKD 2. Continuous Delivery - 敏捷開發的最後⼀一哩路路 by Miles - https://goo.gl/UhpAfG 3. Ansible Documentation - http://docs.ansible.com/ansible/intro_installation.html 4. 《Ansible: Up and Running》- https://www.ansible.com/ansible-book 5. 現代 IT ⼈人⼀一定要知道的 Ansible ⾃自動化組態技巧 / 3e - https://goo.gl/vHyVDt 6. 現代 IT ⼈人⼀一定要知道的 Ansible ⾃自動化組態技巧系列列⽂文章 - https://goo.gl/EOjs4I 7. Getting started with GitLab CI | GitLab Documentation - https://goo.gl/NctsCk 8. Demo project of COSCUP 2017 - https://gitlab.com/chusiang/coscup2017-cd-demo 104
105. 圖片來來源 • 《Continuous Delivery》 | Amazon.com - https://www.amazon.com/dp/0321601912 • 《Continuous Delivery 中⽂文版》 | 天瓏網路路書店 - https://goo.gl/SK745B • DevOps Services & Continuous Delivery - https://goo.gl/jswxch • 《The Phoenix Project》 | Amazon.com - https://goo.gl/visckK • Resenha: Harry Potter e a Pedra Filosofal, de J.K. Rowling | Acrobata das Letras
 - https://goo.gl/R34tSA • Brown Book Icon | SoftIcons.com - https://goo.gl/U9U2am • Always Agile Consulting · Introducing Continuous Delivery - https://goo.gl/2Nhtcr • 5 CI/CD Strategies for Faster Software Deployments and Better Automation | snap
 - https://goo.gl/UZPf5e 105
106. https://devopsdays.tw/
107. DevOps Taiwan https://www.facebook.com/groups/DevOpsTaiwan/ https://devopstaiwan.slack.com/ https://gitter.im/DevOpsTW/ 107
108. Ansible Taiwan https://telegram.me/ansible_tw https://github.com/ansible-tw http://ansible.tw 108
109. http://萍⽔水相逢.tw 109
110. Q & A 嚴禁拍打餵食 110
111. END 111