Event Driven Ansible (EDA) 使用情境分享 @ Red Hat Ansible User Club 線上交流會

Event Driven Ansible (EDA) 的導入，能針對已知的事件，進行立即反應與迅速回復，對於未知的事件，能再第一時間搜集需要的資訊，開工單提醒管理者，並豐富工單，做為日後偵錯的依據，也是客戶邁向 AIOps 智慧維運的必經過程。

Transcript

1. Event Driven Ansible (EDA)
 使⽤情境分享 Johnny Sung
2. Full stack developer Johnny Sung (宋岡諺) https://fb.com/j796160836 https://blog.jks.coffee/ https://www.slideshare.net/j796160836 https://github.com/j796160836
4. ⼤綱 • 系統維運的痛點 • Event-Driven Ansible (EDA) 介紹 • 導入經驗分享 • 導入後效益
5. 我們來聊聊這個 https://support.microsoft.com/en-us/windows/troubleshooting-windows-unexpected-restarts-and-stop-code-errors-60b01860-58f2-be66-7516-5c45a66ae3c6
6. https://devopedia.org/devops ⼤家都知道的 DevOps
9. 痛點 • 系統壞掉了！ • 趕快修復 ⾼階主管 系統壞掉了，客⼾都在抱怨 凌晨 2:15 我看⼀下 凌晨 2:16 我把服務重開了，你們再看⼀下 凌晨 3:02 ⾼階主管 趕快恢復系統服務，不可以有任何差錯 凌晨 3:20
10. 任何問題都有可能造成當機 • 系統滿載 • 程式 Bug • 記憶體不⾜ • 磁碟空間不⾜ 系統當機卡死 可能狀態不明
11. 怎麼辦？
12. JUST DO IT
 很多孩⼦聽了喬丹的話，從此進入了 IT ⾏業。 https://blog.longwin.com.tw/2016/05/video-basketball-michael-jordan-2016/
13. 怎麼辦？
14. 怎麼辦？ 呂布 Reboot 治百病
15. 修復流程三部曲 偵測系統出錯 HTTP 監控系統 保留現場 搜集錯誤 Log
 Memory Dump... 盡快恢復服務 重開治百病
16. 修復流程三部曲 偵測系統出錯 HTTP 監控系統 保留現場 搜集錯誤 Log
 Memory Dump... 盡快恢復服務 重開治百病 有沒有更快的做法？
17. 修復流程三部曲 偵測系統出錯 HTTP 監控系統 保留現場 搜集錯誤 Log
 Memory Dump... 盡快恢復服務 重開治百病 當然有！
18. ⾃動化！ 只要是可以歸納出固定規則、機械化的，都可以⾃動化
20. Automation Execution 
 Ansible Core • Automation Analytics • Job Logging • Reports • Audit Logs • Role-Based Access Control (RBAC) • Enterprise Single Sign-On • ... Automation Decisions
 Event-Driven Ansible
21. http://arctiq.com/blog/unlocking-agility-using-event-driven-ansible 豐富服務⼯單 ⾃動應變措施 Event-Driven Ansible (EDA)
22. http://arctiq.com/blog/unlocking-agility-using-event-driven-ansible Event-Driven Ansible (EDA)
23. 試想⾃動化場景 如果 就 觸發場景條件 執⾏的動作
24. 試想⾃動化場景 如果 就 觸發場景條件 執⾏的動作 晚上天⿊了（⽇落） 幫我開燈 https://www.edntaiwan.com/20211125nt01-the-too-brights/ ! "
25. 試想⾃動化場景 如果 就 觸發場景條件 執⾏的動作 HTTP 監控 8080 沒有回應 200 OK 重啟服務 # $
26. Rulebook 與 Playbook 的關聯 如果 就 觸發場景條件 執⾏的動作 重啟服務 Rulebook.yaml Playbook.yaml # HTTP 監控 8080 沒有回應 200 OK $
27. - name: Check Web Server hosts: all sources: - ansible.eda.url_check: urls: - http://192.168.1.2:8080/ delay: 10 rules: - name: Restart Nginx condition: event.url_check.status == "down" action: run_playbook: name: playbook_restart_nginx.yml Rulebook 範例 HTTP 監控 8080 如果 就 沒有回應 200 OK 執⾏ Playbook （條件） （⽤ url_check 模組）
28. Playbook 範例 - name: Restart Nginx hosts: myservers gather_facts: no vars: my_path: /opt/path/to/test-nginx tasks: - name: docker compose down ansible.builtin.shell: > cd {{ my_path }} && docker compose down - name: docker compose up ansible.builtin.shell: > cd {{ my_path }} && docker compose up -d 到指定路徑，
 執⾏ docker compose down
 停⽌服務 到指定路徑，
 執⾏ docker compose up -d
 啟動服務
29. 不知道規則該怎麼寫？
30. https://www.dcard.tw/f/3c/p/257029591
31. 可以功能再增強？可以！
32. 試想⾃動化場景 如果 就 觸發場景條件 執⾏的動作 抓取事故 Log、蒐集相關資訊、⼯單新增 Issue、重啟服務 增強功能 HTTP 監控 8080 沒有回應 200 OK # $
33. Rulebook 與 Playbook 的關聯 如果 就 觸發場景條件 執⾏的動作 抓取事故 Log、蒐集相關資訊、⼯單新增 Issue、重啟服務 Rulebook.yaml Playbook.yaml # HTTP 監控 8080 沒有回應 200 OK
34. AAP全圖形界⾯設定 • 設定相關 Credential
 （主機登入資訊、Git Repository 登入資訊） • 設定 Git Repository • 啟⽤ Rulebook 規則
37. 導入效益 • 5/8 ⼈⼯盯哨，頭眼昏花 • 每次事故發⽣，
 ⼈⼯調整 1.5hr - 2hr • 寫事故報告與復盤輪迴 導入前
38. 導入效益 • 24/7 實時監控，即時反應 • 每次事故發⽣，
 ⼈⼯ 1.5hr ⼤幅縮短⾄ 5min • ⼈員專注在更重要的事情上
 （維護⾃動化腳本、探究原因...） 導入後
39. 導入效益 • 系統穩定，風險變得可控 • 業務穩定拓展 導入後
40. 放⼤您的維運與反應能⼒ 善⽤⾃動化 ⼈的注意⼒、專注⼒有限
41. Q & A