91APP 電商技術大解密 (2020 線上分享系列)：解密 91APP Queue System

主題：解密 91APP Queue System
講師：蔡奕陵（Steven Tsai）資深軟體工程師

Queue 是現今後端服務經常會使用到的功能之一，透過 Queue 我們能更良好的因應非同步處理、應付瞬間巨量且有助於系統解耦。在 91APP 工程師必須面對超過 100+ 的 Queue 及 Worker，面對這龐大的數量，究竟該如何開發、維運、監控與部署呢？本場演講將為大家解密 91APP 的 Queue System，分享針對 Queue 的運用我們克服了哪些挑戰！

Youtube: https://youtu.be/E1pxP0wuGso

91APP Tech Network: https://www.91app.tech/
91APP Tech Group: https://www.facebook.com/91apptech/

Transcript

1. 解密 91APP Queue System Steven Tsai 1
2. 關於我 蔡奕陵 (Steven Tsai) Senior software engineer of Arch team @ 91APP 主要負責 • Queue System • Develop Infra SDK 2
3. 大綱 3
4. 大綱 1. 什麼是 Queue？ 2. 使用 Queue 的場景 3. 挑戰 4. 91APP 怎麼做？ 5. 總結 4
5. 什麼是 Queue？ 5
6. 什麼是 Queue？ 又稱為隊列（queue），是先進先出（FIFO, First-In-First-Out）的線性表。在具體應 用中通常用鍊表或者數組來實現。Queue 只允許在後端（稱為rear）進行插入操作 ，在前端（稱為front）進行刪除操作。 Queue 的操作方式和堆疊類似，唯一的區別在於佇列只允許新數據在後端進行 添加 https://zh.wikipedia.org/wiki/%E9%98%9F%E5%88%97 Dequeue Enqueue 6
7. 使用 Queue 的場景 7
8. 使用 Queue 的場景 • 非同步處理 • 應付瞬間巨量 • 系統間解耦 8
9. 使用 Queue 的場景 - 非同步處理 前台 消費者 建立訂單 發送通知信 訂單完成 Request Response 寄信服務 9
10. 使用 Queue 的場景 - 應付瞬間巨量 前台 消費者 緩衝 消費者 消費者 寄信服務 10
11. 使用 Queue 的場景 - 應付瞬間巨量 (續) 前台 消費者 緩衝 消費者 消費者 寄信服務 寄信服務 寄信服務 11
12. 使用 Queue 的場景 - 系統間解耦 會員中心 會員升等 寄信服務 點數服務 簡訊服務 12 優惠券服務
13. 比較 13
14. 使用 Queue 的場景 - 比較 A 14 B B B A B B B Load Balance Queue
15. 挑戰 15
16. 挑戰 1. 如何簡化團隊串接 Queue 時的門檻 2. 100+ Queue 與 Worker 如何開發、維運、監控、部署？ 16
17. 91APP 怎麼做？ 17
18. 91APP 怎麼做？ Arch team 開發了 MessageWorker SDK，讓團隊無論是串接 RabbitMQ、NATS、 NATS Streaming，開發方式皆相同 NATS RabbitMQ 18
19. 91APP 怎麼做？ MessageWorker SDK 內建了 • Graceful shutdown • 效率指標 • CloudWatch 19
20. 91APP 怎麼做？ 讓團隊專注於商業邏輯的開發 Queue System 20
21. 91APP 怎麼做？ 透過 windows container 部署，在需要時能夠快速且有效率的擴展與更新 Worker Worker Worker Worker 21
22. 91APP 怎麼做？ Graceful shutdown 讓我們可以安心的部署、擴展、關機 Worker 收到 Message 並開始工作 執行到一半收到關機指令 暫停關機指令直到工作完成 回覆 Queue 工作已完成 關機 22
23. 91APP 怎麼做？ Worker 閒置太久，執行關機 Worker Worker Worker Worker Worker 我們對 Queue 做了適度的分群，搭配 Router 來控制哪些 Worker 該開啟，哪些又 該被關閉來節省資源 Router 分配工作 23
24. 如何監控、維運？ 24
25. 91APP 怎麼做？ 我們關心什麼? 25
26. 91APP 怎麼做？ 關心效率 26
27. 91APP 怎麼做？ 所以我們定義每條 Queue 的 SLO (服務等級目標) 27
28. A: Task 成功進入 Queue B: Router 成功的接收來自 Queue 的 Task C: Router 將 Task 分派給 Process Worker, 並且執行完畢 C A B execution time complete time dequeue 91APP 怎麼做？ 28
29. 91APP 怎麼做？ 觀察每筆 Message 執行狀況 29
30. 91APP 怎麼做？ 關心系統瓶頸 30
31. 91APP 怎麼做？ 收集每分鐘、每種任務處理的總量，又有哪些違反了我們定義的 SLO 31
32. 91APP 怎麼做？ 機器狀態，例如: CPU、Memory、Disk I/O … 等等 32
33. 91APP 怎麼做？ 每種任務特性都不太一樣，有的在每月 1 號產生數十萬筆要執行，但對延遲敏 感度不高，有些則是瞬間只會有數千筆，但需要在 5 秒內要送達客戶手中，我們 透過前面提到的各項指標來做最佳化。 33
34. 91APP 怎麼做？ CloudWatch Alarm 搭配 Slack ，做為維運監控的工具 34
35. 結論 35
36. 結論 1. Queue 可做為瞬間巨量時各服務間的緩衝工具 2. Queue 可做為服務之間解藕的工具 3. 我關心什麼？定義屬於我們的指標 4. 搭配成熟的工具來降低維運監控的難度。例如：CloudWatch、Container 36