災難演練 @ AWS 實戰分享 (Using AWS for Disaster Recovery, 20200108)

Date: 2020/01/08
AWS reInvent 2019 - reCAP Taipei
Related: https://rickhw.github.io/2019/09/09/AWS/Whitepaper-Using-AWS-For-Disaster-Recovery/
https://aws.amazon.com/tw/events/reinvent-recap-taipei/

Transcript

1. TAIPEI 開發者交流之夜 1
2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Sr. Manager / 91APP 義工 / SRE Taiwan 不是你選擇那一刻，而是那一刻選擇你 災難演練 @ AWS 實戰分享 Rick Hwang 2 2020/01/08
3. 一、讓團隊動起來 二、系統與團隊 三、全面啟動 四、得到 Agenda 3
4. • Sr. Manager @ 91APP • 經營管理 • Cloud / AWS • DevOps / SRE • Distributed Systems • 音樂 吉他 鍵盤 編曲 • 哲學 科幻 金庸 喇賽 • Complete Think、喝咖啡聊音樂、 譯著：分散式系統設計 4 Rick Hwang
5. 社群以讀書會形式，固定每兩週一 次進行，包含職涯規劃、事件處理、 可靠性工程、Cloud Native、持續交 付 … 等主題。過去三年讀書會共讀 了 SRE、持續交付、深入頗析 Kubernetes 三本書。 5 SRE Taiwan https://www.sre.tw/ https://study-area.sre.tw/
6. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 讓團隊動起來 Top to Down 6 計 畫 準備 準備 再準備 執行
7. 2019 重大異常事件 06/03 An update on Sunday’s service disruption 07/02 Cloudflare outage caused by bad software deploy 07/29 Issues with messages sending and slow performance 08/23 Summary of the Amazon EC2 and Amazon EBS Service Event in the Tokyo Region 09/04 虛擬主機供應商捕夢網驚傳磁碟陣列故障，造成用戶網站服務中斷 10/31 Google Compute Engine Incident #19008 7
8. 2019/06/18 日本晚間傳 6.8 規模強震 各電視台中斷節目插播地震速報 2020/01/02 金正恩 2020 元旦揚言有「新戰略武器」，要美國付出代價 東北亞天然災害、國際局勢 8
9. 2019H2 災難演練計畫 9 業務 目標 系統 架構
10. • 六小時 內把 核心業務系統 從 東京 遷移到 奧勒岡 • 核心業務： ◦ Mobile APP 及 客戶官網 可正常瀏覽 ◦ 確認 首頁、商品頁、分類頁 ◦ 確認 會員、購物車、完成結帳、成立訂單 ◦ 確認 登入後台、查詢到該筆訂單 災難演練 業務目標 10
11. 11 業務目標 系統架構 核心功能 RTO RPO 服務範圍 協作團隊 成本結構 執行計畫
12. Region Level 12 Taipei HQ Tokyo ap-northeast-1 Oregon us-west-2
13. 成 本 復原時間 低 高 長 短 Backup & Restore Pilot Light Warm Standby Multi Sites DB Replication or Batch Single APP Server Standby Single Stack Set Standby Full Stack Set Standby 災難還原策略的 成本結構與 復原時間 https://rickhw.github.io/ 13
14. 14 萬事俱備，東風來了 2019/08/23 (Fri) … 那天，我正在度假 … (不在東京)
15. 15 2019/08/23
16. 16 航空界有一個黑暗的祕密， 就是飛航安全通常得靠發生 空難才能提升，本系列要調 查著名的空難事件，找出出 錯的關鍵和原因。
18. Team, 上週五 08/23 (五) AWS 東京機房炸鍋了，影響了公司系統的服務，過程相信大家都映像深刻。雖 然我們撐過了，我們也學到了，但是系統炸鍋總是會發生的，Google 的 SRE (Site Reliability Engineering) 説: Things break; that life. 告訴我們，系統是隨時會有狀況的，也就是大家要知道一件事： 不是我們選擇那一刻，而是那一刻選擇了我們。 我們唯一能做的，就是做好準備。 反脆弱 (Antifragile) 從來不是口號，而是動詞，而且是平常就該準備好的。 因此，今年年底 將舉辦 災難還原演練 (Disaster Recovery) ，模擬哥吉拉登入東京，把機房的鍋弄翻了，藉 由這樣的演練模擬，目的就是希望事先發現我們缺什麼、要做什麼準備、系統的脆弱點 在哪裡。 這是個需要大家一起來努力的任務，但在開始之前，先邀清大家來了解，包含現況、以及目標 ，請各 團隊派代表出席，感謝。 18
19. • 向上溝通 • 演練目標 • 時程規劃 • 進度掌握 • 團隊溝通 • 各系統負責人訪談 • 確認各系統還原方式 • 擬定各系統還原計畫 • 盤點與執行演練前置作業 • 確認還原方式 • 確認當天流程 • 確認資源需求 • 演練費用評估 2019/08 2019/09 2019/10 2019/11 2019/12 • 站立會議 • 執行預演 • 執行演練 • 報告整理 19 計畫 準備 準備 再準備 執行 準備雙十一 年度計畫 成立工作小組，擬訂執行計畫 雙十一 雙十二
21. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 系統與團隊 Conway’s Law 21 • 向上溝通 • 確認演練目標 • 團隊溝通 • 時程規劃 • 各系統負責人訪談 • 確認各系統還原方式 • 擬定各系統還原計畫 • 盤點與執行演練前置作業 • 確認還原方式 • 確認當天流程 • 確認資源需求 • 演練費用評估 2019/08 2019/09 2019/10 2019/11 2019/12 • 站立會議 • 執行預演 • 執行演練 • 報告整理 計畫 準備 準備 再準備 執行
22. 22 300+ 40+ 200+ 機器 服務 團隊 / 個數 / 個 / 人
24. 24 WebStore Data：Database、DynamoDB、S3 OSM Kubernetes Cluster、Message Queue Config、Artifact Management、Gitlab Batch Ingress: Proxy、API Gateway、CloudFront、ELB Payment Infra Data APPs ERP Networking (VPC)、AAA、DC Search CMS Loyalty Compute VM Provisioning、Container Images
25. 服務依賴與邊界 25 K8s Platform ERP WebStore OSM Batch Ingress API Gateway Proxy Load Balancers Tracking CMS Search Engine Notification Service Search API Loyalty Payment iOS Android Desktop Jenkins GitLab Message Queue / AM / CM
26. 26 App Images with Semantic Versioning Hardware / OS Version Linux Tools Windows Features 服務縱深與分工 - VM Based (Windows / Linux) VM Provisioning Infra Team App 部署 - 各服務的團隊 Artifact Repository Config Config
27. 27 Container Images Hardware Kubernetes Platform 服務縱深與分工 - Container-Based VM Provisioning Infra Team App 部署 - 各服務的團隊 Artifact Repository Config Config
28. 訪談：找團隊 (服務) 的痛點 • 協助釐清系統架構 • 釐清服務邊界、服務依賴， 重疊的怎麼辦？ • 找到執行的痛點，不外乎：配 置、資料、建置、部署 • 建立溝通默契與方式，讓成 員更知道彼此 • 找到 DoD，如何測試？ 28
29. 29 如何測試？ Internal DNS demo-shop.91app.com Service A TPE-HQ AWS-91APP us-west-2 DR WiFi Fake DNS Service B Service C
30. 30 09:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 Infra Applications UAT 新聞報導：哥吉拉登陸日本 東京，造成所有網路與服務 中斷。 目標：事故發生 後，六小時還原 系統。
32. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 全面啟動 Bottom up 32 • 向上溝通 • 確認演練目標 • 團隊溝通 • 時程規劃 • 各系統負責人訪談 • 確認各系統還原方式 • 擬定各系統還原計畫 • 盤點與執行演練前置作業 • 確認還原方式 • 確認當天流程 • 確認資源需求 • 演練費用評估 2019/08 2019/09 2019/10 2019/11 2019/12 • 站立會議 • 執行預演 • 執行演練 • 報告整理 計畫 準備 準備 再準備 執行
33. 33 向上溝通 內部 計畫 團隊
34. 站立會議 34 雙十一結束後一 週，每週一、三、 五中午站立。 任務類型分成： - 事前準備 - 偷跑任務 - 當天任務
35. 遇到的問題 35 - 建置問題 - 資源問題 - 測試方法 - 驗收條件 - 配置管理 - 部署策略
36. - 確認大家都知道 測試方法 - 確認哪些要偷跑 - 找到個服務驗證 項目 預演 36
37. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 37 08:00 09:00 10:00 11:00 12:00 13:00 14:00 15:00 Infra Applications UAT 新聞報導：哥吉拉登陸日本 東京，造成所有網路與服務 中斷。 下午 15:05 完成系 統還原。
38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 38 - 現場指揮官 - 整點站立 - 進度跟蹤 - 各服務驗證 - 問題回報 演練當天
39. • 六小時 內把 核心業務系統 從 東京 遷移到 奧勒岡 • 核心業務： Mobile APP 及 客戶官網 可正常瀏覽 確認 首頁、商品頁、分類頁 確認 會員、購物車、完成結帳、成立訂單 確認 登入後台、查詢到該筆訂單 災難演練 業務目標 39
41. 得到 41 團隊 協作 系統 架構
42. 42 面對既有的工程問題 • 服務邊界問題 • 服務依賴盤絲錯節 • 環境建置的問題 • 部署可以再更好 • 配置管理可以再更好 • Artifact Management 的重要
43. 43 團隊 • 團隊凝聚力變強了 • 大家培養了協作的工作方法 • 對系統了解更全面了，包含成本 • 負責的同仁：協作能力變強、表達能力變好了、技術能力提升了
44. 44 執行管理 • 不要執著一定要用什麼技術 • 定義好目標，充分授權 • 做好向上管理與橫向溝通
45. 45 Infrastructure (I) + Artifact (1) + Config (C) + Data (D) Environments =
46. 46 Source Build Artifact Repository Programmers Continuous Integration Continuous Deployment Production Test R&D Deploy WebAPI v2.1.0 WebAPI v2.1.0 Test: Function, Regression, Performance Go Production Build, Pack Code Quality, Unit Test Source WebAPI 20190323_v2.1.0 重新看見 CI / CD 全貌 Config Infrastructure Provisioning Source: https://rickhw.github.io/2019/03/28/DevOps/DevOpsTaiwan-Meetup-Beginning-in-Artifacts-Management/
47. 47 Software Delivery Pipeline (Installation, Deployment) Artifacts (Version, Build, Packing) Infrastructure (OS, Network, Security) Provisioning / Orchestration Configurations (Profile, Settings, Keys) 軟體交付的四大支柱 Source: https://rickhw.github.io/2019/04/04/DevOps/Four-Pillars-of-Software-Delivery/
48. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 不是我們選擇那一刻，而是那一刻選擇了我們 You don’t choose the moment, the moment chooses you! 我們唯一能做的，就是做好準備 You only choose how prepared you are when it does. Mike Burtch Fire Chief source: https://blog.codecentric.de/en/2018/07/chaos-engineering/ 48
49. Thank you! © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 49 Sr. Manager / 91APP 義工 / SRE Taiwan Rick Hwang 2020/01/08
51. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 怎樣的情境，要 啟動 DR Plan？ 51
52. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 事件管理 佈局 指揮體系 分工 52
53. 53 過程發生的問題 • 與雙十一重疊，資源爭奪戰 • 資料同步問題 • 環境建置問題 • 成本問題
54. 54 驗證環境 開發 環境 正式環境