モバイルゲームにおけるカオスエンジニアリング実践に向けて

2018/12/04 Amazon Game Developers Day 2018

Transcript

1. © Cygames,Inc.
2. © Cygames,Inc. Frontend Engineer HTML5, JS,CSS 2013 Backend Engineer PHP, Mysql, Linux, Shell script…. 2014 2015 Infrastructure Engineer Nginx, Bigquery, Appengine, Python, Go, Kafka 2016 2017 Pagerduty, Chaos engineering 2018 Who am I 株式会社Cygames インフラエンジニア 和田 明久 • Toil削減・自動化 • CI/CDフロー改善 • カオスエンジニアリング • オンコール Lambda function, ECS, Athena
3. © Cygames,Inc. AGENDA • なぜ導入したか • カオスエンジニアリングとは • カオスエクスペリメント事例 ◦ 開発フェーズにおいて ◦ インフラチームにおいて • まとめと今後の展望
4. © Cygames,Inc. なぜ導入したか 運用タイトルが年々スケール ↓ サービス運用中の障害発生は不可避 ↓ プロアクティブな障害対応
5. © Cygames,Inc.
6. © Cygames,Inc. デイリーで50件前後のインシデントやアラート
7. © Cygames,Inc. 我々が直面した障害例... インパクト TTR 内容 サービス停止 6 hour ELBとWebサーバ間でセッション滞留発生 データ不整合 1 day ログをインサートしている Auroraでデータ不整合が発生した データ不整合 1 day 分散トランザクションのテスト漏れ 一部ユーザ ~ 2min RDS Failover 一部ユーザ ~ 2min VMホスト障害
8. © Cygames,Inc. 大規模な障害が発生すると • ゲームブランドに対する信頼低下 • ユーザエクスペリエンスの低下 • 機会損失
9. © Cygames,Inc. データ引用元 https://www.jolt.co.uk/blog/outage-outrage/
10. © Cygames,Inc. 障害発生を事前対処したい
11. © Cygames,Inc. カオスエンジニアリング？
12. “Chaos Engineering is the discipline of experimenting on a distributed system in order to build confidence in the system’s capability to withstand turbulent conditions in production.” http://principlesofchaos.org/
13. “Chaos Engineering is the discipline of experimenting on a distributed system in order to build confidence in the system’s capability to withstand turbulent conditions in production.” http://principlesofchaos.org/ 検証の規律 不安定な状態にも耐えうる
14. https://www.flickr.com/search/?q=injection&l=4
15. https://www.flickr.com/search/?license=4&advanced=1&text=firedrill
16. © Cygames,Inc. Chaos in Practice 定常状態を仮定する 仮説を構築する 故障を発生させる 反証をあげる
17. © Cygames,Inc. Step1 定常状態を仮定する システムの振舞いを示す指標を用いて定常状態を定義 e.g. CPU Usage < 60% Connection < 2000 Latency 99th < 5s
18. © Cygames,Inc. Step 2 仮説を構築する 定常状態が通常と実験グループで継続する仮説を構築 e.g. • EC2 インスタンスが全対比1%停止しても稼働率は99.99% • CPU Usage 80 % 超過しても平均レイテンシーは 200ms 以内 • RDS で Failover が発生してもロールバックが正常実行
19. © Cygames,Inc. Step 3 故障を発生させる 実際に起きうるイベントをシステムに付加する e.g. インスタンス 停止 Network 遮断 CPU Usage 100%
20. © Cygames,Inc. Step 4 反証をあげる 通常と実験グループのシステム出力を振り返り反証をあげる • 反証された場合 ◦ 同様のイベントに対する対策 ◦ 構成変更やプログラム修正を行う • 反証されない場合 ◦ さらに故障度を上げても同様の振る舞いになるか
21. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop
22. © Cygames,Inc. その他 • 文化・書籍・ツールなど https://github.com/dastergon/awesome-chaos-engineering • Chaos Conf 2018 https://www.youtube.com/playlist?list=PLLIx5ktghjqKtZdfDDy uJrlhC-ICfhVAN
23. © Cygames,Inc. まとめると • ITシステムの障害訓練 • 信頼性・可用性・保守性 の向上 • システムを無秩序に故障させることではない
24. © Cygames,Inc. カオスエクスペリメント事例
25. © Cygames,Inc. 実施対象 開発環境もしくはサービス影響のないシステムが対象 • 運用タイトルの本番環境では未実施 • 運用タイトルの開発環境で実施 • ゲームサービス以外で実施
26. © Cygames,Inc. 実施対象 https://aws.amazon.com/compliance/shared-responsibility-model/
27. © Cygames,Inc. モニタリング方法 ツール 対象 例 Mackerel Resource CPU・Memory・Disk Usage NewRelic Processing PHP・Memcached・Mysql 処理時間 ElasticSearch Response AVG/MEDIAN/95th/99th Web Server Response Time
28. © Cygames,Inc. Mackerel
29. © Cygames,Inc. New Relic
30. © Cygames,Inc. Elastic Search Service
31. © Cygames,Inc. カオスエクスペリメント事例 ~開発フェーズにおいて~
32. © Cygames,Inc. カオスチーム編成 アドバイザー 1 マネ・サブマネ陣 5 インフラ 2
33. © Cygames,Inc. 実施方法 • タスクフォース的に招集 • 週1回MTGで反省と今後のアクション決定 • 構成はビジネスサイド以外 • 期間は最長で9ヶ月のもの
34. © Cygames,Inc. 実験対象のアーキテクチャ • WEB / Cache / Database • モノリスな構成 • リクエスト数は実験内容に依存
35. © Cygames,Inc. Internet AWS Cloud
36. © Cygames,Inc. AWS Cloud Internet cache proxy web
37. © Cygames,Inc. 故障方法例 ※ https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Managing.FaultInjectionQueries.html コンポーネント イベント EC2 Stop, Reboot ElastiCache Stop, Reboot ECS Stop Task RDS(Mysql) Reboot, Failover RDS(Aurora) Reboot, Failover, Fault Injection Queries (※) Network Switch Security Group, Network ACL Allow / Deny
38. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop
39. © Cygames,Inc. 事例1　RDS Failover
40. © Cygames,Inc. AWS Cloud Internet cache proxy web
41. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop 99th percentile < 5s 正常に ロールバックされる 反証された RDS Failover
42. © Cygames,Inc. 事例1 振り返り • 結果 ◦ リクエストはタイムアウト ◦ 部分的にロールバック ◦ 同一性が崩れるパターンが発生 • アクション ◦ テーブルを水平分割 ◦ 同一ユーザのデータは同一DBへ保存 ◦ セッションが滞留するためカーネルパラメーターを調整
43. © Cygames,Inc. 事例2　ElastiCache Reboot
44. © Cygames,Inc. AWS Cloud Internet cache proxy web
45. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop 99th percentile < 5s 起動中のElastiCacheに 切替る 反証された ElastiCache Reboot
46. © Cygames,Inc. 事例2 ElastiCache Reboot • 結果 ◦ Cache Proxyの状態がサーバごとに異なりキー分散の不整合が発生 • アクション ◦ Cache Proxyの状態が異常なサーバをELBから除外
47. © Cygames,Inc. 事例3　EC2 上のプロセス停止
48. © Cygames,Inc. AWS Cloud Internet cache proxy web
49. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop 99th percentile < 5s Return 200s マスターデータ参照 反証された WEBサーバ上 Cache Process停止
50. © Cygames,Inc. 事例3 EC2 上のプロセス停止 • 結果 ◦ キャッシュ接続エラーで後続処理に移らなかった ◦ SPOF • アクション ◦ 冗長化 ◦ ALB health_check にてローカルキャッシュの接続性確認する
51. © Cygames,Inc. 実験はさらに膨大化 • 示した事例はごく一部 • 障害パターンは増加 • 障害対応フローチャートも作成
52. © Cygames,Inc. Chaos Sheet 数百項目に...
53. © Cygames,Inc. 障害発生時の対応フローチャート
54. © Cygames,Inc. 本環境に適用されたこと • シングルポイント冗長化 • カーネルパラメーター最適化 • DB設計変更 • ALB health check の詳細実装
55. © Cygames,Inc. 章まとめ • ロジック内・外における脆弱性を認識 • 発生しがちな故障イベントに対する事前対策 • 障害発生時の対応フローを構築
56. © Cygames,Inc. カオスエクスペリメント事例 ~インフラチームでの事例~
57. © Cygames,Inc. インフラカオスチーム編成 サブマネ 1 インフラ 1
58. © Cygames,Inc. インフラチームの領域 • オンプレ運用・監視 • クラウド運用・監視 • オンコール対応 • ログ収集基盤 • MW・クラウドサービス導入支援 • ...etc
59. © Cygames,Inc. 実施対象 • サービス影響厳禁 • 手をつけられるところからやろう • ログの解析ツールへのロード処理を ECS化していた
60. © Cygames,Inc. 事例 ECS Task の停止
61. © Cygames,Inc. AWS Cloud Instances ECS Containers Elastic Search Service へのログインポート処理
62. © Cygames,Inc. 定常状態 仮説反証 故障発生 仮説構築 Chaos Loop Received ≒ Deleted Load Latency < 60s Taskが停止しても ロード処理に無影響 反証されなかった ECS Task 停止
63. © Cygames,Inc. 事例 ECS Task の停止 • 結果 ◦ SQS Deleted と Received は変化なし・遅延も数秒以下 ◦ Task 数が多い可能性示唆 • アクション ◦ 故障率を上げても同様の結果になるか確認する
64. © Cygames,Inc. 章まとめ • できるところからやっている • 仮説通りのポジティブな結果だと安心 • 指標化が不十分な箇所が明確化
65. © Cygames,Inc. まとめと今後の展望
66. © Cygames,Inc. 導入によるメリット • 信頼性・可用性・保守性の向上 • SPOF・脆弱性認知 • 障害発生を前提としたコード実装
67. © Cygames,Inc. AWSだから手軽にできた • インスタンス起動・停止 • NW遮断 • DB Failover • ECS task 起動・停止
68. © Cygames,Inc. プロダクション環境で実践するための課題 • プロダクトチームとの交渉 • モノリスからマイクロサービスへ • 影響範囲の最小化 • 自動化
69. © Cygames,Inc. 今後 • Failure Fastな設計推進 • マイクロサービス化推進 • カオスエンジニアリング推進
70. © Cygames,Inc. We are hiring chaos engineer !!
71. Thank you!