EC2 AutoScalingでスケーリングポリシー設定を失敗してうまく行かなった件とその対策

EC2 AutoScalingでスケーリングポリシー設定を失敗してうまく行かなった件とその対策

Transcript

1. EC2 AutoScalingでスケーリングポリシー設定を 失敗してうまく⾏かなった件とその対策 ⽇本IBM ⼿嶋 達也 2023/10/18
2. ⾃⼰紹介 @tterima Teshima-Tatsuya 主なAWS資格
3. ⽬次 • 構成 • オートスケーリングの設定 • 何がダメだったのか • 解決⽅法
4. 構成
5. オートスケーリング要件 オートスケーリンググループ内の 平均CPU利⽤率での スケールイン・スケールアウト サーバ個別の メモリ利⽤率での スケールイン・スケールアウト
6. 結果 分かりますか 負荷急上昇！！
7. パヤ…パヤ… 起動 停⽌ 起動 停⽌ ❌ ❌
8. 何がダメだったのか？ CPU ↑ メモリ↓ うわ、負荷上昇中や アラーム上げるで インスタンス増加や よっしゃ、低負荷や アラーム上げるで インスタンス削減や
9. 何がダメだったのか？ CPU ↑ メモリ↓ うわ、負荷上昇中や アラーム上げるで インスタンス増加や インスタンス増加が成⽴している場合は インスタンス増加を優先したい！ よっしゃ、低負荷や アラーム上げるで インスタンス削減や
10. 解決⽅法は？ 複合条件でポリシーを 設定したいな。 でも、複合条件のポリシーは 作れない。。 詰んだ。。。？
11. 皆さんなら どう考えますか？
12. 解決⽅法（1/2） オートスケーリングポリシーなんて邪道！！ Lambdaで無理やり頑張る！！ １．LambdaでCloudWatchメトリクスを取得 ２．CPU,メモリ使⽤率のうち、上昇している項⽬のみ抽出 ３．スケールアウト発動！
13. 解決⽅法（2/2） CloudWatchアラームには複合アラームがある。 これで、いずれか⼀⽅が負荷上昇中ものを判定 →スケールアウト発動！ OR
14. 解決したけどそれで⼤丈夫？
15. 解決したけどそれで⼤丈夫？ そもそもCPUとメモリで複合アラームを設定すべきなのか？ メモリに関しては、⼀定以上の閾値を超える場合はメモリリーク を起こしている可能性が⾼い。 →インスタンス再起動が最善⼿の可能性もある。 このあたりはしっかりと、メトリクスを計測して、継続して改善 案を探していきましょう！（申し訳程度のSRE要素）
16. 終わり