ホントにあったAmazon_EC2のコワーイ話.pdf

Transcript

1. ホントにあった Amazon EC2のコワーイ話 Shima Tech Hub#5 by takarake preencoded.png
2. ホントにあった Amazon EC2のコワーイ話 話 Shima Tech Hub#5 by takarake preencoded.png 皆さんの業務でAmazon EC2は使われていますか？ 本日は2019年のある日起こった、予想外の出来事についてお話します。 皆さんのご利用の環境でも発生する可能性はゼロではありません。 これを聞いて実はクラウドって怖いんだと思って帰ってくださいｗ
3. 自己紹介 • 高良 真也 (XX) ※年齢、知りたい人は聞いてねｗ • 技術統括本部 マネージャー • 沖縄、ベトナムをまたいで仕事してます • (最近、無料でGCP認定GET )
4. Amazon EC2とは? クラウドコンピューティング Amazon EC2はAmazonのクラウドコン ピューティングサービスです。オンデマ ンドのコンピューティング能力を提供し 、ユーザーが必要に応じて柔軟に利用で きます。 仮想サーバー EC2では仮想サーバーをクラウド上で作 成・管理できます。物理的なサーバーを 用意する必要がなく、簡単にスケーリン グできるのが特徴です。 高可用性 AWSのデータセンターには高度な冗長性 があり、サービスの可用性が高いのが魅 力です。障害に強いインフラを実現して います。 preencoded.png
5. Amazon EC2のオートスケーリング EC2の柔軟なリソース管理 EC2のオートスケーリング機能により、 アプリケーションの需要に合わせてリソ ースを自動的に拡張または縮小できます 需要に合わせたスケールアウト ピーク時のトラフィックにも柔軟に対応 できるよう、EC2のリソースを自動的に スケールアウトできます。 障害に強いインフラ AWSのデータセンターは高度な冗長性を 備えているため、サービスの可用性が高 く、障害に強いインフラを実現できます preencoded.png
6. コワーイ話の前に・・・ ✓ 2019年の出来事ですが、今は発生しないとは保証できません ✓ あるシステムのインフラ環境にAmazon EC2を利用 ✓ コスト最適化を目的にAutoScalingによる起動数調整していた ✓ 夜中に起動数減 、朝に起動数増 で運用中 preencoded.png
7. コワーイ話の前に・・・ では参ります preencoded.png
8. Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 3 4 preencoded.png
9. Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる 3 4 preencoded.png
10. Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる 3 原因は？？？？？？？？ ？？？？？？？？？？？？？？？？？？ 4 preencoded.png
11. preencoded.png 2019年 3月 14日のAutoScaling実行結果ログ 翻訳 新しいEC2インスタンスを起動しています。 現在、リクエストされたアベイラビリティゾーン（ap-northeast-1c）に十分なm3.largeのキャパシティがありません。 システムは追加のキャパシティを提供するために作業を行っています。 現在、アベイラビリティゾーンを指定しないか、ap-northeast-1aを選択することでm3.largeのキャパシティを取得できます。EC2インスタ
12. preencoded.png エッ・・・・・・ってなりませんか？？？？
13. preencoded.png ※再掲 2019年 3月 14日のAutoScaling実行結果ログ 翻訳 新しいEC2インスタンスを起動しています。 現在、リクエストされたアベイラビリティゾーン（ap-northeast-1c）に十分なm3.largeのキャパシティがありません。 システムは追加のキャパシティを提供するために作業を行っています。 現在、アベイラビリティゾーンを指定しないか、ap-northeast-1aを選択することでm3.largeのキャパシティを取得できます。EC2インスタ
14. Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる 3 キャパシティ不足の問題 原因は東京リージョンの 特定AZのキャパシティ不足 4 preencoded.png
15. Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる 3 キャパシティ不足の問題 原因は東京リージョンの 特定AZのキャパシティ不足 4 preencoded.png 早期対応できず キャパ不足のまま営業時間となり 、CPU負荷アラートが
16. その後の対応 冷静な分析 即、暫定対応 まずは落ち着いて状況を分析 と言いたいですが、アラートも届いてる ので、手動で別AZへのインスタンス起動とALB接続にて暫定対応 手動対応したサーバを維持しつつ、様子見 特定AZで早朝バッチ等でリソースを別のお客様に抑えられてる ような挙動を確認(〜10:00前後には自動的にエラー解消するため ) 2019年 4月 1日に利用するタイプ変更し恒久対応完了 m3.large -> t2.large へ それでも2021年までは年に１度は同じエラーが発生するのを確認 preencoded.png
17. まとめ 学習の機会 AWSだって、インスタンスのキャパシテ ィは無限大じゃない 共有リソースをシェアして利用？ AWSに確認したわけではないが、そんな 挙動でした 起動テンプレートで改善 複数のインスタンスタイプを選択可能なため、 こちらに変更可能だが、コンテナ化をトライ preencoded.png
18. preencoded.png
19. ご静聴ありがとうございました preencoded.png