Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ホントにあったAmazon_EC2のコワーイ話.pdf
Search
caad TakaraShinya
August 25, 2024
Technology
0
76
ホントにあったAmazon_EC2のコワーイ話.pdf
caad TakaraShinya
August 25, 2024
Tweet
Share
More Decks by caad TakaraShinya
See All by caad TakaraShinya
生成AIと子どものお手伝い回数管理するWEBアプリ作ってみた
takarashinya
0
65
Next.js LearnのアプリでDB連携してる箇所をAPI化して、Swagger化してみた
takarashinya
0
260
システム開発におけるドキュメントをできるだけGithub Pagesに集約してみた話
takarashinya
0
2.2k
WordpressにAWS Copilot CLIを利用したら利用事例に掲載してもらえた話
takarashinya
2
370
Other Decks in Technology
See All in Technology
Webの技術とガジェットで那須の子ども達にワクワクを! / IoTLT_20250720
you
PRO
0
130
MCPと認可まわりの話 / mcp_and_authorization
convto
2
290
新規事業におけるAIリサーチの活用例
ranxxx
0
170
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.3k
Datasets for Critical Operations by Dataform
kimujun
0
120
ユーザー理解の爆速化とPdMの価値
kakehashi
PRO
1
110
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
330
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
190
2025-07-25 NOT A HOTEL TECH TALK ━ スマートホーム開発の最前線 ━ SOFTWARE
wakinchan
0
170
ecspressoの設計思想に至る道 / sekkeinight2025
fujiwara3
12
2.1k
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
310
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.4k
A Tale of Four Properties
chriscoyier
160
23k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Music & Morning Musume
bryan
46
6.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Gamification - CAS2011
davidbonilla
81
5.4k
Site-Speed That Sticks
csswizardry
10
720
Transcript
ホントにあった Amazon EC2のコワーイ話 Shima Tech Hub#5 by takarake preencoded.png
ホントにあった Amazon EC2のコワーイ話 話 Shima Tech Hub#5 by takarake preencoded.png
皆さんの業務でAmazon EC2は使われていますか? 本日は2019年のある日起こった、予想外の出来事についてお話します。 皆さんのご利用の環境でも発生する可能性はゼロではありません。 これを聞いて実はクラウドって怖いんだと思って帰ってくださいw
自己紹介 • 高良 真也 (XX) ※年齢、知りたい人は聞いてねw • 技術統括本部 マネージャー •
沖縄、ベトナムをまたいで仕事してます • (最近、無料でGCP認定GET )
Amazon EC2とは? クラウドコンピューティング Amazon EC2はAmazonのクラウドコン ピューティングサービスです。オンデマ ンドのコンピューティング能力を提供し 、ユーザーが必要に応じて柔軟に利用で きます。 仮想サーバー
EC2では仮想サーバーをクラウド上で作 成・管理できます。物理的なサーバーを 用意する必要がなく、簡単にスケーリン グできるのが特徴です。 高可用性 AWSのデータセンターには高度な冗長性 があり、サービスの可用性が高いのが魅 力です。障害に強いインフラを実現して います。 preencoded.png
Amazon EC2のオートスケーリング EC2の柔軟なリソース管理 EC2のオートスケーリング機能により、 アプリケーションの需要に合わせてリソ ースを自動的に拡張または縮小できます 需要に合わせたスケールアウト ピーク時のトラフィックにも柔軟に対応 できるよう、EC2のリソースを自動的に スケールアウトできます。
障害に強いインフラ AWSのデータセンターは高度な冗長性を 備えているため、サービスの可用性が高 く、障害に強いインフラを実現できます preencoded.png
コワーイ話の前に・・・ ✓ 2019年の出来事ですが、今は発生しないとは保証できません ✓ あるシステムのインフラ環境にAmazon EC2を利用 ✓ コスト最適化を目的にAutoScalingによる起動数調整していた ✓ 夜中に起動数減
、朝に起動数増 で運用中 preencoded.png
コワーイ話の前に・・・ では参ります preencoded.png
Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 3 4 preencoded.png
Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる
3 4 preencoded.png
Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる
3 原因は???????? ?????????????????? 4 preencoded.png
preencoded.png 2019年 3月 14日のAutoScaling実行結果ログ 翻訳 新しいEC2インスタンスを起動しています。 現在、リクエストされたアベイラビリティゾーン(ap-northeast-1c)に十分なm3.largeのキャパシティがありません。 システムは追加のキャパシティを提供するために作業を行っています。 現在、アベイラビリティゾーンを指定しないか、ap-northeast-1aを選択することでm3.largeのキャパシティを取得できます。EC2インスタ
preencoded.png エッ・・・・・・ってなりませんか????
preencoded.png ※再掲 2019年 3月 14日のAutoScaling実行結果ログ 翻訳 新しいEC2インスタンスを起動しています。 現在、リクエストされたアベイラビリティゾーン(ap-northeast-1c)に十分なm3.largeのキャパシティがありません。 システムは追加のキャパシティを提供するために作業を行っています。 現在、アベイラビリティゾーンを指定しないか、ap-northeast-1aを選択することでm3.largeのキャパシティを取得できます。EC2インスタ
Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる
3 キャパシティ不足の問題 原因は東京リージョンの 特定AZのキャパシティ不足 4 preencoded.png
Amazon EC2のコワーイ話 1 突然のエラー スケールアウト不可でエラーが発生 2 アクセス障害への恐怖 平日営業開始前の発生のため、 稼働リソース不足起因の障害発生 の不安に襲われる
3 キャパシティ不足の問題 原因は東京リージョンの 特定AZのキャパシティ不足 4 preencoded.png 早期対応できず キャパ不足のまま営業時間となり 、CPU負荷アラートが
その後の対応 冷静な分析 即、暫定対応 まずは落ち着いて状況を分析 と言いたいですが、アラートも届いてる ので、手動で別AZへのインスタンス起動とALB接続にて暫定対応 手動対応したサーバを維持しつつ、様子見 特定AZで早朝バッチ等でリソースを別のお客様に抑えられてる ような挙動を確認(〜10:00前後には自動的にエラー解消するため )
2019年 4月 1日に利用するタイプ変更し恒久対応完了 m3.large -> t2.large へ それでも2021年までは年に1度は同じエラーが発生するのを確認 preencoded.png
まとめ 学習の機会 AWSだって、インスタンスのキャパシテ ィは無限大じゃない 共有リソースをシェアして利用? AWSに確認したわけではないが、そんな 挙動でした 起動テンプレートで改善 複数のインスタンスタイプを選択可能なため、 こちらに変更可能だが、コンテナ化をトライ
preencoded.png
preencoded.png
ご静聴ありがとうございました preencoded.png