Yahoo砲に耐えられるインフラの話

Yahoo砲に耐えられるインフラの話 2016/11/02

アジェンダ • 自己紹介 • Yahoo砲に耐えられていなかった歴史 • Yahoo砲に耐えられるインフラへ • おわりに

自己紹介 2014年10月入社技術部SREチーム 2008年ぐらいからインフラ周りサッカーや登山してます twitter : @_tusui

Yahoo砲に耐えられていなかった歴史　　　2012年6月　弁護士ドットコムニュース　　　　　　　　　Yahoo配信開始

Yahoo砲に耐えられていなかった歴史最初期のサーバ構成 (多分) 前提：環境はAWSです

Yahoo砲に耐えられていなかった歴史初めてのYahooトピックス掲載コンプガチャ返金請求は可能？

Yahoo砲に耐えられていなかった歴史結果：　サービスダウン

Yahoo砲に耐えられていなかった歴史このときの限界：　　　　500 セッション(GoogleAnalytics) 　　　　50 Mbps これぐらいで落ちてしまっていた……

Yahoo砲に耐えられていなかった歴史対策1：スケールアウト

Yahoo砲に耐えられていなかった歴史 AWS Auto Scaling • WebAppサーバのスケールアウト • CloudWatchと組合せ • Latencyに閾値設定して発動
• 通常時WebAppサーバ2〜6台

Yahoo砲に耐えられていなかった歴史対策2： CDN + htmlキャッシュ

Yahoo砲に耐えられていなかった歴史 AWS CloudFront • 静的ファイルの配信 htmlキャッシュ • ニュース記事のhtmlを作成し、それを返す •
Apacheと少しのPHP処理だけで返す

Yahoo砲に耐えられていなかった歴史どうなったか

Yahoo砲に耐えられていなかった歴史結果：　サービスダウン

Yahoo砲に耐えられていなかった歴史このときの限界：　　　3000 セッション(GoogleAnalytics) 　　　 300 Mbps

Yahoo砲に耐えられていなかった歴史原因 AutoScaleよりアクセス増の方が早い

Yahoo砲に耐えられていなかった歴史 • 全然間に合わない ◦ サーバ起動にも時間がかかる ◦ swap作成など • ELBのスケールアップも間に合わないときがある (と思っている)
• WebAppサーバの数さえ増やせればさばける ◦ DBがボトルネックになるサービス規模ではない

Yahoo砲に耐えられていなかった歴史結局どう対応していたか？

Yahoo砲に耐えられていなかった歴史 • YahooのページとGoogle Analyticsを監視 ◦ Yahoo掲載情報をチャットに通知 ◦ 同時セッション数をチャットに通知 ▪ 流入が増えそうならば、手動で
AutoScaleの設定変更 ▪ 大丈夫そうならそのまま

Yahoo砲に耐えられていなかった歴史 Autoとは？

Yahoo砲に耐えられるインフラへ 2015年　　Yahoo砲に耐えられるインフラへ　　　　　改善着手今までインフラ専任の人はいなかった

Yahoo砲に耐えられるインフラへ何をしたか？

Yahoo砲に耐えられるインフラへ • カーネルパラメータのチューニング ◦ somaxconn ◦ tcp_tw_reuse など • Varnishを前方に配置
◦ ニュース記事ページをキャッシュ ▪ WebAppサーバまでいかせない ◦ CloudFrontが返していたファイルもキャッシュ ◦ 動的生成するものも短時間キャッシュ

Yahoo砲に耐えられるインフラへ • Varnishサーバ ◦ 2台 ◦ 中にnginxも • WebAppサーバ ◦
5〜6台

Yahoo砲に耐えられるインフラへどうなったか

Yahoo砲に耐えられるインフラへ結果：　耐えられるように　なった

Yahoo砲に耐えられるインフラへ • 雑談しながら見てる • サーバ台数もそのまま

Yahoo砲に耐えられるインフラへ今のところの実績：　　　27000 セッション(GoogleAnalytics) 　　　　 1.5 Gbpsくらい

おわりに今後の展望 • Infrastructure as Code ◦ サーバテストのCI • 適材適所なアーキテクチャ
◦ microservice ◦ Dockerなど • セキュリティ対策の自動化

おわりにご清聴ありがとうございました

Yahoo砲に耐えられるインフラの話

Yahoo砲に耐えられるインフラの話

tusui

Other Decks in Programming

Featured

Transcript