SNS mixi における EC2 リザーブドインスタンス契約戦略と AWS 移行での Datadog の活用

Transcript

1. 株式会社ミクシィ ヴァンテージスタジオ システム部 北村 聖児 AWS Summit Tokyo 2017 –

   Datadog セッション AWS 移行での Datadog の活用 SNS mixi における EC2 リザーブドインスタンス契約戦略と

2. ◦Datadog 導入を決定した背景 ◦EC2 リザーブドインスタンスについて ◦どのような戦略で購入しているか ◦どのように契約と運用状態の管理しているか • 独自プログラムを作成して Datadog 上で管理している

   • http://github.com/mixi-inc/datadog-aws-ec2-counter • 管理ダッシュボードの紹介 Copyright (C) mixi, Inc. All rights reserved. 2 アジェンダ

3. ◦リリースから13年目のSNSサービス ◦オンプレミスからAWSに移行 ◦移行開始時は 約1,000台のインスタンスで構成 ◦サーバ種別毎に徐々にAWSに移行 ◦AWS Summit Tokyo 2016 で発表

   ◦「10年オンプレで運用したmixiを AWSに移行した10の理由」 https://aws.amazon.com/jp/summit2016-report/ Copyright (C) mixi, Inc. All rights reserved. 3 SNS mixi と AWS

4. ◦mixi のインフラ ◦一部の機能は AWS 移行により マネージドサービスになったが やはり Amazon EC2 が多い

   ◦監視システム ◦既存のものを流用してきた ◦SNMP + Nagios + RRDTool Copyright (C) mixi, Inc. All rights reserved. 4 AWS 移行時の mixi の監視システム 既存監視システム

5. 課題1. 常時起動のサーバを監視することが前提となっている ◦AutoScaling・起動時間固定のサーバの監視ができない 課題2. マネージドサービスの監視の必要性 ◦AWS CloudWatch のモニタリングとデータ保全 • 監視情報は統合された環境で見たい

   Copyright (C) mixi, Inc. All rights reserved. 5 既存監視システムの課題と Datadog 導入背景 AWSの特性を活かすフェーズでの課題 クラウドを監視するには、クラウドに特化し クラウドの変化にも追随できる監視システムが必要である を導入した

6. Copyright (C) mixi, Inc. All rights reserved. 6 Datadog の

   AWS インテグレーション対応サービス Amazon EC2 Amazon EBS Amazon DynamoDB AWS DMS Amazon CloudWatch Amazon CloudSearch Amazon CloudFront Billing & Budgeting Auto Scaling Amazon API Gateway* Amazon ECS Elastic Load Balancing Amazon EFS AWS Storage Gateway Amazon S3 Amazon ElastiCache Amazon Redshift AWS CloudTrail AWS Trusted Advisor AWS KMS AWS WAF Amazon Kinesis Amazon Polly Amazon Machine Learning Amazon SES Amazon SQS Amazon SNS Amazon WorkSpaces AWS IoT Amazon EMR Amazon Kinesis Firehose Amazon Route 53 Amazon RDS AWS OpsWorks Amazon SWF Amazon Lex AWS Elastic Beanstalk AWS Lambda Amazon ECS Spot Fleet

7. 1. 多機能かつ柔軟なグラフ機能、ダッシュボード機能を持つ 2. カスタムメトリクスを利用することで、自由な数値を簡単に可視化ができる Copyright (C) mixi, Inc. All rights

   reserved. 7 Datadog を使ってみた所感 EC2 リザーブドインスタンス(RI)契約管理で活用している Amazon EC2 任意の値を送信

8. ◦AWS 利用料金の約 60% が Amazon EC2 ◦RI を活用することによるコスト削減効果が大きい ◦ 「積極的」

   に RI を購入している Copyright (C) mixi, Inc. All rights reserved. 8 mixi と EC2 リザーブドインスタンス(RI) AWS 利用料金比率 Amazon EC2

9. ◦AWS移行と平行して随時契約を実施 ◦2週間程度運用してみて、常時起動するインスタンスは 月末にまとめて RI 契約 Copyright (C) mixi, Inc. All

   rights reserved. 9 AWS 移行時の EC2 RI 契約方針 AWS移行済みインスタンス数推移と、RI契約タイミングのイメージ 月末 月末 2週間 2週間 オンデマンドインスタンス数 RI RI インスタンス数

10. ◦RI が余ったら？ ◦後から移行したインスタンスに割り当て ◦割引を考慮すると半年程度使えばオンデマンドと利用金額は変わらなく なるため、多少余らせても許容 Copyright (C) mixi, Inc. All

    rights reserved. 10 AWS 移行時の EC2 RI 契約方針 RI の利用状況（過不足）を管理していくことが重要

11. ◦有効な RI 台数の管理の把握が煩雑 ◦特に mixi では積極的な契約をしてきたため • 契約件数が多い (約80件) •

    インスタンスタイプが多い (25種類) Copyright (C) mixi, Inc. All rights reserved. 11 RI 運用の課題 (1) : RI 契約台数の管理が煩雑

12. ◦EC2 レポートでは以下を確認できる ◦インスタンス稼働状況 ◦オンデマンドインスタンス数 ◦リアルタイムではない ◦1〜3日くらいの遅延がある ◦RI 契約の過不足状態を 確認するまで時間がかかる Copyright

    (C) mixi, Inc. All rights reserved. 12 RI 運用の課題 (2) : リアルタイムで状況把握できない ※ 2017年4月以降EC2レポートの機能は コストエクスプローラに統合された オンデマンドインスタンス稼働状況 集計中の状態

13. ◦EC2 レポートでは1日単位でしか確認できない Copyright (C) mixi, Inc. All rights reserved. 13

    RI 運用の課題 (3) : 時間ごとの利用状況が分からない ※ 2017年4月以前はEC2レポートで時間ごとの利用状況が把握できたが、 コストエクスプローラ統合後に確認できなくなった ※ AWS Detailed Billing Reports を集計すれば時間単位での分析は可能 1台24時間の未利用なのか、 24台1時間の未利用なのか、見分けられない

14. 課題(1)：RI 契約台数の管理が煩雑 課題(2)：リアルタイムで状況把握できない 課題(3)：時間ごとの利用状況が分からない Copyright (C) mixi, Inc. All rights

    reserved. 14 RI 運用の課題と対応 AWS API を用いて RI 契約台数／オンデマンドインスタンス数を集計し カスタムメトリクスで送信するプログラムを作成 http://github.com/mixi-inc/datadog-aws-ec2-counter インスタンス 集計プログラム カスタムメトリクス で送信 AWS API

15. Copyright (C) mixi, Inc. All rights reserved. 15 Datadog で

    RI 利用状況をモニタリング

16. Copyright (C) mixi, Inc. All rights reserved. 16 Datadog Dashboard

    サンプル

17. Copyright (C) mixi, Inc. All rights reserved. 17 Datadog Dashboard

    サンプル 稼働インスタンス数 リザーブドインスタンス数 未使用リザーブドインスタンス数 オンデマンドインスタンス数

18. Copyright (C) mixi, Inc. All rights reserved. 18 Datadog Dashboard

    サンプル

19. Copyright (C) mixi, Inc. All rights reserved. 19 Datadog Dashboard

    サンプル

20. Copyright (C) mixi, Inc. All rights reserved. 20 Datadog Dashboard

    サンプル

21. Copyright (C) mixi, Inc. All rights reserved. 21 Datadog Dashboard

    サンプル

22. ◦Datadog の採用で AWS のモニタリング工数削減 ◦より AWS の活用を進めることができる ◦Datadog のグラフ機能、ダッシュボード機能は一見の価値あり ◦カスタムメトリクス利用でアイデアが広がる

    ◦EC2 リザーブドインスタンスの管理ダッシュボードを作成・活用 • http://github.com/mixi-inc/datadog-aws-ec2-counter ◦話してきた内容と関係ないけど Datadog のサポートは日本語で OK Copyright (C) mixi, Inc. All rights reserved. 22 まとめ

23. Copyright (C) mixi, Inc. All rights reserved.