Slide 1
Slide 1 text
株式会社ミクシィ
ヴァンテージスタジオ システム部 北村 聖児
AWS Summit Tokyo 2017 – Datadog セッション
AWS 移行での Datadog の活用
SNS mixi における
EC2 リザーブドインスタンス契約戦略と
Slide 2
Slide 2 text
○Datadog 導入を決定した背景
○EC2 リザーブドインスタンスについて
○どのような戦略で購入しているか
○どのように契約と運用状態の管理しているか
●
独自プログラムを作成して Datadog 上で管理している
● http://github.com/mixi-inc/datadog-aws-ec2-counter
●
管理ダッシュボードの紹介
Copyright (C) mixi, Inc. All rights reserved.
2
アジェンダ
Slide 3
Slide 3 text
○リリースから13年目のSNSサービス
○オンプレミスからAWSに移行
○移行開始時は
約1,000台のインスタンスで構成
○サーバ種別毎に徐々にAWSに移行
○AWS Summit Tokyo 2016 で発表
○「10年オンプレで運用したmixiを
AWSに移行した10の理由」
https://aws.amazon.com/jp/summit2016-report/
Copyright (C) mixi, Inc. All rights reserved.
3
SNS mixi と AWS
Slide 4
Slide 4 text
○mixi のインフラ
○一部の機能は AWS 移行により
マネージドサービスになったが
やはり Amazon EC2 が多い
○監視システム
○既存のものを流用してきた
○SNMP + Nagios + RRDTool
Copyright (C) mixi, Inc. All rights reserved.
4
AWS 移行時の mixi の監視システム
既存監視システム
Slide 5
Slide 5 text
課題1. 常時起動のサーバを監視することが前提となっている
○AutoScaling・起動時間固定のサーバの監視ができない
課題2. マネージドサービスの監視の必要性
○AWS CloudWatch のモニタリングとデータ保全
●
監視情報は統合された環境で見たい
Copyright (C) mixi, Inc. All rights reserved.
5
既存監視システムの課題と Datadog 導入背景
AWSの特性を活かすフェーズでの課題
クラウドを監視するには、クラウドに特化し
クラウドの変化にも追随できる監視システムが必要である
を導入した
Slide 6
Slide 6 text
Copyright (C) mixi, Inc. All rights reserved.
6
Datadog の AWS インテグレーション対応サービス
Amazon
EC2
Amazon
EBS
Amazon
DynamoDB
AWS DMS
Amazon
CloudWatch
Amazon
CloudSearch
Amazon
CloudFront
Billing
& Budgeting
Auto
Scaling
Amazon API
Gateway*
Amazon
ECS
Elastic Load
Balancing
Amazon EFS
AWS
Storage
Gateway
Amazon
S3
Amazon
ElastiCache
Amazon
Redshift
AWS
CloudTrail
AWS Trusted
Advisor
AWS
KMS
AWS WAF
Amazon
Kinesis
Amazon
Polly
Amazon
Machine
Learning
Amazon
SES
Amazon
SQS
Amazon
SNS
Amazon
WorkSpaces
AWS IoT
Amazon
EMR
Amazon
Kinesis
Firehose
Amazon
Route 53
Amazon
RDS
AWS
OpsWorks
Amazon
SWF
Amazon Lex
AWS
Elastic
Beanstalk
AWS
Lambda
Amazon
ECS
Spot
Fleet
Slide 7
Slide 7 text
1. 多機能かつ柔軟なグラフ機能、ダッシュボード機能を持つ
2. カスタムメトリクスを利用することで、自由な数値を簡単に可視化ができる
Copyright (C) mixi, Inc. All rights reserved.
7
Datadog を使ってみた所感
EC2 リザーブドインスタンス(RI)契約管理で活用している
Amazon
EC2
任意の値を送信
Slide 8
Slide 8 text
○AWS 利用料金の約 60% が Amazon EC2
○RI を活用することによるコスト削減効果が大きい
○ 「積極的」 に RI を購入している
Copyright (C) mixi, Inc. All rights reserved.
8
mixi と EC2 リザーブドインスタンス(RI)
AWS 利用料金比率
Amazon EC2
Slide 9
Slide 9 text
○AWS移行と平行して随時契約を実施
○2週間程度運用してみて、常時起動するインスタンスは
月末にまとめて RI 契約
Copyright (C) mixi, Inc. All rights reserved.
9
AWS 移行時の EC2 RI 契約方針
AWS移行済みインスタンス数推移と、RI契約タイミングのイメージ
月末 月末
2週間
2週間
オンデマンドインスタンス数
RI
RI
インスタンス数
Slide 10
Slide 10 text
○RI が余ったら？
○後から移行したインスタンスに割り当て
○割引を考慮すると半年程度使えばオンデマンドと利用金額は変わらなく
なるため、多少余らせても許容
Copyright (C) mixi, Inc. All rights reserved.
10
AWS 移行時の EC2 RI 契約方針
RI の利用状況（過不足）を管理していくことが重要
Slide 11
Slide 11 text
○有効な RI 台数の管理の把握が煩雑
○特に mixi では積極的な契約をしてきたため
●
契約件数が多い (約80件)
●
インスタンスタイプが多い (25種類)
Copyright (C) mixi, Inc. All rights reserved.
11
RI 運用の課題 (1) : RI 契約台数の管理が煩雑
Slide 12
Slide 12 text
○EC2 レポートでは以下を確認できる
○インスタンス稼働状況
○オンデマンドインスタンス数
○リアルタイムではない
○1〜3日くらいの遅延がある
○RI 契約の過不足状態を
確認するまで時間がかかる
Copyright (C) mixi, Inc. All rights reserved.
12
RI 運用の課題 (2) : リアルタイムで状況把握できない
※ 2017年4月以降EC2レポートの機能は
コストエクスプローラに統合された オンデマンドインスタンス稼働状況
集計中の状態
Slide 13
Slide 13 text
○EC2 レポートでは1日単位でしか確認できない
Copyright (C) mixi, Inc. All rights reserved.
13
RI 運用の課題 (3) : 時間ごとの利用状況が分からない
※ 2017年4月以前はEC2レポートで時間ごとの利用状況が把握できたが、
コストエクスプローラ統合後に確認できなくなった
※ AWS Detailed Billing Reports を集計すれば時間単位での分析は可能
1台24時間の未利用なのか、
24台1時間の未利用なのか、見分けられない
Slide 14
Slide 14 text
課題(1)：RI 契約台数の管理が煩雑
課題(2)：リアルタイムで状況把握できない
課題(3)：時間ごとの利用状況が分からない
Copyright (C) mixi, Inc. All rights reserved.
14
RI 運用の課題と対応
AWS API を用いて
RI 契約台数／オンデマンドインスタンス数を集計し
カスタムメトリクスで送信するプログラムを作成
http://github.com/mixi-inc/datadog-aws-ec2-counter
インスタンス
集計プログラム
カスタムメトリクス
で送信
AWS API
Slide 15
Slide 15 text
Copyright (C) mixi, Inc. All rights reserved.
15
Datadog で RI 利用状況をモニタリング
Slide 16
Slide 16 text
Copyright (C) mixi, Inc. All rights reserved.
16
Datadog Dashboard サンプル
Slide 17
Slide 17 text
Copyright (C) mixi, Inc. All rights reserved.
17
Datadog Dashboard サンプル
稼働インスタンス数
リザーブドインスタンス数 未使用リザーブドインスタンス数
オンデマンドインスタンス数
Slide 18
Slide 18 text
Copyright (C) mixi, Inc. All rights reserved.
18
Datadog Dashboard サンプル
Slide 19
Slide 19 text
Copyright (C) mixi, Inc. All rights reserved.
19
Datadog Dashboard サンプル
Slide 20
Slide 20 text
Copyright (C) mixi, Inc. All rights reserved.
20
Datadog Dashboard サンプル
Slide 21
Slide 21 text
Copyright (C) mixi, Inc. All rights reserved.
21
Datadog Dashboard サンプル
Slide 22
Slide 22 text
○Datadog の採用で AWS のモニタリング工数削減
○より AWS の活用を進めることができる
○Datadog のグラフ機能、ダッシュボード機能は一見の価値あり
○カスタムメトリクス利用でアイデアが広がる
○EC2 リザーブドインスタンスの管理ダッシュボードを作成・活用
● http://github.com/mixi-inc/datadog-aws-ec2-counter
○話してきた内容と関係ないけど Datadog のサポートは日本語で OK
Copyright (C) mixi, Inc. All rights reserved.
22
まとめ
Slide 23
Slide 23 text
Copyright (C) mixi, Inc. All rights reserved.