はじめてのCloudFormation

自己紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
2 •  石田浩司（@kojiisd） ‒  Acroquest Technology Co., Ltd. ‒  IoTプラットフォーム開発エンジニア ‒ 2012/10～2015/10 ミャンマー支社赴任 ‒ JavaOne 2015 スピーカー ‒ 2016/11 JAWS-UG 横浜支部 ‒ 2016/12 AWS re:Invent 2016 ※2017/01も滞在

作り側の人間です Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4
ある日の作業中

上司 XXX案件で、Logstashを複数台立てて、S3よりファイルを読み込み、 Elasticsearchにデータを投入したい。たぶんこの辺がポイント。・データ投入時だけ、インスタンスを立てて、投入し終わったら停止。・インスタンスの台数は、毎回変わる。10台の日もあれば50台の日も。・S3のデータの読み込み対象は、毎回変わる。・データのキューとしてKafkaを使うかも。そのため、ECSか、CloudFormationが有効ではないか、と思っていますが、このあたりの構築をヘルプして欲しい。技術解は問わないけど、今週中（5日）くらいで検証して欲しいかな。 ElasticsearchはVer.5系ね。

Logstash Elasticsearch S3 Kafka ECS CloudFormation ← OK ← OK ← OK ← たぶん大丈夫 ← OK ← 知らん 4.5/6

きちんと言われた内容を確認しようと後で後悔しました。

・・・ということを学べた経験の共有

いったんやりたいことを整理

やりたいことを整理するとこんな感じ？ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
12 ・・・当時Ver.5系が AWSになかったので EC2インスタンスを利用

調査ポイントを整理 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
14 ・・・ ECS? CloudFormation? 必要な時に必要な分だけ立ち上がって処理開始アクセスパスが毎回、インスタンス毎に変わる

パッと考えた感じ ECSより CloudFormationかなぁ

調査ポイントを整理 1.  インスタンスの一斉立ち上げ ①  コマンド一発で（後々立ち上げはスケジューリング）。 ②  台数の指定は立ち上げ時に指定できるようにする →CloudFormationならできそうだ。 2.  S3へのアクセスパスは毎回異なる
①  EC2インスタンスが起動時にどこにアクセスするかを理解している必要がある。 – ECインスタンス立ち上げ時に自身の役割を理解させる？できる？ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16

ま、CloudFormationで

ゴールイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
18 ・・・検証するだけなので一旦Kafkaは構成から抜く

ゴールイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
19 ・・・ ※最終的にはEMRを使うようになります。

調査の流れをイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
20 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 ※残り2日は予備日で考える。

DAY 1 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認

EC2インスタンスなどの起動対象を準備 EC2インスタンスのユーザデータ設定

特に問題なかったので SKIP (・ω<)

DAY 2 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認

CloudFormationでインスタンス立ち上げ用スタック作成 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
25 とりあえずわからないことだらけ

26 とりあえずわからないことだらけ Webでそれっぽいサンプル探して改修しようかな

27 とりあえずわからないことだらけ Webでそれっぽいサンプル探して改修しようかな都合の良いサンプルなんか大体ない

エンジニアあるある

本当にシンプルなサンプルが見つからなかった。。。 1.  VPC作成をするとか、新規にSG作るとかそういう Too muchなものばかり。 ①  VPCは最初から指定されたものを使いたい ②  SGも同様 ③ 
画面から選択とかいらないから、まず最小構成でEC2インスタンスを起動するようにしたい 2.  AWS CloudFormation Designerは、使い方を学ぶだけで予定期間使っちゃいそう。。。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 29 このあたりから少しずつ焦り始める

必要そうな項目だけWebから引っ張ってきた { "AWSTemplateFormatVersion": "2010-09-09", "Description": "s3 to Elasticsearch template", “Mappings”:
{}, "Parameters": { # 基本的にDefault値を設定しておく “ImageId”: {}, "InstanceType" : {}, "Name": {}, "KeyName": {}, "EBSVolumeSize" : {}, "CapacitySize": {}, "S3PathPrefix": {}, "Resources": {}, "Outputs": {} } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30 必要な項目はこんな感じだったここにEC2インスタンスの設定を書けば OKの模様。

EC2インスタンスの設定は一つずつ記述が必要毎回必要数分インスタンス設定を書く必要有動的にインスタンス数変更不可

Copyright © Acroquest Technology Co., Ltd. All rights reserved. CloudFormationだけでEC2イ
ンスタンス数の動的変更難しいですね。Terraform使えば・・・上司 CloudFormationだけで実現できるといいよね。

CloudFormationだけで

AutoScaling AutoScalingGroup

AutoScalingしか対応できないの？ 1.  AutoScalingAutoScalingGroupのMaxSizeとMinSizeを一緒にすれば、起動時のインスタンス数を指定可能。 Copyright © Acroquest Technology Co., Ltd.
All rights reserved. 35 “AutoScalingAutoScalingGroup” : { “Type” : “AWS::AutoScaling::AutoScalingGroup”, “Properties” : { “DesiredCapacity” : { “Ref” : “CapacitySize” }, “LaunchConfigurationName” : { “Ref” : “AutoScalingLaunchConfig” }, “MaxSize” : { “Ref” : “CapacitySize” }, “MinSize” : { "Ref" : "CapacitySize" }, "AvailabilityZones" : [] } } 0.5日足が出た

DAY 3 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 ※0.5日遅れ

S3アクセスパス動的割り当て調査

これが大変だった・・・

1回目の起動はこうでも・・・ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
39

2回目はこうなるかもしれない Copyright © Acroquest Technology Co., Ltd. All rights reserved.
40

Copyright © Acroquest Technology Co., Ltd. All rights reserved. どうやって自動起動したEC2
インスタンスに自分の役割を認識させたらいいんだよ・・・。無責任な先輩Lambda信者 Lambda書けLambda。シュッとやればOK。

せめて一斉起動時の起動順番がわかれば対応できるんだけど・・・

起動順番とパスを紐づけておけば対応できる Copyright © Acroquest Technology Co., Ltd. All rights reserved.
43 1st -> 01/xxx  2nd -> 02/xxx  3rd -> 03/xxx  4th -> 04/xxx  5th -> 05/xxx  6th -> 06/xxx ① ② ③ ④ ⑤ ⑥

ami-launch-index

ami-launch-indexとは？ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
45

ユーザデータに設定して解決！ "UserData" : { "Fn::Base64" : { "Fn::Join" : ["",
[ "#!/bin/bash -xe\n", “curl http://169.254.169.254/latest/meta-data/ami-launch-index > /home/ ec2-user/MyIndex.txt\n”, （諸々初期設定スクリプト呼び出し） ]]} }, Copyright © Acroquest Technology Co., Ltd. All rights reserved. 46 下記に併せて起動時のスクリプトも修正 ※さらに0.5日遅れ

プロジェクトに報告入れてミッション完了 ※1日遅れ

と、思いきや

CloudFormationで起動失敗した場合に EBSが残っていた

原因は「起動失敗」→「再起動」時にEBSが残ったこと 1.  度重なるCloudFormation テンプレート修正（起動→失敗→再起動）により、EC2 停止時にEBSが削除されていなかった。 ①  100GB超のEBSが150以上残っていた。
2.  即不要なEBSを削除して事なきを得た。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 52

EBSの残骸に気を付けましょう ※監視するだろう普通、というのは置いておいて・・・。　時間なかったんで勘弁してほしい。

まだあった　DAY 4 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 DAY 4 ※1日遅れ

調査したら確かに 11個目からパスが重複 ami-launch-indexが 11個目から”0”スタート

嫌な予感

助けてサポートセンター！

Auto Scaling 側の挙動で、キャパシティが10以上に指定された場合は10台ずつインスタンスを立ち上げるようになってるよー。サポートセンター無慈悲な仕様による制限

ただ救いの手が！ ※この相談（待ち）の間にEMRにプロジェクト方針決定案1: DynamoDB のアトミックカウンタを使って採番する案2: SQS と組み合わせてワーカーのようなアーキテクチャを構成する案3: Amazon EMR を使用するサポートセンター

今回学んだこと 1.  CloudFormationは本当に便利 2.  利用時に関連するサービスの監視（ゴミが残らないかなど）は必須 3.  メタデータを利用して効率的なEC2インスタンス運用 4.  何か困ったらすぐサポートセンターに助けを求めよう！

Infrastructures Evolution ご清聴ありがとうございました

はじめてのCloudFormation

はじめてのCloudFormation

More Decks by Koji Ishida

Other Decks in Technology

Featured

Transcript