はじめてのCloudFormation

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2 •  石田浩司（@kojiisd） ‒  Acroquest Technology Co., Ltd. ‒  IoTプラットフォーム開発エンジニア ‒ 2012/10～2015/10 ミャンマー支社赴任 ‒ JavaOne 2015 スピーカー ‒ 2016/11 JAWS-UG 横浜支部 ‒ 2016/12 AWS re:Invent 2016 ※2017/01も滞在

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 上司 XXX案件で、Logstashを複数台立てて、S3よりファイルを読み込み、 Elasticsearchにデータを投入したい。たぶんこの辺がポイント。・データ投入時だけ、インスタンスを立てて、投入し終わったら停止。・インスタンスの台数は、毎回変わる。10台の日もあれば50台の日も。・S3のデータの読み込み対象は、毎回変わる。・データのキューとしてKafkaを使うかも。そのため、ECSか、CloudFormationが有効ではないか、と思っていますが、このあたりの構築をヘルプして欲しい。技術解は問わないけど、今週中（5日）くらいで検証して欲しいかな。 ElasticsearchはVer.5系ね。

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 上司 XXX案件で、Logstashを複数台立てて、S3よりファイルを読み込み、 Elasticsearchにデータを投入したい。たぶんこの辺がポイント。・データ投入時だけ、インスタンスを立てて、投入し終わったら停止。・インスタンスの台数は、毎回変わる。10台の日もあれば50台の日も。・S3のデータの読み込み対象は、毎回変わる。・データのキューとしてKafkaを使うかも。そのため、ECSか、CloudFormationが有効ではないか、と思っていますが、このあたりの構築をヘルプして欲しい。技術解は問わないけど、今週中（5日）くらいで検証して欲しいかな。 ElasticsearchはVer.5系ね。

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 上司 XXX案件で、Logstashを複数台立てて、S3よりファイルを読み込み、 Elasticsearchにデータを投入したい。たぶんこの辺がポイント。・データ投入時だけ、インスタンスを立てて、投入し終わったら停止。・インスタンスの台数は、毎回変わる。10台の日もあれば50台の日も。・S3のデータの読み込み対象は、毎回変わる。・データのキューとしてKafkaを使うかも。そのため、ECSか、CloudFormationが有効ではないか、と思っていますが、このあたりの構築をヘルプして欲しい。技術解は問わないけど、今週中（5日）くらいで検証して欲しいかな。 ElasticsearchはVer.5系ね。

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

調査ポイントを整理 1.  インスタンスの一斉立ち上げ ①  コマンド一発で（後々立ち上げはスケジューリング）。 ②  台数の指定は立ち上げ時に指定できるようにする →CloudFormationならできそうだ。 2.  S3へのアクセスパスは毎回異なる ①  EC2インスタンスが起動時にどこにアクセスするかを理解している必要がある。 – ECインスタンス立ち上げ時に自身の役割を理解させる？できる？ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

調査の流れをイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 ※残り2日は予備日で考える。

Slide 21

Slide 21 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 DAY 1 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 DAY 2 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

本当にシンプルなサンプルが見つからなかった。。。 1.  VPC作成をするとか、新規にSG作るとかそういう Too muchなものばかり。 ①  VPCは最初から指定されたものを使いたい ②  SGも同様 ③  画面から選択とかいらないから、まず最小構成でEC2インスタンスを起動するようにしたい 2.  AWS CloudFormation Designerは、使い方を学ぶだけで予定期間使っちゃいそう。。。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 29 このあたりから少しずつ焦り始める

Slide 30

Slide 30 text

必要そうな項目だけWebから引っ張ってきた { "AWSTemplateFormatVersion": "2010-09-09", "Description": "s3 to Elasticsearch template", “Mappings”: {}, "Parameters": { # 基本的にDefault値を設定しておく “ImageId”: {}, "InstanceType" : {}, "Name": {}, "KeyName": {}, "EBSVolumeSize" : {}, "CapacitySize": {}, "S3PathPrefix": {}, "Resources": {}, "Outputs": {} } Copyright © Acroquest Technology Co., Ltd. All rights reserved. 30 必要な項目はこんな感じだったここにEC2インスタンスの設定を書けば OKの模様。

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

AutoScalingしか対応できないの？ 1.  AutoScalingAutoScalingGroupのMaxSizeとMinSizeを一緒にすれば、起動時のインスタンス数を指定可能。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 35 “AutoScalingAutoScalingGroup” : { “Type” : “AWS::AutoScaling::AutoScalingGroup”, “Properties” : { “DesiredCapacity” : { “Ref” : “CapacitySize” }, “LaunchConfigurationName” : { “Ref” : “AutoScalingLaunchConfig” }, “MaxSize” : { “Ref” : “CapacitySize” }, “MinSize” : { "Ref" : "CapacitySize" }, "AvailabilityZones" : [] } } 0.5日足が出た

Slide 36

Slide 36 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 36 DAY 3 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 ※0.5日遅れ

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

ユーザデータに設定して解決！ "UserData" : { "Fn::Base64" : { "Fn::Join" : ["", [ "#!/bin/bash -xe\n", “curl http://169.254.169.254/latest/meta-data/ami-launch-index > /home/ ec2-user/MyIndex.txt\n”, （諸々初期設定スクリプト呼び出し） ]]} }, Copyright © Acroquest Technology Co., Ltd. All rights reserved. 46 下記に併せて起動時のスクリプトも修正 ※さらに0.5日遅れ

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

原因は「起動失敗」→「再起動」時にEBSが残ったこと 1.  度重なるCloudFormation テンプレート修正（起動→失敗→再起動）により、EC2 停止時にEBSが削除されていなかった。 ①  100GB超のEBSが150以上残っていた。 2.  即不要なEBSを削除して事なきを得た。 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 52

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 54 まだあった　DAY 4 DAY 1 •  EC2インスタンスなどの起動対象を準備 •  EC2インスタンスのユーザデータ設定 DAY 2 •  CloudFormationでインスタンス立ち上げ用スタック作成 •  EC2インスタンス数の動的変更調査 DAY 3 •  S3アクセスパス動的割り当て調査 •  全体の疎通確認 DAY 4 ※1日遅れ