広告配信サーバーにおけるBlue Green Deploymentの導入事例について \ SpeeeCafeMeetup05

Slide 1

Slide 1 text

広告配信サーバーにおける Blue Green Deployment の導入事例について DC アドテク事業部UZOU エンジニア岩崎裕馬 (@suthio_) SpeeeKaigi / 2017-02-11 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について

Slide 2

Slide 2 text

自己紹介岩崎裕馬（@suthio_）株式会社Speee でネイティブアドの広告システム作ってます 2

Slide 3

Slide 3 text

アジェンダ以前の配信サーバーのデプロイ Blue Green Deployment とは配信サーバーにおけるBlue Green Deployment やってみた結果 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 3

Slide 4

Slide 4 text

広告システムの配信サーバー広告システムの配信サーバーは止まらないことが前提広告はメディアの収益源 -> 止まったらその分補填する Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 4

Slide 5

Slide 5 text

配信サーバー抱えていた課題アプリケーション上の問題により、Graceful Restart ができない ELB から切り離さないとデプロイが行えないミドルウェアに対する変更にリスクがあり、怖くて躊躇してしまう動作確認に時間がかかってしまうミドルウェアアップデートの際に切り戻しができない AWS インフラ変更作業が多く発生インフラ構成変更に時間を多くを使ってしまっている Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 5

Slide 6

Slide 6 text

Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 6

Slide 7

Slide 7 text

1 台ずつELB からインスタンスを切り離す Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 7

Slide 8

Slide 8 text

Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 8

Slide 9

Slide 9 text

Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 9

Slide 10

Slide 10 text

なにが問題かデプロイ時は配信サーバーが1 台少ない状態で動いているデプロイが不安定インフラの構成変更の際に手動などで同様の対応を行う必要がある。 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 10

Slide 11

Slide 11 text

求める配信サーバーリリース作業を安全にできるアプリケーションデプロイミドルウェアアップデート、設定変更 AWS インフラの変更（インスタンスタイプ変更、EBS ディスク拡張等）問題が発生しても対処が簡単に可能リリース前に本番環境に近い状態でのテストが可能不具合のあるアプリケーションをデプロイしてもすぐにロールバックが可能 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 11

Slide 12

Slide 12 text

守るところは守って、攻めた開発がしたい！ Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 12

Slide 13

Slide 13 text

Blue Green Deployment Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 13

Slide 14

Slide 14 text

Blue Green Deployment とは動いている既存のサーバーとは別に、まったく新しいサーバー群を立ち上げて、サーバーが立ち上がったらロードバランサーを切り替えるという考え方 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 14

Slide 15

Slide 15 text

Blue Green Deployment のメリットアプリケーションだけでなくインフラも含めた動作確認ができるユーザ０に公開する前に、本番環境となるサーバーで最終的な動作確認テストができる切り戻しが非常に容易 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 15

Slide 16

Slide 16 text

Blue Green Deployment のデメリットリリースまでの手順が煩雑になるデプロイに時間がかかるインフラコストが少しかさむ一時的に2 倍のインフラコストがかかる Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 16

Slide 17

Slide 17 text

配信サーバーのBlue Green Deployment の手順 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 17

Slide 18

Slide 18 text

AWS だとどうやってBlue Green Deployment を実現するか？ DNS ベースでの切り替え <- 今回は話さない AutoScalingGroup（以下ASG）を使用しての切り替え Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 18

Slide 19

Slide 19 text

Before Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 19

Slide 20

Slide 20 text

After Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 20

Slide 21

Slide 21 text

Blue Green Deployment 実行前 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 21

Slide 22

Slide 22 text

1. プロビジョニング / デプロイ Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 22

Slide 23

Slide 23 text

2. AMI 作成 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 23

Slide 24

Slide 24 text

3. LaunchCon g 作成 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 24

Slide 25

Slide 25 text

4. LaunchCon g をASG に紐付け Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 25

Slide 26

Slide 26 text

5. Desired Capacity 変更 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 26

Slide 27

Slide 27 text

6. Desired Capacity 変更後 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 27

Slide 28

Slide 28 text

7. 切り替え前の状態 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 28

Slide 29

Slide 29 text

8. Standby のASG を紐付ける Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 29

Slide 30

Slide 30 text

9. Active のASG を切り離す Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 30

Slide 31

Slide 31 text

10. タグのUpdate Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 31

Slide 32

Slide 32 text

10. 切り離したASG のDesired Capacity を変更 Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 32

Slide 33

Slide 33 text

やってみた結果ログ欠損も特になく安全にデプロイできている（負荷試験済）デプロイそんな遅くない（6 分~ 10 分）問題が発生してもすぐに対処できるようになったインフラも含めての確認ができるので、リリースに対しての安心感が非常に高まった結果、攻めた開発ができるようになったそもそも前の状態が本当によくなかった Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 33

Slide 34

Slide 34 text

課題現状だとデプロイすると内部のGolang のキャッシュが消えてしまう元々ヒット率高くなかったので問題なかったスケールインする時にログデータ消失のリスクがある自動で安全にスケールインする仕組みになってない Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 34

Slide 35

Slide 35 text

今後現状だとスケールインが手動なので、自動化する Code Deploy を使ってのBlue Green Deployment もやってみたい 1/30 に出たばかりなのでまだ試してない配信サーバー以外のサーバーについても Blue Green Deployment でのDeploy に挑戦そのために常に破棄されても大丈夫な状態のサーバーを作っていきたいログをどこかに集約サーバー自体をステートレスにする Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 35

Slide 36

Slide 36 text

まとめ Blue Green Deployment をやった効果、安全にデプロイする以外の副次的な効果が非常に多かった本質的には簡単にサーバーを捨てれることが非常に重要なにかあったら作り直せばいいという考えにしやすいそもそもステートレスなサーバーにならざるを得ない複雑なデプロイフローを行ってる場合は前提を疑ってみるのもいいかもしれない Speee Cafe Meetup #5 ~ 広告配信サーバーにおけるBlue Green Deployment の導入事例について 36