DevOps実装初期フェーズの組織がTerraformとecspressoで求めるAmazon ECS CICDの最適解/AWS ECS CICD with Terraform and ecspresso

by Tocyuki

Slide 1

Slide 1 text

DevOps実装初期フェーズの組織が Terraformとecspressoで求める Amazon ECS CI/CDの最適解

Slide 2

Slide 2 text

自己紹介名前：Tocyuki（としゆき）所属：株式会社トラストバンク　　　CTO室 SRE 経歴：Network→Infra→SRE 趣味：ギター、柔術（紫帯） SNS：@Tocyuki 2

Slide 3

Slide 3 text

会社紹介

Slide 4

Slide 4 text

会社概要 4 資本金　122,243,816円親会社　株式会社チェンジ（東京証券取引所第一部）　100％連結子会社子会社　株式会社Orb 決算期　3月主な事業・サービス　ふるさと納税ポータルサイト「ふるさとチョイス」　パブリテック事業　「LoGoシリーズ」　エネルギー事業　　ふるさとエネルギーチョイス「えねちょ」　地域通貨事業　　　「chiica（チーカ）」

Slide 5

Slide 5 text

Vision 5 目指すは「自立した持続可能な地域をつくる」こと。トラストバンクが目指す地域共創で実現する経済循環図

Slide 6

Slide 6 text

6 ふるさと納税事業パブリテック事業エネルギー事業地域通貨事業主な事業・サービス

Slide 7

Slide 7 text

SECTION 7 00 DevOps実装初期フェーズの組織がTerraform とecspressoで求める Amazon ECS CI/CDの最適解

Slide 8

Slide 8 text

聴講対象者 • 開発者にもインフラ、IaCに触れてほしい • DevOpsの実装例に興味がある • Amazon ECSでシンプルなCI/CDを実現したい 8

Slide 9

Slide 9 text

今回お話しすること • DevOps実装設計の肝 • CI/CDで採用したツール、サービス • Amazon ECSのCI/CD 9

Slide 10

Slide 10 text

10 DevOps実装初期フェーズの組織？

Slide 11

Slide 11 text

とある開発組織 11 バグで障害起こされたらやだからしっかりテストしてくれやリリースしたい新機能が盛りだくさんだぜ Operator Developer テスト書けてないけど多分動くと思うからリリースしようぜいや、そんなんリリースすんなし

Slide 12

Slide 12 text

とある開発組織 12 バグで障害起こされたらやだからしっかりテストしてくれやリリースしたい新機能が盛りだくさんだぜ Operator Developer テスト書けてないけど多分動くと思うからリリースしようぜいや、そんなんリリースすんなし協力しようぜ！！

Slide 13

Slide 13 text

とある開発組織 13 よし、まずは踏み台サーバーに SSHして、アプリサーバーに SSH してgit pullしてとテストしたからリリースしてよ Operator Developer はやくしてくれ〜ふー、あと100台同じことやらなきゃ

Slide 14

Slide 14 text

とある開発組織 14 よし、まずは踏み台サーバーに SSHして、アプリサーバーに SSH してgit pullしてとテストしたからリリースしてよ Operator Developer はやくしてくれ〜ふー、あと100台同じことやらなきゃ自動化しようぜ！！

Slide 15

Slide 15 text

DevOpsとは 15 ざっくり説明すると、開発チームと運用チームのサイロ化や様々な場面での自動化プロセスの欠如により迅速なソフトウェアデリバリーが実現できていないような状況を改善するための手法、文化、思想

Slide 16

Slide 16 text

DevOpsで目指したいこと 16 OperatorとDeveloperが共にプロダクトにオーナーシップを持ち、開発、リーリース、運用のサイクルを協力しながら迅速にまわしていく状態を目指したい

Slide 17

Slide 17 text

弊社のDevOps実装前の状況 17 • 開発者がインフラの構築や変更に関心がない • インフラ構築、変更は外部のMSPへ委託していた • 開発者が運用監視について関心がない • インフラ運用監視は外部のMSPへ委託していた • 開発者が運用を考慮した設計、実装に関心がない • 開発者が運用に参加していないため、運用を考慮した発想が出ない • 各種運用が自動化されておらず作業工数負荷が高い • 運用改善や自動化の文化もリソースもなく惰性で対応

Slide 18

Slide 18 text

18 class SRE implements DevOps SREはDevOpsというinterfaceの実装である

Slide 19

Slide 19 text

DevOps実装を始めて弊社に起こった変化 19 • 開発者がIaCへコントリビュートを始める • AWSへの移行に伴いInfrastructure as Codeを実践 • 開発者が監視アラートやダッシュボードを仕込み始める • New Relicをオブザーバビリティ基盤として導入 • 開発者が運用を考慮した設計、実装をし始める • 運用に参加する開発者が増え、運用を考慮し始める • 様々な運用が自動化され開発に割ける工数が増えた • デプロイ、ビルド、テスト等様々な部分を自動化

Slide 20

Slide 20 text

20 どのようにDevOpsを実装するか？

Slide 21

Slide 21 text

21 Amazon ECSのCI/CDの事例を元に DevOps実装の一例をご紹介します

Slide 22

Slide 22 text

SECTION 22 01 DevOps実装設計の肝

Slide 23

Slide 23 text

DevOpsが扱う5つの領域 23 Reduce organizational silos 組織のサイロを削減する Accept failure as normal エラーが発生するのを許容する Implement gradual change 段階的に変更する Leverage tooling and automation ツールと自動化を活用する Measure everything すべてを計測する

Slide 24

Slide 24 text

24 Operator Developer なぜサイロ化が起こるのかインフラ運用監視障害対応テスト開発機能追加リリース関心のスコープは関与できる領域にしか広がりにくい関心のスコープ関心のスコープ

Slide 25

Slide 25 text

25 Operator Developer なぜサイロ化が起こるのかインフラ運用監視障害対応テスト開発機能追加リリース関心のスコープが異なる組織は目的も異なりやすい関心のスコープ関心のスコープ多少のリスクは負っても新機能、価値をユーザーへ届けたいユーザーへ届けるべき一番の価値は安定稼働

Slide 26

Slide 26 text

26 Operator Developer インフラ運用監視障害対応テスト開発機能追加リリース関心のスコープ関心のスコープ関心のスコープの共通化が有効サイロ化を起こさせないために

Slide 27

Slide 27 text

27 インフラ運用監視障害対応テスト開発機能追加リリース関心のスコープ理想の姿 Operator & Developer

Slide 28

Slide 28 text

28 千里の道も一歩から

Slide 29

Slide 29 text

段階的に共通化を広げていくことが大事 • お互いの関心のスコープに関与できるような仕組み作り • プログラムを共通言語とするInfrastructure as Codeの実践 • Infrastructure as Codeを実践しやすいパブリッククラウドの採用 • いきなりすべてに関与することは難しいので切り出す • アプリケーションリポジトリにインフラの定義を一部持たせる • 利用しやすい仕組みとしてCI等で自動化する 29 とは言うものの、どうやって実現しよう？

Slide 30

Slide 30 text

DevOpsが扱う5つの領域 30 Reduce organizational silos 組織のサイロを削減する Accept failure as normal エラーが発生するのを許容する Implement gradual change 段階的に変更する Leverage tooling and automation ツールと自動化を活用する Measure everything すべてを計測する

Slide 31

Slide 31 text

DevOps実装設計の肝まとめ 31 • 関心のスコープの共通化が有効 • 共通化の範囲は一気に広げず、段階的に適用していく

Slide 32

Slide 32 text

SECTION 32 02 CI/CDで採用したツール、サービス

Slide 33

Slide 33 text

採用したツール、サービス 33 名称役割 Terraform HashiCorp社謹製のパブリッククラウドやオンプレミスのリソースを安全かつ効率的に構築、変更バージョン管理するためのInfrastructure as Codeツール ecspresso カヤック藤原さん謹製のAmazon ECS用のとても薄いレイヤーで作られた AWS APIラッパーなデプロイツールで「エスプレッソ」と読みます GitHub Actions GitHub謹製のCIツール

Slide 34

Slide 34 text

• ECSのサービス、タスク定義の管理に特化している • アプリケーションのライフサイクルに近い部分のみを切り出せる • アプリケーションリポジトリに定義を配置することで開発者が変更できる • tfstateファイル内の値を参照できる • tfstateのバックエンドにS3を利用している場合、Terraformで構築したAWSのリソースを呼び出せるため、サービスやタスクを環境毎に分ける必要がなくDRYに書ける • 開発者がTerraformのどこで定義されているか読み取ることができる ecspresso採用理由 34

Slide 35

Slide 35 text

Slide 36

Slide 36 text

アプリケーションのリポジトリ構成 36

Slide 37

Slide 37 text

Slide 38

Slide 38 text

こんな感じで参照できる 38

Slide 39

Slide 39 text

すると・・・？ 39 開発者 DBの設定確認したいなぁ。お、Terraformのこの定義を見に行けばええんやな。じぃ〜〜〜〜〜なるほど、Terraformはこう書けばええんやな。いっちょ PR出してみよか。

Slide 40

Slide 40 text

• ECS execもラップしてくれている • やっぱりコンテナ入りたいをecspressoで叶えてくれる • ECSタスクのイベントログを一括表示する機能がある • デバッグで超絶便利 ecspresso採用理由 40

Slide 41

Slide 41 text

たとえばこんな時 41 ecspresso 開発者ローカルでは動くのに ECSだとうまく動かないのよなぁ。あー、こんなときに ECSのコンテナ入ってデバッグできればなぁ。 ecspresso execコマンドを使うのです … なんだ！？？ecspresso exec？？お、コンテナ入れた！！！これで！！！かてる！！！

Slide 42

Slide 42 text

• ECS execもラップしてくれている • やっぱりコンテナ入りたいをecspressoで叶えてくれる • ECSタスクのイベントログを一括表示する機能がある • デバッグで超絶便利 ecspresso採用理由 42

Slide 43

Slide 43 text

たとえばこんな時 43 ecspresso 開発者あー、ECSのデプロイがうまくいかないー。原因もよくわからんし、そもそもどうやってデバッグすればええんやー。つらー。 --traceでイベントログを出力させるのです … なんだ！？？--traceオプション？？お、イベントログが表示された！？また IAM権限不足！！貴様か！！これで！！！かてる！！！

Slide 44

Slide 44 text

AWS Resources ECSオブジェクトとツールの関連図 44 ECS Cluster ECS Service ECS Task definition Container definition Dockerfile ecspresso ecspresso Terraform Terraform

Slide 45

Slide 45 text

AWS Resources ECSオブジェクトとツールの関連図 45 ECS Cluster ECS Service ECS Task definition Container definition Dockerfile ecspresso ecspresso Terraform Terraform アプリケーションリポジトリに配置 Terraform リポジトリに配置

Slide 46

Slide 46 text

CI/CDで採用したツール、サービスまとめ 46 • ecspressoはECSのサービス、タスク定義などのアプリケーションのライフサイクルに近い部分を切り離して管理できる神ツール • ecspressoをハブにTerraformへ誘導し、IaCへのコントリビュートにも参加してもらおう

Slide 47

Slide 47 text

SECTION 47 03 Amazon ECSのCI/CD

Slide 48

Slide 48 text

• Dockerコンテナのビルド • コンテナレジストリへのプッシュ • タスク定義のデプロイ Amazon ECSのデプロイで必要なこと 48

Slide 49

Slide 49 text

• Dockerコンテナのビルド • コンテナレジストリへのプッシュ • タスク定義のデプロイ Amazon ECSのデプロイで必要なこと 49

Slide 50

Slide 50 text

コンテナのビルドとECRへのプッシュ 50 開発者 GitHub GitHub Actions ECR push build push

Slide 51

Slide 51 text

• Dockerコンテナのビルド • コンテナレジストリへのプッシュ • タスク定義のデプロイ Amazon ECSのデプロイで必要なこと 51

Slide 52

Slide 52 text

　　　ECS Cluster タスク定義のデプロイ 52 　　 Service Task definition 開発者 GitHub GitHub Actions ecspresso push deploy jobs: deploy: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - uses: kayac/ecspresso@v1 with: version: v1.7.14 - run: | ecspresso deploy --config ecspresso.yml

Slide 53

Slide 53 text

　　　ECS Cluster CI/CD全体の流れ 53 　　 Service Task definition 開発者 GitHub GitHub Actions ECR ecspresso push build push deploy

Slide 54

Slide 54 text

• Blue/Greenデプロイが必要な要件がとくにない • ロールバックなどECSに任せることができる • なるべくシンプルなデプロイにしたいデプロイ方式はローリングアップデート 54

Slide 55

Slide 55 text

デプロイイメージ 55 　　　ECS Cluster 　　 Service Task definition revision 1 ALB ユーザー

Slide 56

Slide 56 text

デプロイイメージ 56 　　　ECS Cluster 　　 Service Task definition revision 1 Task definition revision 2 開発者 GitHub GitHub Actions ecspresso ALB ユーザー

Slide 57

Slide 57 text

デプロイイメージ 57 　　　ECS Cluster 　　 Service Task definition revision 1 Task definition revision 2 ALB ユーザー

Slide 58

Slide 58 text

デプロイイメージ 58 　　　ECS Cluster 　　 Service Task definition revision 1 Task definition revision 2 ALB ユーザー

Slide 59

Slide 59 text

デプロイイメージ 59 　　　ECS Cluster 　　 Service Task definition revision 2 ALB ユーザー

Slide 60

Slide 60 text

ロールバックイメージ 60 　　　ECS Cluster 　　 Service Task definition revision 1 Task definition revision 2 開発者 GitHub GitHub Actions ecspresso ALB ユーザー

Slide 61

Slide 61 text

ロールバックイメージ 61 　　　ECS Cluster 　　 Service Task definition revision 1 Task definition revision 2 ALB ユーザー healthcheck failed

Slide 62

Slide 62 text

ロールバックイメージ 62 　　　ECS Cluster 　　 Service Task definition revision 1 ALB ユーザー

Slide 63

Slide 63 text

Amazon ECSのCI/CDまとめ 63 • GitHub Actionsのシンプルで簡素な記述でDockerのビルド、ECRへのプッシュ、ecspressoによるデプロイをシンプルに実装することができた • デプロイ方式もローリングアップデートにすることでロールバックもECSのマネージドに任せることができシンプルでわかりやすいデプロイにすることができた

Slide 64

Slide 64 text

SECTION 64 04 まとめ

Slide 65

Slide 65 text

• DevOpsの意図をアーキテクチャに組み込むことで仕組みレベルでのDevOps推進を進めることができた • ecspressoとTerraformを使ったECS環境、CI/CDは DevOps実装の一歩目としてとても有効だと感じた • 組織のレベル、状況によって最適解は異なるので色々試して自組織の最適解を模索してみてくださいまとめ 65