ECS Fargate build on AWS CodeBuild

2018/11/15 Amazon Game TechNight #8 で発表した資料です。

オレ的最強ECS & Fargate build環境 on AWS
- CodeBuild 基本編
- CodeBuildを使った実際のパイプライン紹介
- CodeBuild 応用編

https://amazongametechnight08.splashthat.com/

キーワード
#AWS #docker #CodeBuild #CodePipeline #ECS #Fargate #Jenkins #Deploy #ContinuousDelivery

Transcript

1. オレ的最強 ECS & Fargate build環境 on AWS Akatsuki Inc. 駒井祐人
2. 自己紹介 氏名 / 経歴 - 駒井祐人 @e__koma - NTT DATA - ミッションクリティカルシステム 設計構築 - Akatsuki Inc. - Store上位タイトル開発/運用経験1年半 - リリース直前の負荷対策4タイトル 座右の銘 - あらゆる人間関係の衝突はカレーの欠如によるものだ # サーバサイド/インフラ # VTuber / xRTech # カレー # ハッカソン/イベント運営
3. 突然ですが質問
4. 質問 　　　　　を
5. 質問 　　　　　を - 使っている人？
6. 質問 　　　　　を - 使っている人？ - production環境で運用したことがある人？
7. Akatsukiでは… 300 コンテナ以上が、ECS/Fargate上で常時稼働
8. 今開発しているゲームプロジェクトでは… 100 % on Docker
9. 今開発しているゲームプロジェクトでは… 100 ビルド/day
10. 今開発しているゲームプロジェクトでは… 20 並列ビルド (100でもへっちゃら)
11. ビルド環境のコストは… 20 $ / month
12. これを実現するキモになっているのは… CodeBuild !!
13. 今日は… - 第1章：CodeBuild 基本編 - 第2章：CodeBuildを使ったデリバリーパイプラインの紹介 - 第3章：CodeBuild 応用編
14. 第1章 CodeBuild 基本編
15. あるCI/CDツールのアンケート 引用：https://twitter.com/hhiroshell/status/990967880220000256
16. あるCI/CDツールのアンケート 引用：https://twitter.com/hhiroshell/status/990967880220000256
17. docker build on Jenkinsの場合… ツラいところ - Jenkinsサーバに一定のマシンスペックが必要 - 同時実行数の問題で詰まる。Jenkins Slave - docker pullしすぎると気づけばFileSystemFull - Jenkinsに環境変数や秘匿情報がもりもり
18. それ、 CodeBuildが全部解決します !!
19. CodeBuildとは？ - フルマネージドのビルドサービス - buildspec.ymlにビルドステップを定義する
20. CodeBuildのうれしみ - サーバレス + スケーラビリティ - AWS各種サービスとの連携 - SSMパラメータストア - 秘匿情報の管理が超楽に - 従量課金 - VPC内で実行が可能 - CodeBuildからEC2/RDSアクセス可能 - 豊富なビルド環境 - さまざまな言語サポート - カスタムDokcer Imageも可能 - CloudFormationで管理可能 - 環境を作れば、ビルド環境も一緒に作れる
21. すなわち (1章まとめ) docker build on Jenkinsのつらい部分… Jenkins CodeBuild マシンスペック そこそこ必要 small / medium / largeの3タイプ (スケールするためsmallで十分満たす) 同時実行数 master並列数を超えると詰ま る or Slave 上限申請したら気にすることがなくなる。 (デフォルト20) メンテナンス つらい メンテレス セキュリティ 秘匿情報がもりもり SSMパラメータストアとの連携 コスト 起動している時間 従量課金
22. すなわち (1章まとめ) docker build on Jenkinsのつらい部分… 解決!! Jenkins CodeBuild マシンスペック そこそこ必要 small / medium / largeの3タイプ (スケールするためsmallで十分満たす) 同時実行数 master並列数を超えると詰ま る or Slave 上限申請したら気にすることがなくなる。 (デフォルト20) メンテナンス つらい メンテレス セキュリティ 秘匿情報がもりもり SSMパラメータストアとの連携 コスト 起動している時間 従量課金
23. 第2章 CodeBuildを使った パイプライン紹介
24. AWS推奨のパイプライン CodePipelineを中心にパイプラインを組み立てる方式
25. AWS推奨のパイプライン 我々はCodePipelineは不採用 ❌
26. そもそもCodePipelineとは？ AWSが提供するフルマネージドパイプラインサービス - Source / Build / StagingのステップをGUI/CLIでカスタム可能 - AWS Integrationが豊富 - CodeDeploy - ECSデプロイ - CloudFormation - Lambda - GitHubのpush hookによるCI/CD - 手動承認も可能
27. なぜCodePipelineを使わないのか？ ゲーム開発の現場では - 複数環境 - dev/staging/feature/QA …etc - 複数条件 - ゲームマスタのversion - アセットのversion - これらを非エンジニアがデプロイ
28. なぜCodePipelineを使わないのか？ CodePipelineを採用すると… - デプロイ変数が持てない - xxx環境に、ゲームマスタversionがyyyで、アセットversionはzzzでデプロイしたい - パイプラインに柔軟性をもたせたい - 非エンジニアにはUIが厳しい - いつでも誰でもデプロイしたい
29. じゃあ何を使っているのか？
30. Jenkins Blue Ocean
31. Jenkins Blue Ocean えっ、さっきまでJenkins disってたのに…
32. Jenkins Blue Ocean えっ、さっきまでJenkins disってたのに… いえいえ、Blue Oceanは一味違います
33. Jenkins Blue Ocean シンプルかつ美しいJenkins UI - 非エンジニアでも分かりやすい - classic UIは過去の遺物 - 弊社内ではTeenager風 Jenkins - step単位のログの見やすさ - CodeBuild Plugin - Jenkinsはビルド命令を投げるだけ - master 1nodeで並列数を山盛り上げれる - 構築はOfficial Docker Imageを起動するだけ - Pipeline as a CodeのGUI support
34. Jenkins Blue Ocean 非エンジニアでも使えるUI 進捗の可視化
35. Jenkins Blue Ocean CodeBuildPlugin - 入力に柔軟性をもたせてCodeBuildに環境変数を渡せる
36. 実際のデリバリーパイプライン ※ CI環境は省略
37. このアーキテクチャを採用して幸せになったこと (2章まとめ) - インタフェースが直感的 - 誰でもボタンポチでデプロイ - 進捗が追える - スケーラビリティ - JenkinsはCodeBuildに命令しているだけなのでパワーが不要 - t3.smallサーバ1台で10環境ビルドでもマシンリソースすっかすか - コスト減 - 2018/10のビルド料金は $20 - 自動で構築できるビルド環境 - Pipeline as a Code - CloudFormation管理 - メンテレス
38. 第3章 CodeBuild 応用編
39. CodeBuild 応用編 - 応用編1. ビルド高速化 - 応用編2. バッチ処理 - 応用編3. セキュリティ
40. CodeBuild 応用編 - 応用編1. ビルド高速化 - 応用編2. バッチ処理 - 応用編3. セキュリティ
41. ビルド高速化 docker buildの高速化には - Image軽量化 - ビルドキャッシュ
42. Image軽量化 不要なものはImage内に一切入れない。 - ビルド時に必要なパッケージはビルド後に削除 - ビルド時に生成された中間ファイルは全て削除 - 余計なlayerを作らない - 軽量OS このあたりはdockerを扱う上でわりとよくやる 参考：https://docs.docker.com/develop/develop-images/dockerfile_best-practices/
43. 実際のNginxコンテナのImageサイズ 21 MB
44. ビルドキャッシュ 途中までビルドした状態を保存しておき、次回ビルドを高速化する
45. ビルドキャッシュ 途中までビルドした状態を保存しておき、次回ビルドを高速化する - 途中までのビルドを別Imageで保存しておく - CodeBuildのS3キャッシュ
46. ビルドキャッシュ 途中までビルドした状態を保存しておき、次回ビルドを高速化する - 途中までのビルドを別Imageで保存しておく - CodeBuildのS3キャッシュ も、いいけど・・・
47. ビルドキャッシュ 途中までビルドした状態を保存しておき、次回ビルドを高速化する - 途中までのビルドを別Imageで保存しておく - CodeBuildのS3キャッシュ も、いいけど・・・ Docker layer caching
48. ビルドキャッシュ 具体例 変更点以降のlayerからbuildを開始できる
49. その他 Docker 18.09 以降 (2018/11/08〜) をCodeBuildがsupportしてくれるとより一層夢が広 がる - multi stage buildの並列ビルド - 2倍高速化できるという事例も - cache mount - うまく活用して30倍以上高速化を実現した事例も 引用：https://medium.com/nttlabs
50. CodeBuild 応用編 - 応用編1. ビルド高速化 - 応用編2. バッチ処理 - 応用編3. セキュリティ
51. ２．バッチ処理 普通のCodeBuildの使い方
52. ２．バッチ処理 ビルド済みのDocker Imageを再利用することで、CodeBuildをバッチ処理の実行環境とし て利用できる
53. ２．バッチ処理 ビルド済みのDocker Imageを再利用することで、CodeBuildをバッチ処理の実行環境とし て利用できる これで何が嬉しいの？
54. ２．バッチ処理 メリット - ビルド済みのアプリケーションロジックを再利用できる - Lambdaでは実現しづらい。 - サーバレス - バッチサーバの必要がなくなりメンテレス - 従量課金 - 長時間バッチ、並列バッチも可能 デメリット - CodeBuildのプロビジョニングに30〜40秒程度、余計な時間がかかる
55. ２．バッチ処理 具体例 ENTRYPOINTを差し替えて、実行したいコマンドを渡せば出来上がり！
56. CodeBuild 応用編 - 応用編1. ビルド高速化 - 応用編2. バッチ処理 - 応用編3. セキュリティ
57. ３．セキュリティ Role / IAMキーの権限は最小にしたい
58. ３．セキュリティ Role / IAMキーの権限は最小にしたい - Role - 必要な権限のみを付与する - IAMキー - 必要な権限のみを付与する - IP制限
59. ３．セキュリティ Role / IAMキーの権限は最小にしたい - Role - 必要な権限のみを付与する - IAMキー - 必要な権限のみを付与する - IP制限 IAMキーにはIP制限をかけることができる！ （キー情報が漏洩する最悪の状況でもリスク低減）
60. ３．セキュリティ が、IAMキーにIP制限をかけると…
61. ３．セキュリティ が、IAMキーにIP制限をかけると… docker push (正確にはECR login) ができなくなる!!
62. 原因 ECRへdocker pushする際、インターネットを経由するため ECRは VPC外にある
63. 原因 ECRへdocker pushする際、インターネットを経由するため ECRは VPC外にある 引用：https://docs.aws.amazon.com/codebuild/latest/userguide/use-vpc-endpoints-with-codebuild.html
64. さて、どうしよう…？
65. 解決策 IAMポリシーにNAT GatewayのEIPを許可することで解決する！
66. 解決策 IAMポリシーにNAT GatewayのEIPを許可することで解決する！ IAMキーに NATGWのEIP を許可
67. 3章まとめ - ビルド高速化 - BestPracticeに沿ったImage軽量化を - ビルドキャッシュはlayer cachingがオススメ - バッチ処理 - CodeBuildはサーバレスバッチ環境にも使えて幸せ - セキュリティ - ECRはinternet経由する。 - IAMキーにはIP制限をかけ、CodeBuildが利用するNAT GatewayのEIPを許可しよう
68. 全体まとめ 第1章：CodeBuild 基本編 - CodeBuildの特徴を紹介。サーバレスかつスケーラビリティなbuild環境 第2章：事例紹介 - Jenkins Blue Ocean + CodeBuild連携で 清く正しく美しく 第3章：CodeBuild 応用編 - サーバレスバッチでメンテレスの運用を
69. 最後に
70. 最後に - 今日話した内容は、全てプロジェクト内の現場のエンジニア（今回はほぼ僕）がアーキテ クチャ選定の意思決定 + 実装をしています。 - アカツキではプロジェクト内の権限が強く、アーキテクチャ選定、使いたい技術、使 いたいツールを選定でき、やりたいこと、チャレンジしたいことを実現できる環境が あります。
71. 最後に - 喜び、自由に溢れた Joy.Incな働き方 - 心理的安全性と責任 - 組織メンバーが最高のチームを作るための議論
72. - ワクワク - カラフル - ハードドリブン これらを語れるメンバーが集まっています 最後に
73. 最後に We are hiring !! 楽しく働きたい人、Welcomeです !! お待ちしております !!