Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
内定者バイトが1ヶ月ちょいでDSPをAmazonECSに乗っけた話
Search
Hiromu Masuda
September 28, 2018
Technology
1
1.3k
内定者バイトが1ヶ月ちょいでDSPをAmazonECSに乗っけた話
DSPサーバーをAmazonECSとFargateを用いて動かした際のアーキテクチャ・デプロイフローについてまとめました。
Hiromu Masuda
September 28, 2018
Tweet
Share
Other Decks in Technology
See All in Technology
プラットフォーム転換期におけるGitHub Copilot活用〜Coding agentがそれを加速するか〜 / Leveraging GitHub Copilot During Platform Transition Periods
aeonpeople
1
240
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
Autonomous Database - Dedicated 技術詳細 / adb-d_technical_detail_jp
oracle4engineer
PRO
4
10k
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
280
AIエージェントで90秒の広告動画を制作!台本・音声・映像・編集をつなぐAWS最新アーキテクチャの実践
nasuvitz
3
360
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
120
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
160
データ分析エージェント Socrates の育て方
na0
8
2.7k
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
470
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい勘所を集めてみました! - / How to start Scrum that is not written in the Scrum Guide 2nd
takaking22
2
210
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
400
S3アクセス制御の設計ポイント
tommy0124
3
210
Featured
See All Featured
It's Worth the Effort
3n
187
28k
Large-scale JavaScript Application Architecture
addyosmani
513
110k
Why Our Code Smells
bkeepers
PRO
339
57k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Faster Mobile Websites
deanohume
309
31k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Making Projects Easy
brettharned
117
6.4k
Designing for Performance
lara
610
69k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
The Cult of Friendly URLs
andyhume
79
6.6k
Transcript
内定者バイトが1ヶ月ちょいで DSPをAmazonECSに乗っけた話 増田 大夢|Hiromu Masuda
自己紹介 増田 大夢|HiromuMasuda 東京大学工学部システム創成学科4年 静岡県浜松市出身 趣味:ボディビル・海外旅行 休日の過ごし方:ボディビル・海外旅行
アジェンダ 1. Amazon ECS / Fargate 導入の背景 2. Amazon ECS
/ Fargate とは 3. アーキテクチャ 4. デプロイ 5. 苦労話 6. 最後に
Amazon ECS / Fargate 導入背景
Amazon ECS / Fargate 導入の背景 • 挙動・設定がブラックボックスすぎる • ELB/SGの名前が自動生成で探しづらい •
Blue-Greenデプロイがroute53経由なため、DNSキャッシュがきいてしまい上手く切 り変わらない Elastic Beanstalkの苦労
Amazon ECS / Fargate 導入の背景 • コンテナ化してモダンにしたい • Fargateが東京リージョンでも使えるようになった •
今後EKSが東京リージョンに来た時に移行しやすそう Amazon ECS / Fargate を選んだ理由
Amazon ECS / Fargate とは
Amazon ECS / Fargate とは Amazon Elastic Container Service (Amazon
ECS) は、Docker コンテナをサポートする 拡張性とパフォーマンスに優れたコンテナオーケストレーションサービスです。これによ り、コンテナ化されたアプリケーションをAWSで簡単に実行およびスケールできます。
Amazon ECS / Fargate とは task / service / cluster
というレイヤー
Amazon ECS / Fargate とは task definition / task とは
docker-composeのようなもの。 task definitionにどのようなイメージを使ってどのようなコンテナを立てるのか、 CPU/メモリの割り当てをどうするか、環境変数・ポートの設定などをしておくと、 taskという形で定義されたコンテ ナの集合体を生成できる。
Amazon ECS / Fargate とは service とは 「指定したtask definitionからtaskを生成する」 という作業をいい感じにやってくれる。taskの希望台数・最大数・
最低数、オートスケールの ルールを設定することで、CPU/メモリの使用量やタスクのステータスを監視しながら 自動でタスクの台数を調節 してくれる。
Amazon ECS / Fargate とは cluster とは taskとserviceをグルーピングする概念
Amazon ECS / Fargate とは Fargate とは サーバレスでコンテナが実行できる技術 であり、タスク(コンテナの実行単位)に割り当てたvCPUとメモリの量に 応じて秒単位での課金でコンテナを実行できる。Fargateを用いれば
EC2インスタンスの管理が不要 になり、オー トスケールに柔軟に対応 できる。
アーキテクチャ
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP AWS版DockerHub Docker image用レポジトリ
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP ECRのimageから task definitionを作成
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP serviceは task definitionを用いて taskを生成する
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP task内では、 DSP/datadog/flumeの 3つのプロセスが コンテナとして動く
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP コンテナは Fargate上で 動いている
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP serviceはロードバランサを管理。ELBがリ クエストを 複数のtaskに振り分ける
デプロイ
- ECSにはblue-greenデプロイを実現する機能は存在するが、それ以外はない - デプロイ用ライブラリも「これだ!」というものがない - カナリアデプロイがしたい - そのため、1からデプロイを実装した デプロイ
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create 3. run task DSP
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create task DSP 3. run 4. connect
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition task DSP
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition task DSP 1. update
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition 1. update 2. remove
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins ロールバック images task definition
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins ロールバック images task definition 1. update
苦労話
苦労話 Fargateに関する周辺ツールのバグが多い 「datadogにDSPのメトリクスが送れない」という問題があった。Fargateを使うとホストに紐づくタグがメトリクスに 引き継がれないという バグが原因。
苦労話 ライブラリ・ツールがFargateに追いついていない 2つくらいしかデプロイ用のライブラリが見つからない上に、それがまだ Fargateに対応できていない 状況。issue もできたばっかり。結局デプロイ用のスクリプトは1から構築した。
苦労話 Fargateで動くコンテナにdocker execできない 「コンテナに入ってみてデバックする」というのが当たり前すぎて、それができず辛かった。
最後に
最後に 現在DSPはECS上で 正常に動いています。 苦労して作り上げてよかったです。