Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
内定者バイトが1ヶ月ちょいでDSPをAmazonECSに乗っけた話
Search
Hiromu Masuda
September 28, 2018
Technology
1
1.3k
内定者バイトが1ヶ月ちょいでDSPをAmazonECSに乗っけた話
DSPサーバーをAmazonECSとFargateを用いて動かした際のアーキテクチャ・デプロイフローについてまとめました。
Hiromu Masuda
September 28, 2018
Tweet
Share
Other Decks in Technology
See All in Technology
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
160
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
480
今日から始めるAWSセキュリティ対策 3ステップでわかる実践ガイド
yoshidatakeshi1994
0
120
AI時代を生き抜くエンジニアキャリアの築き方 (AI-Native 時代、エンジニアという道は 「最大の挑戦の場」となる) / Building an Engineering Career to Thrive in the Age of AI (In the AI-Native Era, the Path of Engineering Becomes the Ultimate Arena of Challenge)
jeongjaesoon
0
260
Create Ruby native extension gem with Go
sue445
0
130
slog.Handlerのよくある実装ミス
sakiengineer
4
480
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
1
970
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
190
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.8k
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
570
組織を巻き込む大規模プラットフォーム移行戦略 〜50+サービスのマルチリージョン・マルチプロダクト化で学んだステークホルダー協働の実践〜 / Platform migration strategy engaging all stakeholders
toshi0607
2
190
はじめてのOSS開発からみえたGo言語の強み
shibukazu
3
1k
Featured
See All Featured
Fireside Chat
paigeccino
39
3.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
How GitHub (no longer) Works
holman
315
140k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Facilitating Awesome Meetings
lara
55
6.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Scaling GitHub
holman
463
140k
Transcript
内定者バイトが1ヶ月ちょいで DSPをAmazonECSに乗っけた話 増田 大夢|Hiromu Masuda
自己紹介 増田 大夢|HiromuMasuda 東京大学工学部システム創成学科4年 静岡県浜松市出身 趣味:ボディビル・海外旅行 休日の過ごし方:ボディビル・海外旅行
アジェンダ 1. Amazon ECS / Fargate 導入の背景 2. Amazon ECS
/ Fargate とは 3. アーキテクチャ 4. デプロイ 5. 苦労話 6. 最後に
Amazon ECS / Fargate 導入背景
Amazon ECS / Fargate 導入の背景 • 挙動・設定がブラックボックスすぎる • ELB/SGの名前が自動生成で探しづらい •
Blue-Greenデプロイがroute53経由なため、DNSキャッシュがきいてしまい上手く切 り変わらない Elastic Beanstalkの苦労
Amazon ECS / Fargate 導入の背景 • コンテナ化してモダンにしたい • Fargateが東京リージョンでも使えるようになった •
今後EKSが東京リージョンに来た時に移行しやすそう Amazon ECS / Fargate を選んだ理由
Amazon ECS / Fargate とは
Amazon ECS / Fargate とは Amazon Elastic Container Service (Amazon
ECS) は、Docker コンテナをサポートする 拡張性とパフォーマンスに優れたコンテナオーケストレーションサービスです。これによ り、コンテナ化されたアプリケーションをAWSで簡単に実行およびスケールできます。
Amazon ECS / Fargate とは task / service / cluster
というレイヤー
Amazon ECS / Fargate とは task definition / task とは
docker-composeのようなもの。 task definitionにどのようなイメージを使ってどのようなコンテナを立てるのか、 CPU/メモリの割り当てをどうするか、環境変数・ポートの設定などをしておくと、 taskという形で定義されたコンテ ナの集合体を生成できる。
Amazon ECS / Fargate とは service とは 「指定したtask definitionからtaskを生成する」 という作業をいい感じにやってくれる。taskの希望台数・最大数・
最低数、オートスケールの ルールを設定することで、CPU/メモリの使用量やタスクのステータスを監視しながら 自動でタスクの台数を調節 してくれる。
Amazon ECS / Fargate とは cluster とは taskとserviceをグルーピングする概念
Amazon ECS / Fargate とは Fargate とは サーバレスでコンテナが実行できる技術 であり、タスク(コンテナの実行単位)に割り当てたvCPUとメモリの量に 応じて秒単位での課金でコンテナを実行できる。Fargateを用いれば
EC2インスタンスの管理が不要 になり、オー トスケールに柔軟に対応 できる。
アーキテクチャ
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP AWS版DockerHub Docker image用レポジトリ
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP ECRのimageから task definitionを作成
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP serviceは task definitionを用いて taskを生成する
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP task内では、 DSP/datadog/flumeの 3つのプロセスが コンテナとして動く
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP コンテナは Fargate上で 動いている
アーキテクチャ ECR cluster: service Fargate task task task DSP task
definition ELB images SSP DSP DSP serviceはロードバランサを管理。ELBがリ クエストを 複数のtaskに振り分ける
デプロイ
- ECSにはblue-greenデプロイを実現する機能は存在するが、それ以外はない - デプロイ用ライブラリも「これだ!」というものがない - カナリアデプロイがしたい - そのため、1からデプロイを実装した デプロイ
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create 3. run task DSP
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins カナリアデプロイ images 1. push task definition 2. create task DSP 3. run 4. connect
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition task DSP
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition task DSP 1. update
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins 全デプロイ images task definition 1. update 2. remove
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins ロールバック images task definition
デプロイ ECR cluster: service Fargate task task DSP task definition
ELB SSP DSP Jenkins ロールバック images task definition 1. update
苦労話
苦労話 Fargateに関する周辺ツールのバグが多い 「datadogにDSPのメトリクスが送れない」という問題があった。Fargateを使うとホストに紐づくタグがメトリクスに 引き継がれないという バグが原因。
苦労話 ライブラリ・ツールがFargateに追いついていない 2つくらいしかデプロイ用のライブラリが見つからない上に、それがまだ Fargateに対応できていない 状況。issue もできたばっかり。結局デプロイ用のスクリプトは1から構築した。
苦労話 Fargateで動くコンテナにdocker execできない 「コンテナに入ってみてデバックする」というのが当たり前すぎて、それができず辛かった。
最後に
最後に 現在DSPはECS上で 正常に動いています。 苦労して作り上げてよかったです。