Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
トレタを支える技術(インフラ編)
Search
wind-up-bird
August 02, 2019
Technology
0
58
トレタを支える技術(インフラ編)
wind-up-bird
August 02, 2019
Tweet
Share
More Decks by wind-up-bird
See All by wind-up-bird
studist tech talk #1
w1ndupb1rd
1
150
トレタの大規模バックエンドを移行するまでの道のりと舞台裏
w1ndupb1rd
1
100
Other Decks in Technology
See All in Technology
本当のガバクラ基礎
toru_kubota
0
250
ルーターでプレゼンする
puhitaku
1
3.4k
AWSやJAWS-UGとの出会いを振り返る
yoyoyopg
1
190
中年男性がメインフレームから クラウドへキャリアシフトしてみた
uechishingo
1
440
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
200
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
8
7k
M5と自作基板をくっつけてみた〜M5 Japan Tour 2024 Spring 福冈 (Fukuoka|福岡)〜
keropiyo
1
260
M5stackで使用できるpHセンサの開発
shinrinakamura
1
290
Microsoft for Startups Founders Hub_20240429 update
daikikanemitsu
1
2.5k
Taking Flight with Tailwind CSS
opdavies
0
4.3k
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
maimyyym
3
640
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
16
6.6k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
74
5.7k
Making Projects Easy
brettharned
109
5.5k
Visualization
eitanlees
137
14k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Navigating Team Friction
lara
179
13k
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
Docker and Python
trallard
35
2.7k
Fireside Chat
paigeccino
22
2.6k
Typedesign – Prime Four
hannesfritz
36
2.1k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
Designing for Performance
lara
601
67k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Transcript
トレタを支える技術(インフラ編) 〜過去・現在・未来〜 1
Introduction 柳楽瑛(@_windupbird_) 2018 年末にトレタに Join SRE チーム所属 トレタのインフラ全般を担当 前職: メール配信/
セキュリティサービス 2
Agenda 過去 インフラの変遷 現在 アーキテクチャ 開発フロー/ 開発ツール 現状の課題 未来 今後やっていきたいこと
まとめ 3
過去 : インフラの変遷 4
インフラの変遷 創業(2013 年) 〜 2015 年 EngineYard, Heroku, AWS, GCP
( 主にBQ) 2016 年 EY => AWS へ全面的に移行 2017 年 〜 2018 年 Kubernetes (GKE) の採用 2019 年 〜 Kubernetes (EKS) の採用と移行 5
インフラの変遷 2015 年 2019 年 6
現在 : 利用サービス 7
利用しているクラウドサービス AWS EC2, Aurora, S3, ELB, SQS, SNS, Route53, Lambda,
Codebuild, ApiGateway, EKS ... トレタの主要サービス GCP BigQuery, Compute Engine, EKS, CloudFunction, StackDriver, GKE ... データ/ ログ解析, 一部toC 向けサービス, Backup ... Heroku 既存サービス, Feasibility Study ... 8
現在: アーキテクチャ 9
アーキテクチャ 思想: シンプルで高可用性が設計の基本。 既存サービスA 代表例 LB (ALB, NLB) Nginx (EC2)
= キャッシュ&R プロキシ Rails (EC2) = アプリケーション Redis (EC2) = Sidekiq 非同期処理 DB (Aurora) = Writer + Reader * 2 10
全体像 構成: コアAPI を主軸にスター型のサブシステム構成 11
現在: 開発フロー/ ツール 12
開発フロー Github GitFlow による開発 CI/CD 各 Branch への merge による自動化
CircleCI 2.1 Feature: Build, Test, DryRun develop/master: staging/production deploy 13
開発ツール ( の一部) Packer + Ansible + Serverspec 各システム毎に定義 OS(ubuntu),
MW(nginx, monit, mackerelagent), *env, tdagent, Newrelic etc... Terraform 各システム毎に *.tf を定義 NW, LB, EC2 (Target Group, Listener, AutoScaling) etc... RoadWorker 作成したリソースに対して、DNS を設定。 14
現在 : 稼働率 15
稼働率 サービスの稼働は安定 16
現在: 無問題 17
なわけがなく。。。 18
課題 OS まわり EOL => アップデート 各サブシステム毎にそれそれVUP 大小含め約 10 サービス
事前検証 + staging でリハーサル + 本番 すべてシステム無停止で実施(済) 今後もアップデートし続けなければならない。 19
Packer まわり Packer の複雑化 使われていないコードが、たまによくある。 20
Packer 実行時間 1 回の実行で40 分超も。。。 明らかに詰め込み過ぎた 段階的な build の仕組み 根本的に見直す必要が出てきた
21
EC2 まわり EC2 インスタンスの起動時間 AutoScaling で起動までに7 分 突発的なアクセスだと間に合わない可能性も 特に toC
向けのサービスではクリティカル XXX on EC2 Managed サービスへの段階的な移行 EY 時代の名残もある。 これも今後移行していく(予定)。 22
DB まわり 肥大化 ユーザ数、システム拡大に伴うトラフィックの増加 [App] switch_point の導入 [Infra] スケールアップで対応 ETL
の処理時間 10 時間程度かかる 並列度あげる このままだと、いずれ頭打ちとなる可能性 DB の分割などアーキテクチャの見直し 23
未来: やっていきたいこと 24
やっていきたいこと XXX on EC2 からの脱却 マネージドサービスへの移行を加速 MicroService 化 kubernetes の導入
Auto Scaling, Auto Healing 障害の局所化 開発速度の向上 DB やそれ以外にも色々。。。 25
まとめ 26
過去 トレタのインフラの変遷 現在 シンプルで高可用性 サービスの拡大やユーザの増加に伴い、どんどん課題も 出てきた 未来 開発速度の向上 安定かつ快適なサービスの継続的な提供 27
最後に 28
https://corp.toreta.in/recruit/engineer/ 29