Speaker Deck
Speaker Deck Pro
Sign in
Sign up
for free
SpinAppを支えるデータ収集基盤
munaita_
August 17, 2017
Programming
0
620
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
munaita_
0
620
munaita_
1
550
munaita_
0
420
Other Decks in Programming
See All in Programming
zsmb
1
120
77web
0
200
decoc
1
320
e10dokup
0
430
kyonmm
2
2.1k
akatsukinewgrad
0
130
canon1ky
3
340
siketyan
1
110
line_developers_tw2
0
530
xrdnk
0
130
mu2in
0
130
hanakla
2
3k
Featured
See All Featured
dougneiner
55
5.4k
pedronauck
652
110k
andyhume
62
3.3k
lauravandoore
437
28k
mza
80
4.1k
paulrobertlloyd
71
1.4k
kneath
294
39k
chrislema
231
16k
reverentgeek
27
1.9k
zakiwarfel
88
3.3k
bermonpainter
342
26k
yeseniaperezcruz
302
31k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました