Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
munaita_
August 17, 2017
Programming
1
810
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
890
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
790
請求書から見るAWSとGCPの比較.pdf
munaita_
0
730
Other Decks in Programming
See All in Programming
Hanami and htmx
bkuhlmann
0
200
元気予報
suu_mire0726
0
860
Ruby GitHub Packages
bkuhlmann
0
620
SwiftUI Performance 不要なViewの再描画と更新を抑える
bigamitiongit
1
160
入門 AWS Amplify Gen2 / Introduction to AWS Amplify Gen2
genkiogasawara
1
320
エンターテイメント業界で利用されるAWS
demuyan
0
200
"config" ってなんだ? / What is "config"?
okashoi
0
220
GitHub Actionsで泣かないためにやっておきたい設定 / Recommended GHA settings to avoid crying
pinkumohikan
3
500
1인 개발자로 행복하게 살기 - GDG 송도 헬로월드 2024
benjaminkim
1
5.6k
雑に思考を整理する技術と効能
konifar
57
26k
VSCodeでのDatabricks開発もお勧めしたい/I would also recommend Databricks development with VSCode.
kazumain
0
240
try! Swift Tokyo 初参加報告LT
hinakko2
0
200
Featured
See All Featured
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
Thoughts on Productivity
jonyablonski
57
3.8k
How STYLIGHT went responsive
nonsquared
92
4.8k
Web development in the modern age
philhawksworth
202
10k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
Atom: Resistance is Futile
akmur
258
25k
Navigating Team Friction
lara
177
13k
Code Reviewing Like a Champion
maltzj
513
39k
Git: the NoSQL Database
bkeepers
PRO
422
63k
Building Applications with DynamoDB
mza
88
5.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
258
12k
Fantastic passwords and where to find them - at NoRuKo
philnash
36
2.5k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました