Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
munaita_
August 17, 2017
Programming
1
860
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
990
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
920
Other Decks in Programming
See All in Programming
Select API from Kotlin Coroutine
jmatsu
1
230
RailsGirls IZUMO スポンサーLT
16bitidol
0
170
なんとなくわかった気になるブロックテーマ入門/contents.nagoya 2025 6.28
chiilog
1
270
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
たった 1 枚の PHP ファイルで実装する MCP サーバ / MCP Server with Vanilla PHP
okashoi
1
230
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
720
Discover Metal 4
rei315
2
120
Kotlin エンジニアへ送る:Swift 案件に参加させられる日に備えて~似てるけど色々違う Swift の仕様 / from Kotlin to Swift
lovee
1
260
猫と暮らす Google Nest Cam生活🐈 / WebRTC with Google Nest Cam
yutailang0119
0
110
20250704_教育事業におけるアジャイルなデータ基盤構築
hanon52_
5
690
「Cursor/Devin全社導入の理想と現実」のその後
saitoryc
0
770
ペアプロ × 生成AI 現場での実践と課題について / generative-ai-in-pair-programming
codmoninc
1
15k
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
960
How GitHub (no longer) Works
holman
314
140k
Thoughts on Productivity
jonyablonski
69
4.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
GitHub's CSS Performance
jonrohan
1031
460k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Being A Developer After 40
akosma
90
590k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
Testing 201, or: Great Expectations
jmmastey
42
7.6k
Writing Fast Ruby
sferik
628
62k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました