Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
munaita_
August 17, 2017
Programming
1
870
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
990
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
930
Other Decks in Programming
See All in Programming
Android端末で実現するオンデバイスLLM 2025
masayukisuda
1
170
個人開発で徳島大学生60%以上の心を掴んだアプリ、そして手放した話
akidon0000
1
130
プロポーザル駆動学習 / Proposal-Driven Learning
mackey0225
2
1.3k
testingを眺める
matumoto
1
140
@Environment(\.keyPath)那么好我不允许你们不知道! / atEnvironment keyPath is so good and you should know it!
lovee
0
120
Amazon RDS 向けに提供されている MCP Server と仕組みを調べてみた/jawsug-okayama-2025-aurora-mcp
takahashiikki
1
110
機能追加とリーダー業務の類似性
rinchoku
2
1.3k
AIを活用し、今後に備えるための技術知識 / Basic Knowledge to Utilize AI
kishida
22
5.9k
Putting The Genie in the Bottle - A Crash Course on running LLMs on Android
iurysza
0
140
FindyにおけるTakumi活用と脆弱性管理のこれから
rvirus0817
0
530
デザイナーが Androidエンジニアに 挑戦してみた
874wokiite
0
550
Ruby Parser progress report 2025
yui_knk
1
450
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Building Adaptive Systems
keathley
43
2.7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
The World Runs on Bad Software
bkeepers
PRO
70
11k
The Language of Interfaces
destraynor
161
25k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
810
A better future with KSS
kneath
239
17k
Designing for humans not robots
tammielis
253
25k
Unsuck your backbone
ammeep
671
58k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
530
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました