Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
munaita_
August 17, 2017
Programming
1
860
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
990
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
920
Other Decks in Programming
See All in Programming
ふつうの技術スタックでアート作品を作ってみる
akira888
0
400
LINEヤフー データグループ紹介
lycorp_recruit_jp
0
1.9k
#QiitaBash MCPのセキュリティ
ryosukedtomita
0
900
既存デザインを変更せずにタップ領域を広げる方法
tahia910
1
270
Result型で“失敗”を型にするPHPコードの書き方
kajitack
5
580
童醫院敏捷轉型的實踐經驗
cclai999
0
210
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
610
プロダクト志向なエンジニアがもう一歩先の価値を目指すために意識したこと
nealle
0
120
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
2
140
Quand Symfony, ApiPlatform, OpenAI et LangChain s'allient pour exploiter vos PDF : de la théorie à la production…
ahmedbhs123
0
130
AIプログラマーDevinは PHPerの夢を見るか?
shinyasaita
1
190
設計やレビューに悩んでいるPHPerに贈る、クリーンなオブジェクト設計の指針たち
panda_program
6
1.9k
Featured
See All Featured
Speed Design
sergeychernyshev
32
1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building Applications with DynamoDB
mza
95
6.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
240
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Practical Orchestrator
shlominoach
188
11k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Adopting Sorbet at Scale
ufuk
77
9.4k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
How to Ace a Technical Interview
jacobian
277
23k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました