Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
munaita_
August 17, 2017
Programming
1
860
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
990
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
890
請求書から見るAWSとGCPの比較.pdf
munaita_
0
920
Other Decks in Programming
See All in Programming
Claude Code派?Gemini CLI派? みんなで比較LT会!_20250716
junholee
1
530
テスターからテストエンジニアへ ~新米テストエンジニアが歩んだ9ヶ月振り返り~
non0113
2
220
AI コーディングエージェントの時代へ:JetBrains が描く開発の未来
masaruhr
1
200
「テストは愚直&&網羅的に書くほどよい」という誤解 / Test Smarter, Not Harder
munetoshi
0
200
React は次の10年を生き残れるか:3つのトレンドから考える
oukayuka
12
3.7k
20250704_教育事業におけるアジャイルなデータ基盤構築
hanon52_
5
1.1k
AI駆動のマルチエージェントによる業務フロー自動化の設計と実践
h_okkah
0
230
Advanced Micro Frontends: Multi Version/ Framework Scenarios @WAD 2025, Berlin
manfredsteyer
PRO
0
390
dbt民主化とLLMによる開発ブースト ~ AI Readyな分析サイクルを目指して ~
yoshyum
3
1.1k
Git Sync を超える!OSS で実現する CDK Pull 型デプロイ / Deploying CDK with PipeCD in Pull-style
tkikuc
4
350
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
0
350
#QiitaBash MCPのセキュリティ
ryosukedtomita
1
1.5k
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
96
6.1k
GraphQLとの向き合い方2022年版
quramy
49
14k
We Have a Design System, Now What?
morganepeng
53
7.7k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Facilitating Awesome Meetings
lara
54
6.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Building Adaptive Systems
keathley
43
2.7k
GitHub's CSS Performance
jonrohan
1031
460k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Balancing Empowerment & Direction
lara
1
450
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました