Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SpinAppを支えるデータ収集基盤
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
munaita_
August 17, 2017
Programming
1
880
SpinAppを支えるデータ収集基盤
2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です
munaita_
August 17, 2017
Tweet
Share
More Decks by munaita_
See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
munaita_
0
1k
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
munaita_
1
900
請求書から見るAWSとGCPの比較.pdf
munaita_
0
970
Other Decks in Programming
See All in Programming
Automatic Grammar Agreementと Markdown Extended Attributes について
kishikawakatsumi
0
200
AIによる開発の民主化を支える コンテキスト管理のこれまでとこれから
mulyu
3
470
MUSUBIXとは
nahisaho
0
140
要求定義・仕様記述・設計・検証の手引き - 理論から学ぶ明確で統一された成果物定義
orgachem
PRO
1
220
なぜSQLはAIぽく見えるのか/why does SQL look AI like
florets1
0
480
それ、本当に安全? ファイルアップロードで見落としがちなセキュリティリスクと対策
penpeen
7
4k
Vibe Coding - AI 驅動的軟體開發
mickyp100
0
180
フロントエンド開発の勘所 -複数事業を経験して見えた判断軸の違い-
heimusu
7
2.8k
AIと一緒にレガシーに向き合ってみた
nyafunta9858
0
250
AI Schema Enrichment for your Oracle AI Database
thatjeffsmith
0
330
Data-Centric Kaggle
isax1015
2
780
Amazon Bedrockを活用したRAGの品質管理パイプライン構築
tosuri13
5
790
Featured
See All Featured
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
5
740
Statistics for Hackers
jakevdp
799
230k
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
0
410
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Code Review Best Practice
trishagee
74
20k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.2k
Between Models and Reality
mayunak
1
190
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
1
130
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
260
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
330
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Product Roadmaps are Hard
iamctodd
PRO
55
12k
Transcript
SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)
- フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM
- Twitter: @munaita_ 自己紹介
突然ですが 【宣伝】
DATA AD アプリのマーケティングツール
便利そう って思った方、 懇親会で話しかけてください
DATA AD 本日はSpinAppのデータ収集基盤の紹介
- AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から
旧システムアーキテクチャ(AWS) 【しんどいP:LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP:Reashift】 データ増でコストUP 集計追いつかない
GCPで作り直した
- GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下
- ダウン時の影響読みきれず なぜGCP?
アーキテクチャ紹介
GCPのアーキテクチャ
うれしいこと
- コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現
たいへんなこと
- フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue
- BigQuery - なんとなくAWSに比べて障害多い気がする
話しきれないけど データ収集って 結構大変ですよね
にご相談ください
ありがとうございました