Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SpinAppを支えるデータ収集基盤

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for munaita_ munaita_
August 17, 2017
Programming
1
880

 SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

Avatar for munaita_

munaita_

August 17, 2017
Tweet

More Decks by munaita_

See All by munaita_
GO/GAE + Pub/Subで 非同期タスクシステム作った
Avatar for munaita_ munaita_
0
1k
Tensorflowで"お姉さん"なのか"おばさん"なのかはっきりさせる
Avatar for munaita_ munaita_
1
900
請求書から見るAWSとGCPの比較.pdf
Avatar for munaita_ munaita_
0
970

Other Decks in Programming

See All in Programming
Claude Code の Skill で複雑な既存仕様をすっきり整理しよう
Avatar for yuichiro_takahashi yuichirokato
1
370
エンジニアの「手元の自動化」を加速するn8n 2026.02.27
Avatar for 西尾義英 symy2co
0
140
Windows on Ryzen and I
Avatar for 瀬尾佳隆 seosoft
0
260
What Spring Developers Should Know About Jakarta EE
Avatar for ivargrimstad ivargrimstad
0
410
Codexに役割を持たせる 他のAIエージェントと組み合わせる実務Tips
Avatar for o8n o8n
4
1.3k
AI時代でも変わらない技術コミュニティの力～10年続く“ゆるい”つながりが生み出す価値
Avatar for Takehata Naoto n_takehata
2
720
Ruby x Terminal
Avatar for Akira Matsuda a_matsuda
7
590
2026年は Rust 置き換えが流行る！ / 20260220-niigata-5min-tech
Avatar for girigiribauer girigiribauer
0
230
Go 1.26でのsliceのメモリアロケーション最適化 / Go 1.26 リリースパーティ #go126party
Avatar for mazrean mazrean
1
380
CSC307 Lecture 14
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
470
メタプログラミングで実現する「コードを仕様にする」仕組み/nikkei-tech-talk43
Avatar for 日本経済新聞社 エンジニア採用事務局 nikkei_engineer_recruiting
0
180
AHC061解説
Avatar for Shun_PI shun_pi
0
360

Featured

See All Featured
Paper Plane
Avatar for Katie Cordina Lindsey katiecoart
PRO
0
48k
SEO for Brand Visibility & Recognition
Avatar for Aleyda Solis aleyda
0
4.3k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
82
6.2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
34
2.7k
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
0
5.5k
XXLCSS - How to scale CSS and keep your sanity
Avatar for Zaharenia Atzitzikaki sugarenia
249
1.3M
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
Avatar for UX Y'all uxyall
0
200
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.2k
A Modern Web Designer's Workflow
Avatar for Chris Coyier chriscoyier
698
190k
Code Review Best Practice
Avatar for Trisha Gee trishagee
74
20k
Building a Modern Day 
E-commerce SEO Strategy
Avatar for Aleyda Solis aleyda
45
8.8k
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
340
58k

Transcript

  1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

  2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

    - Twitter: @munaita_ 自己紹介

  3. 突然ですが 【宣伝】

  4. DATA AD アプリのマーケティングツール

  5. 便利そう って思った方、 懇親会で話しかけてください

  6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

  7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

  8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない

  9. GCPで作り直した

  10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?

  11. アーキテクチャ紹介

  12. GCPのアーキテクチャ

  13. うれしいこと

  14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

  15. たいへんなこと

  16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする

  17. 話しきれないけど データ収集って 結構大変ですよね

  18. にご相談ください

  19. ありがとうございました