Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SpinAppを支えるデータ収集基盤

2b2add9e3015b44a405350d778043424?s=47 munaita_
August 17, 2017
Programming
0
680

 SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

2b2add9e3015b44a405350d778043424?s=128

munaita_

August 17, 2017
Tweet

More Decks by munaita_

See All by munaita_
2b2add9e3015b44a405350d778043424?s=48 munaita_
0
670
2b2add9e3015b44a405350d778043424?s=48 munaita_
1
600
2b2add9e3015b44a405350d778043424?s=48 munaita_
0
480

Other Decks in Programming

See All in Programming
7a0892afffbcbd35fd84d46508b3a914?s=48 dropout009
2
510
Ae7a5166a7b7776ffdd5676c2d6ab42f?s=48 aseiide
1
220
09923d8b0c79423a289b7d5dc31a59e4?s=48 mururu
0
570
33ef4c1ebe619115b552db9a9f9a3509?s=48 sadnessojisan
3
260
C69a66be00bc04081feb1674c9085ca2?s=48 n_makoto
2
180
30e63a1ad21d3944b288fc3d33d1e920?s=48 amrrs
0
120
8a820699dff43e6b707a488b592e7a21?s=48 choplin
2
610
2564c99f616f1ecfc0f617a6fe87e2a9?s=48 penguin045
0
820
Eabc3d48a76f6827e35a4cd0a44008b3?s=48 sunyryr
0
330
A3fa7c92c26f1170762202d574c19e20?s=48 soh335
1
290
15934fa2aa7b2ce21f091e9b7cffa856?s=48 manfredsteyer
PRO
0
160
0881bf028854bea223770e6bfc0a4065?s=48 martin_lover
1
520

Featured

See All Featured
Fde6c3a50ca518a909ef35c22c0ee0e4?s=48 destraynor
148
20k
245cee81a9c424266e5e401d844ea881?s=48 lara
27
3.4k
15f2b8221f247985a27a627d2ece72f0?s=48 pauljervisheath
195
16k
B3d6434763caa0ef5dc4b792662c49f7?s=48 smashingmag
288
47k
245cee81a9c424266e5e401d844ea881?s=48 lara
596
62k
5f83ef806155b403c3393160ce51f955?s=48 jlugia
218
16k
761be20b5ebd271008bcee1244fc5b52?s=48 matthewcrist
73
7.7k
0bce06bd06ee7a2c4f5500f25dcf7f18?s=48 paulrobertlloyd
74
1.7k
25c7c18223fb42a4c6ae1c8db6f50f9b?s=48 mojombo
364
63k
9fa239b3154a0169d99ab7bf1422dd12?s=48 marcelosomers
224
15k
1519587b1a0febb658c36c94f6272b0d?s=48 roundedbygravity
249
21k
B3ace07412a5178ea778e7eec161fc0a?s=48 jcasabona
10
740

Transcript

  1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

  2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

    - Twitter: @munaita_ 自己紹介

  3. 突然ですが 【宣伝】

  4. DATA AD アプリのマーケティングツール

  5. 便利そう って思った方、 懇親会で話しかけてください

  6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

  7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

  8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない

  9. GCPで作り直した

  10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?

  11. アーキテクチャ紹介

  12. GCPのアーキテクチャ

  13. うれしいこと

  14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

  15. たいへんなこと

  16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする

  17. 話しきれないけど データ収集って 結構大変ですよね

  18. にご相談ください

  19. ありがとうございました