SpinAppを支えるデータ収集基盤

2b2add9e3015b44a405350d778043424?s=47 munaita_
August 17, 2017
Programming
0
620

 SpinAppを支えるデータ収集基盤

2017/08/17の【一休 × JapanTaxi】サービスを支えるデータ分析基盤でのLT資料です

2b2add9e3015b44a405350d778043424?s=128

munaita_

August 17, 2017
Tweet

More Decks by munaita_

See All by munaita_
2b2add9e3015b44a405350d778043424?s=48 munaita_
0
620
2b2add9e3015b44a405350d778043424?s=48 munaita_
1
550
2b2add9e3015b44a405350d778043424?s=48 munaita_
0
420

Other Decks in Programming

See All in Programming
4047c64e3a1e2f81addd4ba675ddc451?s=48 zsmb
1
120
B793da271a45d149b52f507bca9f137c?s=48 77web
0
200
Fa54d97af93719f9aa82873de3acb3b3?s=48 decoc
1
320
0f50b010cc99988fba8a73008b21f353?s=48 e10dokup
0
430
405fe9ab689473f267e2cfbd95f78c75?s=48 kyonmm
2
2.1k
E473e5af1263c050599921981db46068?s=48 akatsukinewgrad
0
130
51ae114c2809ff0d2945c751efa7cffc?s=48 canon1ky
3
340
D5744e72b6a5e6673f991cab987a31ab?s=48 siketyan
1
110
7975b9fd58c8945ae1c6b38747de7f28?s=48 line_developers_tw2
0
530
270b0c7883545117a9a618dc7ca7cc83?s=48 xrdnk
0
130
6a87c9bfc71c805c3f5f248b359365d3?s=48 mu2in
0
130
3331499a8c17bf14833f22b9173223f1?s=48 hanakla
2
3k

Featured

See All Featured
9cde37f47e4a800ea081ea42de8d749a?s=48 dougneiner
55
5.4k
Af6a12710770ad9a7cfd08c97efd40d3?s=48 pedronauck
652
110k
Ded01cdab114abe4ec13511e4c25b9bb?s=48 andyhume
62
3.3k
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
437
28k
39488f9d172ab92fd352f2cd7b73258d?s=48 mza
80
4.1k
0bce06bd06ee7a2c4f5500f25dcf7f18?s=48 paulrobertlloyd
71
1.4k
5f2da528927a2ec9ba4fec2069cbc958?s=48 kneath
294
39k
282d599b414022eba5096510f675b6e2?s=48 chrislema
231
16k
3ab1249be442027903e1180025340b3f?s=48 reverentgeek
27
1.9k
F57e2136eb9895eb95ff5dc8a1c02677?s=48 zakiwarfel
88
3.3k
7559f6cff1f5efc2d210965febd4d71c?s=48 bermonpainter
342
26k
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
302
31k

Transcript

  1. SpinAppを支える データ収集基盤 2017/08/17 【一休 x JapanTaxi】サービスを支えるデータ分析基盤 鈴木省吾(@munaita_)

  2. - フリーランス - アドテク - 元渋谷C社 -> 現在OPT社で業務委託 - サーバー、インフラ、PM

    - Twitter: @munaita_ 自己紹介

  3. 突然ですが 【宣伝】

  4. DATA AD アプリのマーケティングツール

  5. 便利そう って思った方、 懇親会で話しかけてください

  6. DATA AD 本日はSpinAppのデータ収集基盤の紹介

  7. - AWSのEC2とRedshift中心のシステム - サービス拡大に伴い、しんどくなっていった まずは旧システムの紹介から

  8. 旧システムアーキテクチャ(AWS) 【しんどいP：LB直下のEC2】 瞬間的ピークのために待ち受け -> コストUP 【しんどいP：Reashift】 データ増でコストUP 集計追いつかない

  9. GCPで作り直した

  10. - GAE + GOで高速オートスケール - 安くてハイパフォーマンスなBigQuery - 全部GCPのほうが都合よさそう - PUB/SUBも使いたかったけど却下

    - ダウン時の影響読みきれず なぜGCP?

  11. アーキテクチャ紹介

  12. GCPのアーキテクチャ

  13. うれしいこと

  14. - コスト1/8になった(ガチ) - 詳しくは↓ 請求書から見るAWSとGCPの比較 https://speakerdeck.com/munaita_/qing-qiu-shu-karajian-ruawstogcpfalsebi-jiao - BigQueryが早くて安くてうれしい - 日毎にパーティション分割したテーブルで低コスト実現

  15. たいへんなこと

  16. - フルマネージドなサービスが結構エラー返す - Memcache on GAE - CloudStorage - TaskQueue

    - BigQuery - なんとなくAWSに比べて障害多い気がする

  17. 話しきれないけど データ収集って 結構大変ですよね

  18. にご相談ください

  19. ありがとうございました