Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Play Store Scrapper – Web Scraping Colaborativo

Big Data Week São Paulo
November 23, 2015
Technology
0
69

Google Play Store Scrapper – Web Scraping Colaborativo

Breno Riba e Erick Rocha
Developers @Big Data Corp

Big Data Week São Paulo

November 23, 2015
Tweet

More Decks by Big Data Week São Paulo

See All by Big Data Week São Paulo
Abertura Oficial: Big Data Week ao redor do mundo
bdwsaopaulo
0
54
Informativo: Tableau
bdwsaopaulo
0
73
Do DW ao Big Data: A melhoria da Tomada de Decisão
bdwsaopaulo
0
91
Big data expandindo a fronteiras das analises preditividas
bdwsaopaulo
0
69
Big Data na Globo.com
bdwsaopaulo
0
92
Estatística: a gramática de Data Science
bdwsaopaulo
0
53
Pteracuda – Monitoramento em grande escala de E-Commerces globais
bdwsaopaulo
0
50
O que é web semântica e como ela difere da web que conhecemos atualmente?
bdwsaopaulo
0
42
Computação na escala da web com ferramentas open source
bdwsaopaulo
0
88

Other Decks in Technology

See All in Technology
LLM開発・活用の舞台裏@2024.04.25
yushin_n
1
290
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな（2024年版）
infiniteloop_inc
4
15k
Cracking the KubeCon CfP
inductor
2
250
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions （PSS）
pacificspatialsolutions
0
280
Postman v10リリース後を振り返る / Looking back at Postman v10 after release
yokawasa
1
160
VS CodeでAWSを操作しよう
smt7174
8
1.7k
Janus
bkuhlmann
1
490
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
0
220
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
2.5k
Java EE/Jakarta EEの現状と将来 ―クラウドネイティブ時代にJava EEは対応できるのか？―
takakiyo
1
160
検証を通して見えてきたTiDBの性能特性
lycorptech_jp
PRO
6
3.8k

Featured

See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
Building Your Own Lightsaber
phodgson
99
5.7k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
4 Signs Your Business is Dying
shpigford
175
21k
Testing 201, or: Great Expectations
jmmastey
28
6.4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
648
58k
Scaling GitHub
holman
457
140k
BBQ
matthewcrist
80
8.8k
Navigating Team Friction
lara
178
13k
Writing Fast Ruby
sferik
621
60k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.6k
Six Lessons from altMBA
skipperchong
21
3k

Transcript

  1. Google Play Store Web Scraping Colaborativo BRENO RIBA E ERICK

    ROCHA

  2. O QUE É? Mineração de dados de Apps no Google

    Play

  3. MOTIVAÇÃO •  Já existem Apps similares com o que pretendo

    lançar? •  Qual o posicionamento de um App em relação a seus concorrentes? •  Quais são as características de um App de sucesso? •  Qual o App mais baixado de um determinado segmento? Porque extrair essas informações?

  4. BUSCA POR APPS

  5. CAPTURA COLABORATIVA

  6. ETAPAS DO CRAWLER •  Bootstrapper •  Processo responsável por gerar

    um banco de sementes que irá reunir uma pequena base de URL’s •  Worker •  Processo responsável por extrair informações de apps e retroalimentar a base de URL’s

  7. ARQUITETURA

  8. TECH STACK

  9. INFORMAÇÕES RELEVANTES •  Mais de um milhão de Apps capturados

    •  Média de 2 mil URL’s processadas por minuto

  10. INFORMAÇÕES RELEVANTES

  11. ONDE CONSIGO ACESSO AS BASES?

  12. BRENO RIBA [email protected] ERICK ROCHA [email protected] MUITO OBRIGADO!