Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Play Store Scrapper – Web Scraping Colab...

Avatar for Big Data Week São Paulo Big Data Week São Paulo
November 23, 2015
Technology
1
60

Google Play Store Scrapper – Web Scraping Colaborativo

Breno Riba e Erick Rocha
Developers @Big Data Corp
Avatar for Big Data Week São Paulo

Big Data Week São Paulo

November 23, 2015
Tweet

More Decks by Big Data Week São Paulo

See All by Big Data Week São Paulo
Os data lakes têm salvação? Uma perspectiva histórica e evolutiva
Avatar for Big Data Week São Paulo bdwsp
2
300
Expandindo suas habilidades de big data batch processing para streaming e multi-cloud
Avatar for Big Data Week São Paulo bdwsp
1
97
Turbo Science… Data science com sangue nos olhos
Avatar for Big Data Week São Paulo bdwsp
1
220
Arquitetura, tecnologias e desafios das plataformas de dados e busca da B2W Digital
Avatar for Big Data Week São Paulo bdwsp
0
150
Utilizando Alteryx para Self-Service Analytics e alavancagem de vendas
Avatar for Big Data Week São Paulo bdwsp
0
88
ARQUITETURAS DATA-CENTRIC: A evolução das arquiteturas que disseminam a cultura de dados nas organizações
Avatar for Big Data Week São Paulo bdwsp
0
81
Redescobrindo o Papel do Apache Kafka® em Arquiteturas de Dados Modernas
Avatar for Big Data Week São Paulo bdwsp
0
110
02-09_-_BDW_Wermans_Barros.pdf
Avatar for Big Data Week São Paulo bdwsp
0
120
Inovação & Disrupção – O quanto dados, analytics e novas tecnologias podem impactar seus negócios
Avatar for Big Data Week São Paulo bdwsp
0
55

Other Decks in Technology

See All in Technology
マーケットプレイス版Oracle WebCenter Content For OCI
Avatar for oracle4engineer oracle4engineer
PRO
3
950
2025-06-26_Lightning_Talk_for_Lightning_Talks
Avatar for hashimo2 _hashimo2
2
120
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
Avatar for SHIFT EVOLVE shift_evolve
PRO
2
5.2k
KubeCon + CloudNativeCon Japan 2025 に行ってきた！ & containerd の新機能紹介
Avatar for Honahuku honahuku
0
120
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
Avatar for upamune / Yu SERIZAWA upamune
6
4.9k
Geminiとv0による高速プロトタイピング
Avatar for Shinya Masadome（東京AI祭） shinya337
0
220
20250707-AI活用の個人差を埋めるチームづくり
Avatar for shnjtk shnjtk
1
1.2k
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
Avatar for あれ __allllllllez__
1
120
Tech-Verse 2025 Keynote
Avatar for LINEヤフーTech (LY Corporation Tech) lycorptech_jp
PRO
0
1.6k
GeminiとNotebookLMによる金融実務の業務革新
Avatar for abenben abenben
0
250
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
Avatar for 弁護士ドットコム bengo4com
0
1.5k
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
Avatar for 弁護士ドットコム bengo4com
1
3.2k

Featured

See All Featured
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
246
12k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
28
3.9k
Sharpening the Axe: The Primacy of Toolmaking
Avatar for Bryan Cantrill bcantrill
44
2.4k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
134
9.4k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
15
1.5k
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
31
8.7k
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
233
17k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
32
2.4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
Avatar for Morgane Peng morganepeng
130
19k
KATA
Avatar for Megan Lloyd mclloyd
30
14k
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
7
500
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
63
7.8k

Transcript

  1. Google Play Store Web Scraping Colaborativo BRENO RIBA E ERICK

    ROCHA

  2. O QUE É? Mineração de dados de Apps no Google

    Play

  3. MOTIVAÇÃO •  Já existem Apps similares com o que pretendo

    lançar? •  Qual o posicionamento de um App em relação a seus concorrentes? •  Quais são as características de um App de sucesso? •  Qual o App mais baixado de um determinado segmento? Porque extrair essas informações?

  4. BUSCA POR APPS

  5. CAPTURA COLABORATIVA

  6. ETAPAS DO CRAWLER •  Bootstrapper •  Processo responsável por gerar

    um banco de sementes que irá reunir uma pequena base de URL’s •  Worker •  Processo responsável por extrair informações de apps e retroalimentar a base de URL’s

  7. ARQUITETURA

  8. TECH STACK

  9. INFORMAÇÕES RELEVANTES •  Mais de um milhão de Apps capturados

    •  Média de 2 mil URL’s processadas por minuto

  10. INFORMAÇÕES RELEVANTES

  11. ONDE CONSIGO ACESSO AS BASES?

  12. BRENO RIBA [email protected] ERICK ROCHA [email protected] MUITO OBRIGADO!