Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Google Play Store Scrapper – Web Scraping Colab...

Big Data Week São Paulo
November 23, 2015
Technology
1
56

Google Play Store Scrapper – Web Scraping Colaborativo

Breno Riba e Erick Rocha
Developers @Big Data Corp

Big Data Week São Paulo

November 23, 2015
Tweet

More Decks by Big Data Week São Paulo

See All by Big Data Week São Paulo
Os data lakes têm salvação? Uma perspectiva histórica e evolutiva
bdwsp
2
280
Expandindo suas habilidades de big data batch processing para streaming e multi-cloud
bdwsp
1
91
Turbo Science… Data science com sangue nos olhos
bdwsp
1
200
Arquitetura, tecnologias e desafios das plataformas de dados e busca da B2W Digital
bdwsp
0
140
Utilizando Alteryx para Self-Service Analytics e alavancagem de vendas
bdwsp
0
79
ARQUITETURAS DATA-CENTRIC: A evolução das arquiteturas que disseminam a cultura de dados nas organizações
bdwsp
0
76
Redescobrindo o Papel do Apache Kafka® em Arquiteturas de Dados Modernas
bdwsp
0
110
02-09_-_BDW_Wermans_Barros.pdf
bdwsp
0
110
Inovação & Disrupção – O quanto dados, analytics e novas tecnologias podem impactar seus negócios
bdwsp
0
48

Other Decks in Technology

See All in Technology
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
450
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
310
エンジニア人生の拡張性を高める 「探索型キャリア設計」の提案
tenshoku_draft
1
130
FlutterアプリにおけるSLI/SLOを用いたユーザー体験の可視化と計測基盤構築
ostk0069
0
120
【LT】ソフトウェア産業は進化しているのか？ #Agilejapan
takabow
0
100
日経電子版のStoreKit2フルリニューアル
shimastripe
1
150
BLADE: An Attempt to Automate Penetration Testing Using Autonomous AI Agents
bbrbbq
0
330
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
1.4k
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
2
3.2k
VideoMamba: State Space Model for Efficient Video Understanding
chou500
0
200
TanStack Routerに移行するのかい しないのかい、どっちなんだい！ / Are you going to migrate to TanStack Router or not? Which one is it?
kaminashi
0
610
10XにおけるData Contractの導入について: Data Contract事例共有会
10xinc
7
690

Featured

See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
506
140k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
How GitHub (no longer) Works
holman
310
140k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Building Better People: How to give real-time feedback that sticks.
wjessup
364
19k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Thoughts on Productivity
jonyablonski
67
4.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
28
2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Building Applications with DynamoDB
mza
90
6.1k
Making Projects Easy
brettharned
115
5.9k

Transcript

  1. Google Play Store Web Scraping Colaborativo BRENO RIBA E ERICK

    ROCHA

  2. O QUE É? Mineração de dados de Apps no Google

    Play

  3. MOTIVAÇÃO •  Já existem Apps similares com o que pretendo

    lançar? •  Qual o posicionamento de um App em relação a seus concorrentes? •  Quais são as características de um App de sucesso? •  Qual o App mais baixado de um determinado segmento? Porque extrair essas informações?

  4. BUSCA POR APPS

  5. CAPTURA COLABORATIVA

  6. ETAPAS DO CRAWLER •  Bootstrapper •  Processo responsável por gerar

    um banco de sementes que irá reunir uma pequena base de URL’s •  Worker •  Processo responsável por extrair informações de apps e retroalimentar a base de URL’s

  7. ARQUITETURA

  8. TECH STACK

  9. INFORMAÇÕES RELEVANTES •  Mais de um milhão de Apps capturados

    •  Média de 2 mil URL’s processadas por minuto

  10. INFORMAÇÕES RELEVANTES

  11. ONDE CONSIGO ACESSO AS BASES?

  12. BRENO RIBA [email protected] ERICK ROCHA [email protected] MUITO OBRIGADO!