Maintaining 200+ spiders and still having time to sleep

Maintaining 200+ spiders and still having time to sleep

O Jusbrasil lida diariamente com milhares de documentos públicos. O volume de documentos extraídos é trabalho de inúmeros spiders que constantemente acessam a Surface e Deep Web em busca de novos artefatos. Nessa palestra discutiremos como o projeto de Notícias foi estruturado para lidar com o grande volume de dados e aproximadamente 200 spiders em execução.

6dbafc7a4ba86959b02c97995bf7be70?s=128

Victor Martinez

December 02, 2016
Tweet