Upgrade to Pro — share decks privately, control downloads, hide ads and more …

How to collect large scale data using Javascript

How to collect large scale data using Javascript

Leonardo Rifeli

June 02, 2022
Tweet

More Decks by Leonardo Rifeli

Other Decks in Programming

Transcript

  1. How to collect large scale data using Javascript seo local

    | reviews | pesquisas
  2. None
  3. Agora a experiência é o novo marketing

  4. Somos a Harmo, a plataforma de marketing de experiência mais

    completa do Brasil.
  5. SEO Local A única plataforma 3 x 1 do Brasil

    Faça a gestão da presença digital da sua rede de lojas e seja encontrado no topo do ranking das pesquisas de forma 100% orgânica. 1 2 3
  6. Reviews A única plataforma 3 x 1 do Brasil Colete,

    analise e responda todos os reviews dos seus clientes, conquiste a confiança do consumidor e seja a marca escolhida. 1 2 3
  7. A única plataforma 3 x 1 do Brasil Pesquisas multimétricas

    para medir a experiência do cliente durante toda a jornada. Identifique promotores e ative o programa de indicação de reviews. Pesquisas 1 2 3
  8. Harmo, uma poderosa máquina de geração de ROI. Escute, interaja,

    analise e atue focado nos anseios dos clientes, durante toda a jornada, transformando os seus clientes no principal canal de aquisição de novos clientes.
  9. Grandes marcas atestam a qualidade da nossa plataforma e metodologia

    com foco em resultados
  10. NUMBERS Establishments +30k Reviews +15kk Integrations +54k Emails +6,6kk SMS

    +250k Answer of Review +1kk
  11. ▷ Distributed Process ▷ Scrapping vs Crawlers ▷ Some Concepts

    ▷ Why Javascript? ▷ Architecture for Scale ▷ Lessons Learning ▷ Example ▷ Conclusion Topics
  12. Distributed Process

  13. None
  14. Scraping vs Crawlers

  15. None
  16. Collector Concepts

  17. Be "Browserless"

  18. Recursion is your friends

  19. Single Responsability

  20. Normalize Data (input & output)

  21. Code reuse with packages

  22. Collector !== Processor

  23. Why Javascript?

  24. Use native streams

  25. Dynamic typing

  26. Do more with less

  27. Most used in the world

  28. Architecture for Scale

  29. None
  30. None
  31. None
  32. Lessons Learning

  33. Use code-base version alert

  34. Code reuse with packages

  35. Create E2E tests from the begin

  36. Be "Browserless"

  37. Use Puppeteer *reduce images

  38. None
  39. None
  40. Use Promise.all

  41. None
  42. Use monorepos

  43. Otherwise it will be chaos

  44. None
  45. None
  46. ▷ Web Scraping vs Web Crawling: The Differences ▷ HOW

    TO RUN ASYNC JAVASCRIPT FUNCTIONS IN SEQUENCE OR PARALLEL Links
  47. Collector Example

  48. None
  49. None
  50. Leonardo Rifeli | CTO leonardo.rifeli@harmo.me harmo.me seo local | reviews

    | pesquisas