Automatiza la web con Puppeteer

A veces, determinados servicios no nos proveen de herramientas para automatizar procesos. Por ejemplo, acceder un sitio web a descargar un PDF y subirlo a un servidor puede ser una tarea recurrente y aburrida. Con Puppeteer puedes automatizar este tipo de tareas y convertir una serie de pasos manuales en un pequeño script en Nodejs.

Transcript

1. Automatiza la web con Puppeteer Angel M Miguel
2. @_angelmm Miembro del equipo técnico de VMware Desarrollador Full Stack. Me encantan los videojuegos y los vinilos! angelmm.rocks
3. 1. ¿Automatización web?
4. Cada 3 meses...
5. Cada 3 meses... • Acceder a los datos de la cuenta • Iniciar sesión en la interfaz web • Generar una contraseña aleatoria • Actualizar la contraseña • Guardar el nuevo valor x6
6. Cada 3 meses...
7. Posibles problemas • Olvidar rotar una de las cuentas • Guardar una contraseña errónea • Generar una contraseña insegura • Olvidar la contraseña en un fichero •
8. Automatiza la web Completa tareas o procesos que involucran interacciones web sin necesidad de intervención humana
9. En anteriores capítulos
10. 2. Puppeteer
11. Puppeteer (Tirititero) Es una librería para Node que te permite controlar Chrome, Chromium o Firefox* de manera programática. Fue lanzada en 2017 por Google.
12. Ventajas de Puppeteer • Utiliza el protocolo de DevTools • Instala la última versión compatible del navegador • Proporciona una API simple y común
13. Requisitos • Entorno de Node > 7.6.0 (Recomiendo 10.16.2 LTS) • Conocimientos básicos de Javascript, HTML y CSS y ecosistema Node (npm)
14. Instalación
15. Ejemplo básico - Obtener título de example.com
16. Ejemplo básico
17. Ejemplo básico
18. Ejemplo básico
19. Ejemplo básico
20. Ejemplo básico
21. Ejemplo básico
22. Ejemplo básico
23. Ejemplo básico
24. Ejemplo básico
25. Ejemplo Interacciones - Pregunta en StackOverflow
26. Ejemplo Interacciones
27. Ejemplo Interacciones
28. Ejemplo Interacciones
29. Ejemplo Interacciones
30. Ejemplo Interacciones
31. Ejemplo Interacciones
32. Ejemplo Interacciones
33. Ejemplo Interacciones
34. Ejemplo Interacciones
35. 3. ¡A rotar contraseñas!
37. Iniciar sesión
38. Iniciar sesión
39. Iniciar sesión
40. Iniciar sesión
41. Iniciar sesión
42. Iniciar sesión
43. Iniciar sesión 105 recursos! • JS • Images • CSS • ...
44. Iniciar sesión JS Iframe Iframe Iframe
45. Iniciar sesión Se necesitan descargar 105 recursos ~3-4s de carga entre pantallas Varios iframes para mostrar las cookies
46. Iniciar sesión - adblocker
47. Iniciar sesión - adblocker
48. Iniciar sesión - adblocker
49. Iniciar sesión - adblocker
50. Iniciar sesión - adblocker
51. Selectores
52. Selectores IDs únicos Classes CSS únicas Atributos Contenido #user, #search .search-field input[name="q"] //a[contains(., 'test')]
53. Listo! ¡Ya tenemos la contraseña rotada!
54. ¿Qué ocurre si hay fallos? • No funciona la web • La contraseña es inválida • 500 •
55. Visibilidad con logs y capturas Escribe en un fichero de log TODO lo que está haciendo el proceso de automatización. Puedes almacenar capturas de pantalla si es necesario.
56. Comprueba los cambios Repite el proceso para comprobar que los cambios
57. Dry-run Comprueba que todo el proceso es correcto y para antes de aplicar los cambios
58. Paraleliza el trabajo Cada llamada a puppeteer.launch() lanza un nuevo navegador
59. Paraleliza el trabajo https://github.com/SamVerschueren/listr
60. Angel M Miguel