Introducción al análisis de logs

Transcript

1. ANÁLISIS DE LOGS
2. Objetivos de hoy ⬡ Entender que son los logs de un servidor y por qué son útiles ⬡ Diferentes maneras de preparar los datos ⬡ Análisis end-to-end con ejemplos prácticos 2
3. 1. Conceptos básicos Empecemos por el principio
4. ¿Qué es un archivo de logs? También conocido como logfile. Es un archivo de texto plano donde se almacenan todos los eventos que ocurren dentro de un servidor, software o sistema operativo Depende del evento, encontramos diferentes tipos de logs: ⬡ ⬡ ⬡ ⬡ Access logs Error logs System logs ...
5. Access log
6. Access log
7. Access log - Una línea 54.144.223.204 - - [08/Sep/2021:14:16:54 +0200] "GET /creando-blog-seo-wordpress/feed/ HTTP/2" 304 0 "https://www.google.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
8. Desgranando una línea • • • • • • • • • 54.144.223.204 [08/Sep/2021:14:16:54 +0200] "GET /creando-blog-seo-wordpress/feed/ HTTP/2" 304 0 "https://www.google.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"
9. Vayamos al navegador...
10. 2. Preparar los datos A tu manera
11. Exportación
12. Parsing El parseo de datos consiste en transformar una cadena de texto (o string) en diferentes tipos de datos una vez transformado • • A mano Con scripts ◦ JS / Python ◦ Bash
13. Parsing • • • • • • • • Descomprimimos los datos y los exportamos en un excel/sheets El patrón de separación será el espacio Realizar separaciones a mano del método, URL y protocolo Limpiar corchetes de fecha y cambio horario Separar fecha y hora Aplicar diferencia horaria Añadir encabezados Listo
14. Parsing Si los archivos de logs son muy grandes, hay que dividirlos en otros archivos más pequeños (chunks) o limpiar datos previo al parseo • • • • Generación de chunks: ◦ split [archivo] (1000 líneas por defecto) Filtrar por un patrón: ◦ grep -h "Googlebot" [archivo] > [archivo-final] Juntar varios días y filtrar por un patrón ◦ cat *.[extensión] | grep -h "Googlebot" > [archivo-final] Juntar varios días: ◦ cat [archivo1] [archivo2] [archivo3] > [archivo-final]
15. Resultado final
16. Con Scripts En vez de realizar todo ese proceso a mano (que es bastante tedioso) podemos usar scripts que lo hagan por nosotros. ◦ Importante: Los logs pueden estar formateados distintos. En la documentación se presentan de una manera pero en el ejemplo que os muestro, los logs tienen un formato distinto. Tened eso en cuenta antes de usar ciertos scripts o puede que no funcionen.
17. Con Scripts https://github.com/blarsen/node-alpine
18. Con Scripts https://github.com/NachoSEO/rea d_logs/blob/master/read_logs.py
19. Con Scripts Con UNIX podemos aplicar ciertos comandos que no solo nos pueden ayudar a parsear los datos, sino también a limpiarlos e incluso extraer información.
20. Limpiar datos En la fase final de proceso limpiaremos los datos que no vayamos a usar • Filtrar solo por ciertos bots ◦ Googlebot, Bingbot, Ahrefsbot… • Eliminar los fake bots ◦ nslookup • Filtrar por ciertas secciones de la web o ciertas fechas • Eliminar ciertos tipos de archivos • ...
21. Herramientas de terceros
22. ELK de Oncrawl Analizador de logs en local 1. Instalar docker 2. Instalar ELK de Oncrawl 3. Configurar la imagen 4. Ejecutar docker-compose 5. Importar logs 6. Analizar
23. Kibana
24. 3. End-to-end Del dato al accionable
25. Algunos análisis para empezar ¿Qué User-agent navega más por mi web? ¿Google esta renderizando mis URLs? ¿Ya estoy en el mobile first? Relación entre crawling y profundidad ¿Qué páginas visita más frecuentemente? ¿De qué tipo? Detectar fake Googlebots Detectar dónde se está desperdiciando Crawl demand Número de hits por page type Monitorización de códigos de estado Crawling de páginas indexadas vs no indexadas Relación entre autoridad (PR) y crawling Control de migración a través de los logs ¿Ha visto Google cierto cambios realizados en el site?
26. Algunos análisis para empezar ¿Qué User-agent navega más por mi web? ¿Google esta renderizando mis URLs? ¿Ya estoy en el mobile first? Relación entre autoridad (PR) y crawling ¿Qué páginas visita más frecuentemente? ¿De qué tipo? Control de migración a través de los logs Detectar dónde se está desperdiciando Crawl demand ¿Ha visto Google cierto cambios realizados en el site? Monitorización de códigos de estado Número de hits por page type Crawling de páginas indexadas vs no indexadas Detectar fake Googlebots Relación entre crawling y profundidad
27. ¿Qué User-agent navega más por mi web? ⬡ ⬡ ⬡ ⬡ ⬡ Detectar qué bots realizan más hits Buscar patrones de en el user-agent, IPs o zonas geográficas Bloquear aquellos que consumen demasiados recursos o que son “fraudulentos” Podemos usar servicios (Cloudflare, Istio, Fastly) que limiten los hits de ciertos bots para mantener la estructura estable El código de estado 429 es el idóneo para estos casos
28. Caso práctico #1
29. Caso práctico #1 ⬡ ⬡ ⬡ Reducción del tráfico fake Subida del VoV de esa región geográfica “Evitar” que scrapers roben el contenido
30. Desperdiciando Crawl demand ⬡ Detectar las páginas más importantes para negocio y ver si también lo son para Google ∙ Si no, podemos modificar el enlazado interno o la jerarquía de la web para dotar de más importancia a esas páginas (los hits deberían ser una pista de esto) ⬡ Detectar dónde se está desperdiciando más crawling y modificar la estructura del site para reconducir ∙ Dependiendo lo grande que sea un site, esto puede no tener sentido (>100k)
31. Desperdiciando Crawl demand ⬡ ¿Existe alguna URL no indexada con muchas peticiones? ∙ Podemos buscar motivos (enlaces externos, internos, algún cambio reciente…) para tomar la decisión de si reindexarla de nuevo o no ⬡ ¿Se está focalizando Google en partes del site que no queremos y un noindex no es suficiente? ∙ Podemos eliminar dichas páginas o hacerlas más profundas
32. Caso práctico #2
33. Caso práctico #2
34. Monitorización de código de estado ⬡ Arreglar los código de estado 500 y 4xx (en la medida que se pueda) y localizar patrones ⬡ Los 3xx pueden indicar que hay enlaces internos deprecados y necesitaremos reemplazar para que apunten directamente a los 200
35. Caso práctico #3
36. Caso práctico #3 ⬡ Se empiezan a detectar un aumento de errores a partir de un despliegue ⬡ Se detecta que el sistema de paginación se rompe a partir de cierto número ⬡ Se detecta y se arregla evitando una pérdida de enlazado interno usado para descubrimiento y para distribución de autoridad
37. Control de migración a través de los logs ⬡ Ver que Gbot empieza a hacer peticiones sobre las URLs antiguas y las migradas son una pista de que ha empezado el proceso de “mover señales” ⬡ Gary Illyes confirmó que existen varios tipos de Googlebots (con el mismo user-agent) ∙ Uno que crawlea de forma indiscriminada y más rápida para hacer ciertas validaciones previas ∙ Un segundo que acaba de confirmar lo que ve el primero y es el que “manda al índice”
38. Caso práctico #4
39. Número de hits por Page Type
40. Ver un DDOS en tiempo real
41. Análisis de logs automático ELK como stack de ingestión, transformación y visualización de logs de todos los servicios. Grafana como visualizador y como el gestor de alertas.
42. Análisis de logs automático
43. Análisis de logs automático
44. Análisis de logs automático
45. Análisis de logs automático
46. Muchas gracias ^^