A arquitetura de monitoramento da plataforma de vídeos da Globo.com - Lucas Costa

Nessa palestra pretendo apresentar a arquitetura de monitoramento da plataforma de vídeos da Globo.com, que constitui um dos componentes mais críticos e estratégicos da empresa.

Pretendo apresentar seus componentes principais (desde o player até os software de visualização de dados) e como se foi sua evolução ao longo dos últimos meses.

Com um grande enfoque na arquitetura da solução, pretendo apresentar os desafios, as razões por trás das escolhas que fizemos, os tradeoffs das implementações e os próximos passos.

Alguns dos componentes que serão abordados serão:

- o player de vídeos da Globo.com
- as métricas de usuário (coletadas via client-side)
- as métricas de sistema (coletadas via server-side)
- Kafka, como barramento de streaming de mensagens
- ELK, para coleta e armazenagem de métricas
- Parquet, para Big-Data
- Graphite, para consultas de séries temporais
- Grafana, para visualização de dados

Transcript

1. A arquitetura de monitoramento da plataforma de vídeos da Globo.com
2. Lucas Costa {twitter, github}.com/lucasrodcosta linkedin.com/in/lucasrodcosta lucasrodcosta@gmail.com
3. A arquitetura de monitoramento da plataforma de vídeos da globo.com
4. A maneira como consumimos vídeos mudou
11. Como sobreviver nesse novo mercado?
12. 1. Produção de conteúdo
15. 2. Qualidade na entrega do conteúdo
18. A arquitetura de monitoramento da plataforma de vídeos da globo.com
19. HLS
24. A arquitetura de monitoramento da plataforma de vídeos da globo.com
25. “Achismo” -> Pragmatismo
26. Reativos -> Proativos
30. + Genérica + Flexível + Robusta
38. 1.75M msgs/min com 10 units
39. 90~120M docs/dia no Elasticsearch
40. ~700 bytes
42. Uma solução para a todos governar
44. Ou quase todos...
48. Muito obrigado!
49. Lucas Costa {twitter, github}.com/lucasrodcosta linkedin.com/in/lucasrodcosta lucasrodcosta@gmail.com
50. ◦ https://www.javacodegeeks.com/2016/06/cassandra-heart-globos-live-st reaming-platform.html ◦ https://www.infoq.com/br/presentations/escalando-uma-plataforma-poli glota ◦ https://www.slideshare.net/leandro_moreira/nginxconf-globocoms-live-vi deo-platform-for-fifa-world-cup-14 ◦ https://www.artofmonitoring.com/