A arquitetura de monitoramento da plataforma de vídeos da Globo.com - Lucas Costa

1475653f7dd3c7628d8da10d5635b8d8?s=47 DevOps-DF
November 08, 2017

A arquitetura de monitoramento da plataforma de vídeos da Globo.com - Lucas Costa

Nessa palestra pretendo apresentar a arquitetura de monitoramento da plataforma de vídeos da Globo.com, que constitui um dos componentes mais críticos e estratégicos da empresa.

Pretendo apresentar seus componentes principais (desde o player até os software de visualização de dados) e como se foi sua evolução ao longo dos últimos meses.

Com um grande enfoque na arquitetura da solução, pretendo apresentar os desafios, as razões por trás das escolhas que fizemos, os tradeoffs das implementações e os próximos passos.

Alguns dos componentes que serão abordados serão:

- o player de vídeos da Globo.com
- as métricas de usuário (coletadas via client-side)
- as métricas de sistema (coletadas via server-side)
- Kafka, como barramento de streaming de mensagens
- ELK, para coleta e armazenagem de métricas
- Parquet, para Big-Data
- Graphite, para consultas de séries temporais
- Grafana, para visualização de dados

1475653f7dd3c7628d8da10d5635b8d8?s=128

DevOps-DF

November 08, 2017
Tweet

Transcript

  1. A arquitetura de monitoramento da plataforma de vídeos da Globo.com

  2. Lucas Costa {twitter, github}.com/lucasrodcosta linkedin.com/in/lucasrodcosta lucasrodcosta@gmail.com

  3. A arquitetura de monitoramento da plataforma de vídeos da globo.com

  4. A maneira como consumimos vídeos mudou

  5. None
  6. None
  7. None
  8. None
  9. None
  10. None
  11. Como sobreviver nesse novo mercado?

  12. 1. Produção de conteúdo

  13. None
  14. None
  15. 2. Qualidade na entrega do conteúdo

  16. None
  17. None
  18. A arquitetura de monitoramento da plataforma de vídeos da globo.com

  19. HLS

  20. None
  21. None
  22. None
  23. None
  24. A arquitetura de monitoramento da plataforma de vídeos da globo.com

  25. “Achismo” -> Pragmatismo

  26. Reativos -> Proativos

  27. 2013

  28. 2013

  29. 2013

  30. + Genérica + Flexível + Robusta

  31. 2015

  32. 2015

  33. 2015

  34. None
  35. None
  36. 2016

  37. 2017

  38. 1.75M msgs/min com 10 units

  39. 90~120M docs/dia no Elasticsearch

  40. ~700 bytes

  41. 2017

  42. Uma solução para a todos governar

  43. None
  44. Ou quase todos...

  45. None
  46. None
  47. None
  48. Muito obrigado!

  49. Lucas Costa {twitter, github}.com/lucasrodcosta linkedin.com/in/lucasrodcosta lucasrodcosta@gmail.com

  50. ◦ https://www.javacodegeeks.com/2016/06/cassandra-heart-globos-live-st reaming-platform.html ◦ https://www.infoq.com/br/presentations/escalando-uma-plataforma-poli glota ◦ https://www.slideshare.net/leandro_moreira/nginxconf-globocoms-live-vi deo-platform-for-fifa-world-cup-14 ◦

    https://www.artofmonitoring.com/