Processando bilhões de eventos - Aprendizados de uma Black Friday em produção

A RD Station disparou 1 bilhão de e-mails na Black Friday de 2019, mas como processar tudo isso?

Como garantir que nossos clientes vão ter dados sobre esses disparos em segundos, garantindo assim o sucesso do negócio deles?

Nesta talk, Rogerio Angeliski conta como o time de e-mail redesenhou a arquitetura de uma das peças centrais de seu negócio para entregar mais confiabilidade e resiliência para seus clientes.

Programação

Transcript

1. Processando bilhões de eventos 7 aprendizados de uma Black Friday em produção @angeliski_
2. Twitter: @angeliski_ https://www.linkedin.com/in/angeliski/
3. O que o RD Station Marketing faz?
4. ~1 bilhão de emails enviados por mês
5. 1 email pode gerar de 3 a 5 eventos
6. ~3 a 5 bilhões de eventos processados por mês
7. Black Friday 2019 1 bilhão de emails enviados em 1 dia
8. Black Friday 2019
9. 1.Use os dados para projetar sua carga Os dados podem evitar grandes surpresas mas não todas
10. Notify - Arquitetura Antiga Fonte: https://medium.com/rd-shipit/conhe%C3%A7a-como-a-rd-station-entrega-as-estat%C3%ADsticas-de-3-bilh%C3%B5es-de-eventos-mensais-em-seus-e-mails-6657aac1f798
11. 2.Alguns dados tem um tempo de vida limitado Colete os dados depois do problema ou isso vai ser outro problema
12. Notify - Arquitetura Nova Fonte: https://medium.com/rd-shipit/conhe%C3%A7a-como-a-rd-station-entrega-as-estat%C3%ADsticas-de-3-bilh%C3%B5es-de-eventos-mensais-em-seus-e-mails-6657aac1f798
13. 3.Invista tempo no design doc Meça duas vezes. Corte uma vez só
14. Os problemas • Escalabilidade limitada • Alto acoplamento no redis/sidekiq • Alto acoplamento em outras aplicações (RDSM) • Reprocessamento em incidentes é muito demorado O design doc ajudou a identificar
15. Pub/Sub • Entrega pelo menos uma vez • Global por padrão • Nenhum provisionamento, tudo automático • Retenção por 7 dias • Dead letter automático • Monitoramento simplificado • Sem custo de operação • Escalonamento automático horizontal; • Integração nativa do Dataflow com o Pub/Sub; • Retry automático com opção de configuração de backoff exponencial e limite de retires; Dataflow
16. 4.Escalabilidade também é sobre custo Estimar os custos faz a diferença
17. Quanto custa isso?
18. Desligamento automático de pipelines no ambiente de staging
19. 5.Antecipe problemas, entregue valor Como você entrega valor mais rápido?
20. Ele vai falar de ágil de novo?
21. 6.Esteja atento ao que não é parte do negócio mas é importante Existem muitas preocupações que não fazem parte da regra de negócio
22. Feature/Service Circuit Breaker Metrics Alertas Background Processing Deploy Sharding Rate limiting Ops Runbook Service Levels GRPC/ JSON Authentication CI Logs PROTEINA Tracing Exponential backoff PUB/ SUB Authorization
23. 7.Incidentes vão acontecer E você precisa estar preparado para lidar com isso
24. “Quase incidente” evitado Subscription de eventos de estatísticas de email para o RDStation Redis do RDStation
25. Testes de carga Até onde vai essa escalabilidade? Usando o JMeter nós identificamos os limites da nossa aplicação: • Quantidade de pods necessários no ingress-controller para cada 1000 rps; • Quantidade de pods necessários na api para suportar uma carga de 1000 rps; • Configuração de CPU e memória necessária para os pods (mínimo e máximo).
26. Notify - Reprocessamento Incidentes Fonte: https://medium.com/rd-shipit/conhe%C3%A7a-como-a-rd-station-entrega-as-estat%C3%ADsticas-de-3-bilh%C3%B5es-de-eventos-mensais-em-seus-e-mails-6657aac1f798
27. 1.Use os dados para projetar sua carga 2.Alguns dados tem um tempo de vida limitado 3.Invista tempo no design doc 4.Escalabilidade também é sobre custo 5.Antecipe problemas, entregue valor 6.Esteja atento ao que não é parte do negócio mas é importante 7.Incidentes vão acontecer
28. Dúvidas?