Kinesis, SQS ou tanto faz?

Conteúdo que busca conduzir as pessoas em um raciocínio que evidencia casos de uso em que vale ou não utilizar alguns dos diferentes componentes da AWS que se envolvem nos conceitos de mensageria e stream, para facilitar raciocínios de definição inicial de arquitetura.

Transcript

1. Mensagens via Kinesis, SQS, SNS ou tanto faz? #UsoConsciente =D
2. $ whoami Jeff (Jefferson Machado) - Infra man na Serasa - Mentor na Labtrack - +- sedentário - Entusiasta e organizador de comunidade (@criciumaops/@batepapodestartups)
4. O que são mensagens?
5. O que são mensagens? Podemos entender como textos/payloads enviados entre apps. Ou seja, troca de informação.
6. Simple Queue Service O Simple Queue Service enfileira mensagens para que suas aplicações possam consumi-las. Ref. https://aws.amazon.com/sqs/
7. Caso de uso A compra!
8. Caso de uso A compra!
9. Variações e insights
10. E ai as coisas evoluem! SQS: From 1 Million to 100 Billion Requests/Month —> $0.40
11. Mas então o que são eventos? Ou arquitetura orientada a eventos (event-driven)?
12. "An event-driven architecture uses events to trigger and communicate between decoupled services and is common in modern applications built with microservices." By AWS https://aws.amazon.com/event-driven-architecture
13. Ótimo! Bora usar SNS O Simple Notification Service passa para seus subscritos uma determinada mensagem/conteúdo que acionou (trigger) a notificação. Esse componente na AWS é chamado de tópico.
14. Como SNS funciona Ref. https://aws.amazon.com/sns/
15. Caso de uso 01 A compra! SQS: +1 Mi req/mês —> $0.40 SNS: + 1Mi req/mês -> $0.50 Data Transfer: First 9.999 TB/mês-> $0.09 per GB
16. Variações e insights
17. Ai seu manager diz: Me surpreenda… Quais as métricas do meu negócio?
18. Caso de uso A compra! ? ? ? ? ? ?
19. Caso de uso A compra!
20. Deu ruim! Preciso reprocessar os eventos do último dia…
21. Caso de uso A compra! ?
22. Ah, preciso de realtime então com histórico?!
23. Vamos de Kinesis…
24. Caso de uso A compra!
25. Caso de uso A compra! SQS: +1 Mi req/mês -> $0.40 SNS: + 1Mi req/mês -> $0.50 Data Transfer: First 9.999 TB/mês-> $0.09 per GB Kinesis: Data ingested, per GB (Includes 24-hour retention) -> $0.08 Data retrievals, per GB ->$0.04 Data stored, per GB-month (beyond 24 hours, up to 7 days) ->$0.10 30GB/mês = $7
26. Variações e insights
27. Porquê das confusões?
28. Porquê usar Kinesis? Vantagens Tempo real “Big Data” Registros por até 365 dias Desvantagens Administração de Shards (Capacidade) Manutenção de estado (Checkpoint) Ref. https://aws.amazon.com/kinesis/data-streams/faqs/ https://medium.com/trainingcenter/sqs-ou-kinesis-comparando-laranjas-com-ma%C3%A7%C3%A3s-fe193b974a61
29. Porquê usar SQS? Vantagens Fácil uso Throughput escalável Desvantagens Consumidor único Não permite reprocessamento Ref. https://aws.amazon.com/kinesis/data-streams/faqs/ https://medium.com/trainingcenter/sqs-ou-kinesis-comparando-laranjas-com-ma%C3%A7%C3%A3s-fe193b974a61
30. Conclusões e dúvidas? Vídeo Stream, RabbitMQ, Kafka, Event Bridge…
31. Temos vagas! serasa.gupy.io
32. Add eu se tiver afim beacons.ai/jeff_fm
33. Mensagens via Kinesis, SQS, SNS ou tanto faz? #UsoConsciente =D