Processamento paralelo de mensagens em Elixir

Transcript

1. Processamento de mensagens em Elixir
2. Quem sou eu? - Erich Rodrigues Ferrares - 23 anos - FATEC e UNIFESP - Na Quero há quase 2 anos - #TeamVendas - #TeamRelacionamento - #TeamAdmissoes - Trabalhei com o time de relacionamento a maior parte do tempo
4. Time Relacionamento - Vencedor por dois anos consecutivos do prêmio de melhor atendimento do Brasil - 150+ pessoas
6. OPA - Sistema utilizado pela nossa equipe de relacionamento (Vendas e Pós Vendas) - Usado para fazer e atender ligações - Interações com os alunos - Integrado com Whatsapp - Relatórios dos guias - Informações de todas os alunos, bolsas e faculdades
9. OPA Ferramentas - Linguagem Elixir (Primeiro serviço na empresa) - Framework Phoenix - VueJS / Nuxt - Banco PostgreSQL - Algolia (Serviço de busca)
10. Whatsapp - API Closed Beta - Entre as duas primeiras empresas no Brasil a testar - YCombinator - Vantagem técnica e estratégica
11. Problema Desafio
13. 100_000's de mensagens por dia
14. BOTS SPAM Delays nos serviços
16. Desafio Precisamos que o nosso atendimento seja: - Eficiente - Eficaz - Com uma qualidade alta
17. Primeira abordagem - Todo processamento é feito sincronamente - Utilizando HTTP
18. Primeira abordagem Exemplo de códigos - Mensagem chegando - Processando a mensagem sincronamente - Vue fazendo polling
23. Resultado Problemas - Tempo entre a mensagem ser enviada, até chegar no guia - Block desnecessário - Tempo de interação - Desperdício de recursos - Limite de conexões com o banco - ok - Limite de concorrência no mesmo processo - ok
25. Processamento paralelo de mensagens em Elixir
26. Processos em Elixir - Gerenciados pela VM ao invés do SO - Leves e rápidas de se criar - Utiliza pouca memória, por isso pode criar quantos processos precisar - Erlang cria um schedule por core do processador, que cuida da execução - Erlang consegue fazer um load balancing dos schedulers
27. Processos em Elixir - Não compartilham memória, só funcionam por passagem de mensagens - Assim não precisa tratar locks ou bugs por acessos simultâneos
28. Spawn - Mecanismo básico para se criar um novo processo - Recebe uma função que será executada em outro processo
29. Spawn
30. Task - Conveniência para criar e esperar por processos - Melhores stacktraces
31. Task
32. Genserver - Módulo para implementar o lado server de uma relação client-server - Mantém estado - Executa código assíncrono
34. Poolboy Lib para limitar a quantidade de processos simultâneos
35. Poolboy - Exemplo Acesso ao banco de dados com um processo por usuário
36. Channels - Torna possível a comunicação entre milhões de processos - Alguns casos de exemplo: - Notícias em tempo real - Rastreamento - Eventos em jogos multiplayer - Monitoramento de sensores - Salas de Chat
40. Solução final
41. Segunda abordagem
42. Segunda abordagem - Tempo entre a mensagem ser enviada, até chegar no guia - Ok - Block desnecessário - Ok - Tempo de interação - Ok - Desperdício de recursos - Ok - Limite de conexões com o banco - Ok - Limite de concorrência no mesmo processo - Ok
44. Referências - Elixir - https://elixir-lang.org/docs.html - Phoenix - https://phoenixframework.org/ - Nuxt - https://nuxtjs.org/ - Poolboy - https://elixirschool.com/pt/lessons/libraries/poolboy/ - Algolia - https://www.algolia.com
45. Obrigado!