Como processar 10 milhões de registros por hora com Ruby

Ruby é uma das últimas escolhas pra quem precisa construir aplicações de alta performance. Afinal, a gente sempre ouve falar que a linguagem é lenta e não escala, certo? Bam! Nesta palestra vamos mostrar que isso não é verdade contando o caso da E.Life, que processa mais de 450 GB de dados por dia usando Ruby em uma estrutura super enxuta de servidores. Sim, é possível construir um sistema de alta performance com Ruby que consome poucos recursos.

Transcript

1. como processar 10 milhões de registros por hora com ruby ou sim, ruby escala!
3. LAILSON BANDEIRA • Fundador do Frevo on Rails • Co-organizador do Tropical Ruby • B.Sc. e M.Sc. em Ciência da Computação pelo CIn/UFPE • Programador com mais de 10 anos de experiência
4. GUAVA.COM.BR
5. We deliver it social. Monitoramento, relacionamento e analytics de dados de redes sociais para marcas.
6. Buzzmonitor The next generation tool for Social Media Experts. getbuzzmonitor.com
7. buzzmonitor tem grandes clientes
8. instagram bombando 2013
9. — pra quando? — pra ontem!
11. autorizado pelo cliente
12. MVP PARTE 1
13. MINIMUM VIABLE PRODUCT MVP “Como atender a necessidade dos
 usuários o mais rápido possível?"
14. MINIMUM VIABLE PRODUCT requisitos 1 Cadastro de marcas com #hashtags e @profiles. 2 Coleta dos posts que contêm as #hashtags e postados pelos @profiles. 3 Filtragem e exportação via XLS para importação no Buzzmonitor.
15. MINIMUM VIABLE PRODUCT ruby?
16. http://benchmarksgame.alioth.debian.org/u64q/compare.php?lang=yarv&lang2=gcc
17. MINIMUM VIABLE PRODUCT ruby!
18. http://martinfowler.com/bliki/SacrificialArchitecture.html
19. MINIMUM VIABLE PRODUCT RAILS
20. MINIMUM VIABLE PRODUCT exemplo CONTA Coca-cola MARCA Coca-cola #cocacola #shareacoke @cocacola MARCA Fanta #fanta @fanta MARCA Pepsi #pepsi #pepsicolasign @pepsi
21. MINIMUM VIABLE PRODUCT RAILS POSTGRES
22. MINIMUM VIABLE PRODUCT crawler SIDEKIQ INSTAGRAM RAILS POSTGRES REDIS ELASTICSEARCH
23. MINIMUM VIABLE PRODUCT crawler SIDEKIQ INSTAGRAM RAILS POSTGRES REDIS ELASTICSEARCH
24. MINIMUM VIABLE PRODUCT crawler SIDEKIQ INSTAGRAM RAILS POSTGRES REDIS ELASTICSEARCH wtl
25. MINIMUM VIABLE PRODUCT 3 meses
26. MINIMUM VIABLE PRODUCT heroku!
27. MINIMUM VIABLE PRODUCT desafios Não basta coletar os posts uma só vez 1 Como lidar com os limites da API do Instagram? 2 SOLUÇÃO Coletar e atualizar posts dos últimos 15 dias. SOLUÇÃO Criar pool de tokens.
28. MINIMUM VIABLE PRODUCT perguntas Por que guardar uma cópia no Postgres? 1 2 Por que não fazer a busca no Postgres?
29. https://www.elastic.co/guide/en/elasticsearch/resiliency/current/index.html
30. MINIMUM VIABLE PRODUCT perguntas Por que guardar uma cópia no Postgres? 1 2 Por que não fazer a busca no Postgres?
31. MINIMUM VIABLE PRODUCT
32. MINIMUM VIABLE PRODUCT gargalo
33. MINIMUM VIABLE PRODUCT gargalo
34. MINIMUM VIABLE PRODUCT posts
35. MINIMUM VIABLE PRODUCT posts_2016_5_1 posts_2016_5_2 posts_2016_5_3 posts_2016_5_4 posts_2016_5_5 posts_2016_5_6
36. MINIMUM VIABLE PRODUCT
37. MINIMUM VIABLE PRODUCT class Post < Sequel::Model one_to_many :hashtag dataset_module do def with_remote_id(rid) first(remote_id: rid) end end end Post.create(remote_id: ‘123_45678',...)
38. MINIMUM VIABLE PRODUCT DB[:posts].insert( remote_id: '123_45678', content: 'My new #shoes #beautiful, #stylish', hashtags: ['shoes', 'beautiful', ‘stylish’], remote_created_at: '2016-05-18 17:58:23', ... )
39. MINIMUM VIABLE PRODUCT class PostRepository def insert(post) table_name = table_name_for(post) DB[table_name].insert(post) end ... end PostRepository.new.insert(remote_id: '123_45678')
40. SOA PARTE 2
41. SERVICE-ORIENTED ARCHITECTURE mais
 dados mais dynos/ serviços sistema
 lento maior
 custo
42. SERVICE-ORIENTED ARCHITECTURE novo requisito “Queremos que os posts de Instagram apareçam automaticamente no Buzzmonitor"
43. SERVICE-ORIENTED ARCHITECTURE novo requisito TRADUZINDO… API Criar API para gerenciamento de marcas. BUZZMONITOR Enviar os posts coletados para o Buzzmonitor.
44. SERVICE-ORIENTED ARCHITECTURE class FetchPosts include Sidekiq::Worker def perform(name, count) posts = crawl_posts index_in_elasticsearch(posts) store_in_database(posts) send_to_buzzmonitor(posts) end end
45. SERVICE-ORIENTED ARCHITECTURE class FetchPosts include Sidekiq::Worker def perform(name, count) posts = crawl_posts index_in_elasticsearch(posts) store_in_database(posts) send_to_buzzmonitor(posts) end end
46. SERVICE-ORIENTED ARCHITECTURE solução Usar um message bus para a comunicação.
47. https://www.cloudamqp.com
48. SERVICE-ORIENTED ARCHITECTURE 2 meses
49. SERVICE-ORIENTED ARCHITECTURE crawler rabbitMQ INSTAGRAM SIDEKIQ indexer ELASTIC SEARCH REDIS POSTGRES SNEAKERS storage SNEAKERS MONGODB RAILS
50. SERVICE-ORIENTED ARCHITECTURE crawler rabbitMQ INSTAGRAM SIDEKIQ indexer ELASTIC SEARCH REDIS POSTGRES SNEAKERS storage SNEAKERS MONGODB buzzmonitor SNEAKERS API RAILS RAILS
51. SERVICE-ORIENTED ARCHITECTURE sneakers?
52. http://jondot.github.io/sneakers/
53. https://github.com/gocardless/hutch
54. SERVICE-ORIENTED ARCHITECTURE crawler rabbitMQ INSTAGRAM SIDEKIQ indexer ELASTIC SEARCH REDIS POSTGRES SNEAKERS storage SNEAKERS MONGODB buzzmonitor SNEAKERS API RAILS RAILS analytics RAKE
55. SERVICE-ORIENTED ARCHITECTURE stats de jobs processados no Sidekiq por dia 3,9M de mensagens processadas no RabbitMQ por dia 19,2M de registros processados por dia 240M de dados trafegando no RabbitMQ por dia 456GB 98GB quando compactado
56. SERVICE-ORIENTED ARCHITECTURE stats custo total por mês US$ 2,246 HEROKU com servidores US$ 775 projetos 8 dynos 31 SERVIÇOS US$ 714 Elastic Cloud US$ 380 MongoDB US$ 299 CloudAMQP US$ 50 PostgreSQL US$ 28 openredis
57. SERVICE-ORIENTED ARCHITECTURE próximos passos Remover Sidekiq + Redis 1 Re-escrever crawler em Elixir? 2
58. lições aprendidas PARTE 3
59. LIÇÕES APRENDIDAS muitas certezas não são verdadeiras
60. LIÇÕES APRENDIDAS muitas certezas não são verdadeiras "Ruby não é adequado para este projeto." "Heroku não é a melhor plataforma."
61. LIÇÕES APRENDIDAS heroku é uma plataforma ótima para este projeto
62. LIÇÕES APRENDIDAS “o inferno são as dependências”
63. LIÇÕES APRENDIDAS a topologia da rede é importante
64. LIÇÕES APRENDIDAS ágil == vida ❤
65. LIÇÕES APRENDIDAS o rabbitmq funciona como um buffer VANTAGEM
66. LIÇÕES APRENDIDAS alto desacoplamento entre os serviços VANTAGEM
67. LIÇÕES APRENDIDAS mudanças no formato de dados são custosas DESVANTAGEM
68. LIÇÕES APRENDIDAS fluxos ficam distribuídos em vários projetos DESVANTAGEM
69. LIÇÕES APRENDIDAS rabbitmq funciona como single point of failure DESVANTAGEM
70. LIÇÕES APRENDIDAS sim, ruby e big data combinam!
71. Apresentação realizada em 18/05/2016 como parte do Encontro de Maio/2016 do Frevo on Rails, disponível em https://speakerdeck.com/lailsonbm/como- processar-10-milhoes-de-registros-por-hora-com-ruby. Slides criados no Keynote com as fontes Galano Grotesque, Bernini Sans e Input. Creative Commons Attribution 4.0 International License. ENCONTRO DE MAIO/2016 DO FREVO ON RAILS LAILSON BANDEIRA https://github.com/lailsonbm https://twitter.com/lailsonbm https://speakerdeck.com/lailsonbm como processar 10 milhões de registros por hora com ruby — ou sim, ruby escala