Executando Background Jobs

Background Jobs + Sidekiq

Transcript

1. Executando Back round Jobs
2. Requisições devem ser rápidas
3. Amazon poderia perder $1.6 bilhão por ano se o tempo de carre amento aumentasse apenas 0.5s. http://fnando.me/ip
4. Goo le estimou que 8 milhões de buscas diárias deixariam de ser realizadas se o tempo de carre amento aumentasse apenas 0.04s. http://fnando.me/ip
5. Para ser rápida, uma requisição precisa fazer poucas coisas. Velocidade
6. john@example.org •••••••••• Your e-mail address Type your password Si nup
7. Verifica unicidade, salva no banco, indexa… Envia e-mail de confirmação/ boas-vindas… Adiciona no índice de busca… Gera métricas…
8. Al umas tarefas estão fora de seu controle e podem demorar muito (ou até mesmo dar timeout). Imprevisível
9. adjective In computer pro rammin , asynchronous events are those occurrin independently of the main pro ram flow. Asynchronous actions are actions executed in a non-blockin scheme, allowin the main pro ram flow to continue processin . a•syn•chro•nous
10. Back round Jobs
11. Relatórios. Envio de e-mails. Processamento de ima ens. Chamadas a serviços externos. Indexação. Back round
12. Tudo o que não é necessário para construir a resposta da requisição HTTP.
13. Como funciona Fila Producer Consumer Producer adiciona jobs na fila. O Consumer reserva um job para executar.
14. Existem muitos projetos que se propõem a resolver este problema. Alternativas
15. activemq amqp beanstalkd celery cron delayed_job earman hornetq jms ka a kestrel mqseries nsq qless qpid rabbitmq resque sidekiq sqs stormmq swiftmq zeromq
16. http://sidekiq.or
18. LGPLv3 Licença http://fnando.me/iq
19. Mais funcionalidades e licença comercial em vez de LGPLv3. Sidekiq Pro
21. class MailerWorker include Sidekiq::Worker def perform(user_id, mail) user = User.find_by_id(user_id) return unless user Mailer.public_send(mail, user) end end
22. MailerWorker .perform_async(user.id, "welcome")
23. Mensa ens pequenas que uardam ações e ids. Stateless
24. MailerWorker .perform_async(user.id, "welcome") MailerWorker .perform_async(user, "welcome")
25. A simplicidade permite que o protocolo seja multi-plataforma. Tipos simples
26. { "class": "MailerWorker", "args": [1, "welcome"] }
27. O job pode ser executado várias vezes sem criar efeitos colaterais maiores que a tarefa do próprio job. Idempotente
28. Al umas tarefas não podem ser repetidas. Não-Idempotente
29. Idempotente Cancelar pedido Atualizar e-mail do usuário Re-exportar ima ens Não-idempotente Enviar e-mail de notificação Fazer cobrança no cartão de crédito
30. Se o job falhar, desfaça as alterações que foram feitas (use uma transação de banco de dados, por exemplo). Transacional
31. class BillingWorker include Sidekiq::Worker def perform(user_id) user = User.find_by_id(user_id) return unless user Billing.process(user) Mailer.billed(user).deliver! end end
32. class BillingWorker include Sidekiq::Worker def perform(user_id) user = User.find_by_id(user_id) return unless user Billing.process(user) Mailer.billed(user).deliver! end end
33. class BillingWorker include Sidekiq::Worker def perform(user_id) user = User.find_by_id(user_id) return unless user Billing.process(user) MailerWorker .perform_async(user.id, "billed") end end
34. Assuma que o Sidekiq irá executar seu job pelo menos uma vez.
35. Entenda quais são os termos usados pelo Sidekiq. Terminolo ia
36. Client É quem adiciona os jobs para processamento em back round. Server É quem pe a os jobs para serem processados.
37. Veja o que você pode confi urar no Sidekiq Confi uração
38. Sidekiq.configure_server do |config| config.redis = { url: "redis://redis.example.com:7372/12", namespace: "mynamespace" } end Sidekiq.configure_client do |config| config.redis = { url: "redis://redis.example.com:7372/12", namespace: "mynamespace" } end
39. $ sidekiq -q critical,2 -q default $ sidekiq -q critical -q default -q low $ sidekiq -c 50
40. class BillingWorker include Sidekiq::Worker sidekiq_options queue: :critical def perform # ... end end
41. Às vezes precisamos ter acesso às estatísticas de processamento. Estatísticas
42. stats = Sidekiq::Stats.new stats.processed # how many jobs have been processed stats.failed # how many jobs have failed stats.queues # queues and number of enqueued jobs stats.enqueued # total count of enqueued jobs
43. stats = Sidekiq::Stats::History.new(2) # 2 days stats.processed # => { "2012-12-05" => 1010, "2012-12-04" => 1500 }
44. date = Date.parse("2012-12-3") stats = Sidekiq::Stats::History.new(3, date)
45. Muitas vezes queremos a endar execuções que devem ser feitas em back round. A endamento
46. MailerWorker .perform_in(5.days, user.id, "followup") MailerWorker .perform_at(5.days.from_now, user.id, "followup")
47. Mas às vezes precisamos executar tarefas recorrentes.
48. https:// ithub.com/tomykaira/clockwork require "./config/environment" require "clockwork" module Clockwork configure do |config| config[:tz] = "America/Sao_Paulo" end every(1.day, "mailer.followup", at: "02:00") do FollowupWorker.perform_async end end
49. $ clockwork clock.rb Starting clock for 1 event: [ mailer.followup ]
50. Não execute as tarefas no scheduler.
51. * * *
52. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s. Back round Job All The Thin s.
53. http://howtocode.com.br