(Tornado + MongoDB) + NginxPushStream = Newsfeed no CartolaFC

Uma palestra para mostrar como foi feito o Newsfeed do CartolaFC. Seus acertos, erros e dicas para seguir as dicas com sucesso!

Transcript

1. (Tornado + MongoDB) + NginxPushStream = Newsfeed no CartolaFC Friday, October 4, 13
2. Alexandre Sabóia cartolafc saboia@corp.globo.com @alexandresaboia Friday, October 4, 13
3. Alexandre Sabóia cartolafc saboia@corp.globo.com @alexandresaboia Friday, October 4, 13
4. ‣ cartolafc e o newsfeed ‣ arquitetura da aplicação ‣ a escolha do banco de dados ‣ problemas enfrentados ‣ testes de performance ‣ resultados newsfeed agenda Friday, October 4, 13
5. ‣ uma das maiores aplicações dinâmicas da globo.com ‣ maior fantasy game da internet brasileira ‣ quase 90 milhões de pageviews em jun/11 ‣ +30k sessões simultâneas nos picos de acesso cartolafc algumas informações Friday, October 4, 13
6. ‣ uma das maiores aplicações dinâmicas da globo.com ‣ maior fantasy game da internet brasileira ‣ quase 90 milhões de pageviews em jun/11 ‣ +30k sessões simultâneas nos picos de acesso cartolafc algumas informações Friday, October 4, 13
7. +1.200.000 times salvos em uma única rodada mais de 2.000.000 de times Friday, October 4, 13
8. 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 550,000 700,000 850,000 1,000,000 1,150,000 1,300,000 +1.200.000 times salvos em uma única rodada mais de 2.000.000 de times 2010 2012 2011 Friday, October 4, 13
9. Desenvolver uma aplicação de mural, que suporte o volume de acesso do cartolafc, com alta performance e disponibilidade. o desafio: Friday, October 4, 13
10. newsfeed experiência social em tempo real Friday, October 4, 13
11. newsfeed experiência social em tempo real Friday, October 4, 13
12. ‣ a aplicação ser independente do jogo ‣ a perda de mensagens não é crítica ‣ indisponibilidade inicial é tolerável newsfeed algumas premissas Friday, October 4, 13
13. ‣ a aplicação ser independente do jogo ‣ a perda de mensagens não é crítica ‣ indisponibilidade inicial é tolerável newsfeed algumas premissas ★ cenário perfeito para apostar em inovação Friday, October 4, 13
14. newsfeed tecnologias aplicadas PUSH STREAM beanstalkd asyncmongo Friday, October 4, 13
15. http://exame2.abrilm.com.br/assets/images/2011/4/28469/size_590_materiais-arquitetura.jpg?1303931096 Friday, October 4, 13
16. a arquitetura da aplicação http://exame2.abrilm.com.br/assets/images/2011/4/28469/size_590_materiais-arquitetura.jpg?1303931096 Friday, October 4, 13
17. a arquitetura da aplicação session get_messages post http://exame2.abrilm.com.br/assets/images/2011/4/28469/size_590_materiais-arquitetura.jpg?1303931096 Friday, October 4, 13
18. newsfeed arquitetura - session Guardamos no memcached o id e as ligas do usuário Friday, October 4, 13
19. newsfeed arquitetura - get messages Guardamos no memcached as 20 últimas mensagens de cada liga Friday, October 4, 13
20. newsfeed arquitetura - post PUSH STREAM 1Friday, October 4, 13
21. newsfeed arquitetura - post PUSH STREAM Liga 1 1Friday, October 4, 13
22. newsfeed arquitetura - post PUSH STREAM Liga 1 1Friday, October 4, 13
23. newsfeed arquitetura - post PUSH STREAM Liga 1 Liga 2 1Friday, October 4, 13
24. newsfeed arquitetura - post PUSH STREAM Liga 1 Liga 2 1Friday, October 4, 13
25. newsfeed arquitetura - post PUSH STREAM Liga 1 Liga 2 1 Liga N Friday, October 4, 13
26. newsfeed arquitetura - post PUSH STREAM Liga 1 Liga 2 1 Liga N Friday, October 4, 13
27. newsfeed arquitetura - post Checa a permissão e invalida a listagem das mensagens para esta liga Friday, October 4, 13
28. newsfeed a ideia de box PUSH STREAM beanstalkd 7 x DEAMON x 5 Friday, October 4, 13
29. newsfeed a ideia de box . . . N PUSH STREAM beanstalkd 7 x DEAMON x 5 Friday, October 4, 13
30. PUSH STREAM beanstalkd 7 x DEAMON x 5 newsfeed a ideia de box . . . PUSH STREAM beanstalkd 7 x DEAMON x 5 PUSH STREAM beanstalkd 7 x DEAMON x 5 PUSH STREAM beanstalkd 7 x DEAMON x 5 PUSH STREAM beanstalkd 7 x DEAMON x 5 Friday, October 4, 13
31. newsfeed a escolha do banco http://aeronavdata.com/wp-content/uploads/2012/08/databasemodel1.jpg Friday, October 4, 13
32. newsfeed a escolha do banco ‣ velocidade ‣ não precisávamos de um SGBD completo ‣ sem schema ‣ failover automático ‣ possibilidade de escalar escrita com sharding Friday, October 4, 13
33. newsfeed a escolha do banco Friday, October 4, 13
34. newsfeed arquitetura do banco Friday, October 4, 13
35. newsfeed arquitetura do banco primário secundário Árbitro Friday, October 4, 13
36. newsfeed arquitetura do banco primário secundário Árbitro newsfeed Friday, October 4, 13
37. newsfeed arquitetura do banco primário secundário Árbitro newsfeed primário secundário outro replica set Friday, October 4, 13
38. http://files.blogvarzeapaulista.com/200002602-37c6b39b42/0-aprobl2.jpg Friday, October 4, 13
39. newsfeed problemas enfrentados http://files.blogvarzeapaulista.com/200002602-37c6b39b42/0-aprobl2.jpg Friday, October 4, 13
40. newsfeed problemas enfrentados Friday, October 4, 13
41. ✓estrutura da coleção newsfeed problemas enfrentados Friday, October 4, 13
42. ✓estrutura da coleção newsfeed problemas enfrentados itens revisados: • id (_id) • data (formato) • comentário (auto relacionamento) • mensagem (tamanho) Friday, October 4, 13
43. newsfeed problemas enfrentados Friday, October 4, 13
44. x trabalhar com toda a massa de dados -100 milhões de mensagens newsfeed problemas enfrentados Friday, October 4, 13
45. x trabalhar com toda a massa de dados -100 milhões de mensagens newsfeed problemas enfrentados ✓ trabalhar com um working set reduzido, minimizando impacto das consultas no banco; mensagens dos últimos 7 dias. Friday, October 4, 13
46. newsfeed problemas enfrentados Friday, October 4, 13
47. x pymongo: biblioteca síncrona que executava apenas uma consulta ao mongo por instância de tornado newsfeed problemas enfrentados Friday, October 4, 13
48. x pymongo: biblioteca síncrona que executava apenas uma consulta ao mongo por instância de tornado newsfeed problemas enfrentados ✓ asyncmongo: bliblioteca para acessar o mongo de forma assíncrona utilizando o tornado ioloop - dobramos a quantidade suportada no post - aumentamos em 40% a quantidade suportada no get das mensagens Friday, October 4, 13
49. newsfeed implementação síncrona import tornado.web import tornado.ioloop class MainHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, Tornado World!") application = tornado.web.Application([(r"/", MainHandler),]) if __name__ == "__main__": application.listen(8888) tornado.ioloop.IOLoop.instance().start() http://www.tornadoweb.org Friday, October 4, 13
50. newsfeed implementação assíncrona import tornado.web import tornado.ioloop class AsyncHandler(tornado.web.RequestHandler): @tornado.web.asynchronous def get(self): http = tornado.httpclient.AsyncHTTPClient() http.fetch("http://z.com",callback=self.on_resp) def on_resp(self): self.write("Hello, Tornado World!") self.finish() http://www.tornadoweb.org Friday, October 4, 13
51. newsfeed alternativa para driver assíncrono Friday, October 4, 13
52. newsfeed alternativa para driver assíncrono Motor: Asynchronous Python driver for Tornado and MongoDB http://motor.readthedocs.org Friday, October 4, 13
53. newsfeed acertos ‣ criação de uma camada intermediária de cache entre a aplicação e o banco. ‣ utilização do módulo nginx push stream ‣ escolha do mongodb como database: simples, robusto e rápido Friday, October 4, 13
54. newsfeed acertos ‣ nginx push stream: módulo para o nginx, super performático para troca de mensagens no estilo publisher/ subscriber. Suporta EventSource, WebSocket, Long Polling e o imortal Iframe. PUSH STREAM https://github.com/wandenberg/nginx-push-stream-module Friday, October 4, 13
55. newsfeed testes de performance ‣ identificação de gargalos no acesso ao mongo ‣ grande importância na definição das libs utilizadas no projeto ‣ massa de dados: 1 coleção com 100 milhões de mensagens ‣ faça do ApacheBenchmark(ab) seu amigão! Friday, October 4, 13
56. ‣ otimização de requests com streaming ‣ aumento do tempo online do usuário: - para mais de 20 minutos ‣ abrimos um canal de comunicação entre os cartoleiros de uma mesma liga ‣ ~3 milhões de mensagens no final da temporada newsfeed resultado Friday, October 4, 13
57. http://kr.github.io/beanstalkd/ http://www.tornadoweb.org/en/stable/ http://www.mongodb.org/ https://github.com/wandenberg/nginx-push-stream-module http://memcached.org/ http://httpd.apache.org/docs/2.2/programs/ab.html https://github.com/bitly/asyncmongo newsfeed links importantes Friday, October 4, 13
58. perguntas? Friday, October 4, 13
59. Obrigado! Friday, October 4, 13