sde-api-rupy.pdf

Falo sobre a experiência de de construir uma API de dados esportivos que é usada pela Globo.com e parceiros, que responde hoje a 6000 req/s. O resultado do investimento na construção de uma nova API, problemas encontrados e soluções aplicadas usando as tecnologias como Python, Tornado, Redis, C e Nginx.

Transcript

1. domingo, 1 de dezembro de 13
2. eu • Desenvolvedor apaixonado • Programador poliglota • Jogador de Magic e RPG • DJ nas horas vagas • Globo.com / esportes domingo, 1 de dezembro de 13
3. Construindo uma API de dados esportivos que responde 6000 req/s domingo, 1 de dezembro de 13
4. api anterior • Velocidade -150 req/s • documentação ruim • serviços inconsistentes • base de código ruim domingo, 1 de dezembro de 13
5. requisitos • Acesso externo • Controle • Escalabilidade • Velocidade domingo, 1 de dezembro de 13
6. premissas • velocidade de resposta • ótima documentação • serviços consistentes • teste, teste e teste domingo, 1 de dezembro de 13
7. tecnologias domingo, 1 de dezembro de 13
8. camadas internas domingo, 1 de dezembro de 13
9. camadas internas Controller Model Repository View domingo, 1 de dezembro de 13
10. view domingo, 1 de dezembro de 13
11. model / view set min set max domingo, 1 de dezembro de 13
12. model / repository jogo.equipe_mandante.nome X X X domingo, 1 de dezembro de 13
13. model / repository jogo.equipe_mandante.nome X X X domingo, 1 de dezembro de 13
14. model / repository jogo.equipe_mandante.nome X X X ids = [jogo.equipe_mandante_id, jogo.equipe_visitante_id] equipe_repository = EquipeRepository() equipes = equipe_repository.get_equipes(ids) domingo, 1 de dezembro de 13
15. model / repository jogos = JogoRepository().get_jogos(edicao=”brasileirao2013”, pagina=1) equipes = set() for jogo in jogos: equipes.add(jogos.equipe_mandante.nome_popular) equipes.add(jogos.equipe_visitante.nome_popular) print equipes Modelo 1 domingo, 1 de dezembro de 13
16. model / repository jogos = JogoRepository().get_jogos(edicao=”brasileirao2013”, pagina=1) equipes = set() for jogo in jogos: equipes.add(jogos.equipe_mandante.nome_popular) equipes.add(jogos.equipe_visitante.nome_popular) print equipes Modelo 1 20 jogos 40 hits no cache domingo, 1 de dezembro de 13
17. model / repository jogos = JogoRepository().get_jogos(edicao=”brasileirao2013”, pagina=1) equipes_ids = set() for jogo in jogos: equipes.add(jogos.equipe_mandante_id) equipes.add(jogos.equipe_visitante_id) equipes = EquipeRepository().get_equipes(id=equipes_ids) [ print equipe.nome_popular for equipe in equipes ] Modelo 2 domingo, 1 de dezembro de 13
18. model / repository jogos = JogoRepository().get_jogos(edicao=”brasileirao2013”, pagina=1) equipes_ids = set() for jogo in jogos: equipes.add(jogos.equipe_mandante_id) equipes.add(jogos.equipe_visitante_id) equipes = EquipeRepository().get_equipes(id=equipes_ids) [ print equipe.nome_popular for equipe in equipes ] Modelo 2 20 jogos 2 hits ao cache domingo, 1 de dezembro de 13
19. model / repository Modelo 2 Modelo 1 domingo, 1 de dezembro de 13
20. model / repository Modelo 2 Modelo 1 domingo, 1 de dezembro de 13
21. model / repository Modelo 2 Modelo 1 domingo, 1 de dezembro de 13
22. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
23. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
24. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
25. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
26. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
27. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
28. cache back-end lista de jogos classificação ficha Romário Romário redis mysql domingo, 1 de dezembro de 13
29. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache SDE Admin Banco de domingo, 1 de dezembro de 13
30. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache SDE Admin Banco de domingo, 1 de dezembro de 13
31. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache atletas savio, nelio, romario atleta nelio atleta savio atleta romario SDE Admin Banco de domingo, 1 de dezembro de 13
32. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache atletas savio, nelio, romario atleta nelio atleta savio atleta romario SDE Admin Banco de domingo, 1 de dezembro de 13
33. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache atletas savio, nelio, romario atleta nelio atleta savio atleta romario SDE Admin Banco de domingo, 1 de dezembro de 13
34. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache atletas savio, nelio, romario atleta nelio atleta savio atleta romario SDE Admin Banco de domingo, 1 de dezembro de 13
35. expiração ativa SDE API /atletas/romario /equipes/flamengo/elenco Cache atleta nelio atleta savio SDE Admin Banco de domingo, 1 de dezembro de 13
36. Nginx - AAA web Autenticação Acesso Autorização Monitoração token: aaa Nginx- AAA Redis domingo, 1 de dezembro de 13
37. Nginx - AAA web Autenticação Acesso Autorização Monitoração token: aaa Nginx- AAA Redis Com 1000 req simultâneas em 120ms domingo, 1 de dezembro de 13
38. Nginx - AAA domingo, 1 de dezembro de 13
39. Nginx - AAA domingo, 1 de dezembro de 13
40. Nginx - AAA domingo, 1 de dezembro de 13
41. cache front-end Nginx - AAA Nginx - cache SDE API SDE API SDE API web domingo, 1 de dezembro de 13
42. documentação domingo, 1 de dezembro de 13
43. resultados • Serviços no Hack Day • Clientes com software em produção em 3 dias sem nenhum email. • Mais de 3 milhões de req/dia • Máquinas com load abaixo de 10% • Deploy constante domingo, 1 de dezembro de 13
44. estamos contratando domingo, 1 de dezembro de 13
45. contato rafael.mws@gmail.com @rafael_mws :D domingo, 1 de dezembro de 13