Uma Black Friday sem Catástrofes, Python Brasil 2020

A Black Friday exige muitos preparos e melhorias na arquitetura do Olist para aguentarmos os milhões de vendas e acessos no e-commerce. Nessa palestra vou compartilhar o que fizemos para dessa data com tranquilidade e o que planejamos para que a desse ano também seja um sucesso.

Transcript

1. Uma Black Friday sem catástrofes Jéssica Bonson Principal Engineer no Olist Python Brasil, 2020
2. Jéssica Pauli de C Bonson • +-8 anos de exp em pesquisa/desenvolvimento • graduação/mestrado em Ciências da Computação • foco em dev backend, machine learning e big data Jogar RPG Canto Livros Hobbies:
3. Maior loja nos principais marketplaces do Brasil. Arquitetura em microsserviços e serverless. Python. Go. PostgreSQL. AWS. Kubernetes. 20+ APIs 120+ serviços 3m+ produtos 30k+ logistas 10m+ anúncios 230k+ pedidos por mês
4. Arquitetura do Olist
7. Techstack • Python 3 • Django Rest Framework (DRF) • Postgres • AWS (API Gateway, SQS, SNS, S3, IAM, Lambda, RDS, Athena, ...) • Heroku => EKS • Outros: Redis, Javascript, Go, Lambda, ElasticSearch, ...
8. Onde melhorar? Como medir? Como melhorar?
9. Onde melhorar?
10. Elastic APM
11. pgHero
12. Como medir?
13. Django-silk https://github.com/jazzband/django-silk Profiling e inspeção
14. Siege https://github.com/JoeDog/siege Teste de carga e benchmark
15. Vegeta https://github.com/tsenart/vegeta Teste de carga e benchmark
16. Locust https://locust.io/ Teste de carga com scripting em Python
17. Como melhorar?
18. Acesso ao Banco de Dados
19. Exemplo Para 100 Books, onde cada um tem uma FK para um Publisher... queryset = Book.objects.all() for book in queryset: print(str({'name': book.name, 'publisher': book.publisher.name}))
20. Exemplo Para 100 Books, onde cada um tem uma FK para um Publisher... queryset = Book.objects.all() for book in queryset: print(str({'name': book.name, 'publisher': book.publisher.name})) # 101 queries
21. Exemplo: select_related Para 100 Books, onde cada um tem uma FK para um Publisher... queryset = Book.objects.all() for book in queryset: print(str({'name': book.name, 'publisher': book.publisher.name})) # 101 queries queryset = Book.objects.select_related('publisher').all() for book in queryset: print(str({'name': book.name, 'publisher': book.publisher.name})) # 1 query
22. Exemplo Para 10 Stores, onde cada uma tem 10 Books, em uma relação many-to-many... queryset = Store.objects.all() for store in queryset : books = [book.name for book in store.books.all()] print(str({'name': store.name, 'books': books}))
23. Exemplo Para 10 Stores, onde cada uma tem 10 Books, em uma relação many-to-many... queryset = Store.objects.all() for store in queryset : books = [book.name for book in store.books.all()] print(str({'name': store.name, 'books': books})) # 11 queries
24. Exemplo: prefetch_related Para 10 Stores, onde cada uma tem 10 Books, em uma relação many-to-many... queryset = Store.objects.all() for store in queryset: books = [book.name for book in store.books.all()] print(str({'name': store.name, 'books': books})) # 11 queries queryset = Store.objects.prefetch_related('books') for store in queryset: books = [book.name for book in store.books.all()] print(str({'name': store.name, 'books': books})) # 2 queries
25. Exemplo: prefetch_related com filtro Para 10 Stores, onde cada uma tem 10 Books, em uma relação many-to-many... queryset = Store.objects.prefetch_related('books') for store in queryset: books = [book.name for book in store.books.filter(price__range=(250, 300))] print(str({'name': store.name, 'books': books}))
26. Exemplo: prefetch_related com filtro Para 10 Stores, onde cada uma tem 10 Books, em uma relação many-to-many... queryset = Store.objects.prefetch_related('books') for store in queryset: books = [book.name for book in store.books.filter(price__range=(250, 300))] print(str({'name': store.name, 'books': books})) # 12 queries
27. queryset = Store.objects.prefetch_related( Prefetch('books', queryset=Book.objects.filter(price__range=(250, 300)))) for store in queryset: books = [book.name for book in store.books.all()] print(str({'name': store.name, 'books': books})) # 2 queries Exemplo: prefetch_related com filtro
28. Exemplos
29. Suporte a Partial Response
30. django-rest-framework-jsonmask
31. Exemplo: Endpoint de autenticação
32. Como usar? • Herdar rest_framework_jsonmask.views.OptimizedQuerySetMixin • Herdar rest_framework_jsonmask.serializers.FieldsListSerializerMixin
33. Atenção!
34. Conserto
35. Conserto
36. Conserto
37. Renderização
38. django-rest-framework-rapidjson /seller-orders/ Antes: Time per request: 1030.060 [ms] (mean) Depois: Time per request: 973.138 [ms] (mean) /orders/ Antes: Time per request: 12512.722 [ms] (mean) Depois: Time per request: 1837.474 [ms] (mean)
39. Melhorias de Banco de Dados
40. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
41. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
42. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
43. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
44. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
45. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
46. • Adicionar/Remover índices no BD • Reestruturar relações no BD • Ativar full-text-search do Postgres • Réplica de leitura do BD • Dumps de dados antigos de histórico para NoSQL • Migração para AWS
47. Melhorias de Arquitetura
48. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
49. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
50. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
51. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
52. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
53. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
54. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
55. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
56. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
57. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
58. • Usar cache e retries • Usar código assíncrono • Cuidado com queries em properties de models • Evitar ponto único de falha • ElasticSearch • Dividir APIs e serviços que ficarem muito grandes • Evitar contadores em paginação • Payload SNS mínimo • Implementar padrão circuit-breaker e throttling • Conteinerização
59. Valeu! @jpbonson
60. Referências https://medium.com/better-programming/django-select-related-and-prefetch-related-f23043fd635d https://medium.com/@lucasmagnum/djangotip-select-prefetch-related-e76b683aa457 https://dizballanze.com/django-project-optimization-part-1/ https://k6.io/blog/comparing-best-open-source-load-testing-tools https://docs.djangoproject.com/en/1.8/topics/db/optimization/#understand-querysets https://docs.djangoproject.com/en/1.11/ref/models/querysets/#django.db.models.query.QuerySet.sel ect_related https://medium.com/@hansonkd/performance-problems-in-the-django-orm-1f62b3d04785 http://pythonclub.com.br/django-introducao-queries.html https://devcenter.heroku.com/articles/postgresql-indexes https://opensource.com/article/17/2/performance-container-world