Manejo de archivos grandes con una Django app & DRF

Transcript

1. Manejo de archivos grandes con una Django app & DRF Agosto 2020 Emiliano Martín Software Engineer
2. Sobre mí ❖ Argentino. ❖ Esposo y padre. ❖ Ingeniero en Sistemas de Información. ❖ Software Engineer en Mercadolibre +5 años. ❖ Apasionado del desarrollo de software.
3. Agenda • Problemática • Diferentes approach REST • Caso de uso • Configurando nuestra app en producción ◦ Storage ◦ Uploaded Files and Upload Handlers ◦ Fine tuning Ngnix & uWsgi.
4. Large-scale Operations Data-science a escala: https://www.youtube.com/watch?v=Wgdy57Qn2rM
5. Problemática ¿Cómo enviar un modelo con su metadata usando una API REST?
6. Diferentes approach REST ❏ Datos y archivo en un mismo request (Multipart) ❏ Datos y archivo en diferentes requests ❏ Datos y archivo en un mismo request (Multipart + JSON)
7. class Message(models.Model): description = models.TextField() active = models.BooleanField(default=False) attachment = models.FileField(upload_to="/tmp/") Datos y archivo en un mismo request class MessageSerializer(serializers.ModelSerializer): class Meta: model = Message fields = ["description", "active", "picture"]
8. Datos y archivo en un mismo request class MessageView(generics.CreateAPIView): parser_classes = [parsers.MultiPartParser] serializer_class = MessageSerializer def create(self, request, *args, **kwargs): serializer = self.getserializer(data=request.data) # request.data[“attachment”] serializer.is_valid(raise_exception=True) serializer.save() return response.Response( serializer.data, status=status.HTTP_201_CREATED )
9. Configurando nuestra app en producción Imagen: http:/ /blog.ditullio.fr/2016/07/24/docker-django-uwsgi-nginx-web-app/
10. Configurando nuestra app en producción - storage
11. Configurando nuestra app en producción - storage
12. Configurando tu propio storage class Message(models.Model): description = models.TextField() active = models.BooleanField(default=False) attachment = models.FileField( storage=MyStorage(), upload_to="/tmp/" ) • https:/ /docs.djangoproject.com/en/3.0/ref/settings/#default-file-storage
13. Configurando tu propio storage • _open() • _save() • delete() • exists() • listdir() • size() • url() • https:/ /docs.djangoproject.com/en/3.1/howto/custom-file-storage/ • https:/ /django-storages.readthedocs.io/en/latest/index.html
14. Configurando tu propio storage - buffers
15. Revisando nuestra view class MessageView(generics.CreateAPIView): parser_classes = [parsers.MultiPartParser] serializer_class = MessageSerializer def create(self, request, *args, **kwargs): serializer = self.getserializer(data=request.data) # request.data[“attachment”] serializer.is_valid(raise_exception=True) serializer.save() return response.Response( serializer.data, status=status.HTTP_201_CREATED )
16. Uploaded Files and Upload Handlers ❏ TemporaryUploadedFile -> TemporaryFileUploadHandler ❏ InMemoryUploadedFile -> MemoryFileUploadHandler • https:/ /docs.djangoproject.com/en/3.0/ref/settings/#std:setting-FILE_UPLOAD_MAX_MEMORY_SIZE • https:/ /docs.djangoproject.com/en/3.0/ref/settings/#std:setting-FILE_UPLOAD_HANDLERS • https:/ /docs.djangoproject.com/en/3.1/ref/files/uploads/#writing-custom-upload-handlers ➔ FILE_UPLOAD_MAX_MEMORY_SIZE ◆ Default: 2621440 (i.e. 2.5 MB). ➔ FILE_UPLOAD_HANDLER ◆ Default: [ 'django.core.files.uploadhandler.MemoryFileUploadHandler', 'django.core.files.uploadhandler.TemporaryFileUploadHandler', ]
17. Configurando servidores
18. Configurando Nginx client_max_body_size 7000m; proxy_connect_timeout 1200s; proxy_send_timeout 1200s; proxy_read_timeout 1200s;
19. Configurando servidor de aplicaciones • uWSGI ◦ uwsgi.ini post-buffering = true limit-post = 17179869184 http-timeout = 1200 harakiri = 1200 • https:/ /uwsgi-docs.readthedocs.io/en/latest/ThingsToKnow.html • https:/ /uwsgi-docs.readthedocs.io/en/latest/Fastrouter.html#post-buffering-mode-uwsgi-2-0-9 • https:/ /uwsgi-docs.readthedocs.io/en/latest/Options.html?highlight=options
20. Conclusiones • Definir volumen y tamaño de archivos. • Aprovechar artefactos y no reinventar. • Tener en cuenta visión general de arquitectura. ◦ Configuraciones • Iterar...
21. ¡Muchas Gracias! @emimartin26 emiliano.martin@mercadolibre.com