Transferencia de estilo

En esta charla aprenderemos cómo podemos entrenar redes neuronales para componer imágenes en el estilo de una imagen dada (como si supiéramos pintar como Van Gogh o Picasso 🎨). Esta técnica—conocida como style transfer— toma una imagen e intenta minimizar una medida de distancia, para poder generar imágenes que se vean como la imagen de entrada pero recreadas en el estilo de otra imagen. Veremos cómo se pueden entender conceptos matemáticos de una manera intuitiva por medio de código en Python en lugar de ecuaciones.

Transcript

1. Juan Sebastián Vega Transferencia de estilo
2. 1 Introducción 2 Redes convolucionales 3 Modelo 4 Resultados ¿Qué haremos hoy?
3. 1 Introducción
4. Arte generativo Frieder Nake Hommage à Paul Klee Anders Hoff Sand Spline
5. Arte generativo + deep learning Google DeepDream
6. Arte generativo + deep learning Google DeepDream
7. Style transfer Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A Neural Algorithm of Artistic Style
8. Style transfer Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A Neural Algorithm of Artistic Style Contenido
9. Style transfer Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A Neural Algorithm of Artistic Style Contenido Estilo
10. Style transfer + Leon A. Gatys, Alexander S. Ecker, Matthias Bethge: A Neural Algorithm of Artistic Style Contenido Estilo
11. 2 Redes convolucionales
12. Redes convolucionales como una caja negra Red
13. Redes convolucionales como una caja negra Red Perro (98%) Clasificación
14. Redes convolucionales como una caja negra Red Blanco Peludo Sentado Mirando la camara Etiquetado
15. Redes convolucionales como una caja negra Red Transformación
16. En más detalle…
17. En más detalle… Gato (97.89%)
18. Capas superficiales y profundas Capa Entrada Salida … Capa Capa
19. Capas superficiales y profundas Capa Entrada Salida … Capa Capa { Transformaciones sencillas Locales Bajo nivel
20. Capas superficiales y profundas Capa Entrada Salida … Capa Capa { Transformaciones sencillas Locales Bajo nivel { Transformaciones complejas Globales Alto nivel
21. Entrenamiento Capa (transformación de la imagen) Entrada Capa (transformación de la imagen) Salida
22. Entrenamiento Capa (transformación de la imagen) Entrada Capa (transformación de la imagen) Salida Parámetros Parámetros
23. Entrenamiento Capa (transformación de la imagen) Entrada Capa (transformación de la imagen) Salida Parámetros Parámetros Entrenamiento: Minimizar una función de costo (número)
24. 3 Modelo
25. Arquitectura Red de transformación ?
26. Función de costo Costo de contenido Costo de estilo +
27. Red de costo: VGG
28. Red de costo: VGG Entrenada en 14 millones de imágenes!! (ImageNet)
29. Costo de contenido: VGG Justin Johnson, Alexandre Alahi, Fei-Fei Li: Perceptual Losses for Real-Time Style Transfer and Super-Resolution
30. Costo de contenido
31. Costo de estilo: VGG Justin Johnson, Alexandre Alahi, Fei-Fei Li: Perceptual Losses for Real-Time Style Transfer and Super-Resolution
32. ¿Qué es estilo? Alguna capa de VGG
33. ¿Qué es estilo? Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks Alguna capa de VGG
34. ¿Qué es estilo? Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks Alguna capa de VGG
35. ¿Qué es estilo? Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks Alguna capa de VGG ✨ Correlación ✨
36. ¿Qué es estilo? Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks Alguna capa de VGG Canales correlacionados ✨ Correlación ✨
37. ¿Qué es estilo? Matthew D Zeiler, Rob Fergus: Visualizing and Understanding Convolutional Networks Alguna capa de VGG Canales correlacionados Canales no correlacionados ✨ Correlación ✨
38. Costo de estilo: Matriz de Gram
39. Costo de estilo
40. Función de costo
41. Entrenamiento de la red de transformación ★ Imágenes de contenido: MS COCO (80 mil imágenes) ★ Una imagen de estilo ★ El modelo ve 4 imágenes a la vez (batch size) ★ Se recorren todas las imágenes 2 veces (epochs) ★ Algoritmo de optimización Adam ★ ~4 horas en una GPU GeForce Titan X
42. 4 Resultados
43. +
44. + =
45. +
46. + =
47. Generando en tiempo real
48. Generando en tiempo real
49. Código y contacto info@sirius.utp.edu.co UTP 3-007 15D-305
50. Código y contacto sebasvega95/neural-style-transfer @sebasvega95
51. Gracias!! sebasvega95/neural-style-transfer @sebasvega95