Misturando arte com Python: uma introdução à transferência de estilos

Como seria o pôr-do-sol pintado por van Gogh? E a frente da sua casa em um dia de chuva pintado por Tarsila do Amaral? Isto é totalmente possível com Deep Learning. A técnica de Transferência de estilo neural tem como objetivo compor imagens no estilo de uma outra imagem, modificando o conteúdo e guardando-o ao mesmo tempo.

Nesta palestra, serão introduzidos os conceitos de Aprendizado Profundo, redes neurais e o passo a passo para se realizar transferência de estilos.

Código utilizado nesta apresentação: https://github.com/isacmoura/palestra-style-transfer-python-nordeste-2019/blob/master/Style_Transfer.ipynb

Transcript

1. Misturando arte com Python: uma introdução a transferência de estilos Isac Moura Gomes @isacmoura_
2. $ whoami Graduando em Engenharia de Software pela Universidade Federal do Ceará. Amante de tudo relacionado a dados. Atualmente trabalha com Desenvolvimento WEB. Poeta e fotógrafo amador. Participante da odisseia adulta em busca de um emprego.
3. O que é arte e o que nã... oh, no. Wait! Vamos brincar um pouco. Tentem adivinhar, das figuras a seguir quais foram produzidas por humanos e quais foram produzidas por algoritmos. Entrem no Kahoot (https://kahoot.com/), vá em "Enter game PIN!" e digite 320014
4. VAMOS COMEÇAR! CHEGA DE BRINCACEIRA
5. O que é arte e o que não é arte? Conceito que varia com o tempo. Construção cultural variável e sem significado constante. Atividade ligada às manifestações de ordem estética ou comunicativa, realizada por meio de uma grande variedade de linguagens, com o intuito de expressar emoções e ideias.
6. APENAS HUMANOS PRODUZEM ARTE?
7. O que é transferência de estilos IA cada vez mais presente (filtros em fotos, recomendações em plataformas...) E se fosse possível aplicar o estilo de uma pintura de Van Gogh na foto do céu de uma cidade do interior do Ceará? É possível.
8. O que é transferência de estilos Basicamente, tratamos de separar o que é "estilo" e o que é "conteúdo" de uma imagem. Estilo = padrões de cor, tons de pinceladas... Após, dadas uma imagem de estilo (A) e uma imagem qualquer para a transferência (B), modifica-se o estilo de B aplicando A e preservando-se o conteúdo de B.
9. A mágica da convolução Muitos destes algoritmos são baseados em redes convolucionais. Gatys, Ecker e Bethge (2015) como um dos grandes trabalhos na área de redes convolucionais para transferência de estilo.
10. Viva la convolucion As Redes Neurais Convolucionais consistem em camadas de pequenas unidades computacionais que processam a informação visual hierarquicamente.
11. O FLUXO DA MÁGICA Duas imagens são inseridas como entrada para a rede. Uma de conteúdo e outra para extrair o estilo. Carregamos uma arquitetura pré-treinada (neste exemplo, a VGG19) Transformamos as imagens em Tensores (uma matriz genérica usada para cálculo numérico).
12. SEGUINDO O FLUXO Definimos os pesos para cada camada de estilização e para o nosso conteúdo. Extraímos as features e calculamos as matrizes de Gram para cada camada em para nossa imagem de estilo. Atualizamos a imagem alvo e calculamos as perdas.
13. SHOW ME THE CODE!
14. SHOW ME THE CODE!
15. Exemplos
16. Exemplos
17. Exemplos
18. Exemplos
19. Exemplos
20. Exemplos
21. Exemplos
22. Exemplos
23. Exemplos
24. Exemplos
25. Exemplos
26. Exemplos
27. Concluindo Não é algo tão novo. No entanto, vem ganhando notoriedade da indústria e academia com as recentes pesquisas.