CycleGAN or converting people into 2D anime

Генерировать котиков из кривых скетчей? Нет? А может перекрасить всех лошадей в зебр? Не достаточно? Хм, а может превратить зиму в лето? ИЛИ МОЖЕТ ПРЕВРАЩАТЬ ЛЮДЕЙ В АНИМЕ???

Говорят нынешние нейросети и не такое могут! Но как это стало вообще возможно? А дело в том, что как-то раз ребята из исследовательской лабы Беркли обратились в шоу «Нейросеть на прокачку» и там им предложили встроить одну GAN модель в другую GAN модель. И после этого завер…..

На лекции я вам расскажу, как работает CycleGAN и на что он способен. Придумаем вместе, чтобы еще с ним сделать.

Transcript

1. CycleGAN Для кросс-доменного переноса стиля Илья Сиганов Омск, 26.01.2019
2. https://github.com/jcjohnson/neural-style
3. Как работает обычный перенос стиля?
4. Синтез текстур
14. 二次元化 nijigenka 2D-ification
18. Автокодировщик
20. Из-за L1, L2 функции потерь изображения размытые
22. Зачем автокодировщики? • Сегментация • Уменьшение шумов • Понижение размерности данных
23. Порождающие состязательные сети GAN
24. GAN модели
25. StyleGAN (улучшение PGGAN)
26. Conditional GAN + AE pix2pix
33. ХМ?
34. Кодер Декодер ? ? ? ? Автокодировщик
35. Кодер Декодер Автокодировщик
36. Кодер Декодер ? ? ? ? Русский язык Английский язык Автокодировщик
37. (╮°-°)╮┳━━┳ ( ╯°□°)╯ ┻━━┻ Данных для обучения не существует!
39. Кросс-доменный перенос стиля! CycleGAN
40. https://junyanz.github.io/CycleGAN/
42. Как работает CycleGAN
43. CycleGAN - это AE(GAN), где кодер и декодер - это GAN_A и GAN_B
44. Циклический переход Русский язык Английский язык Русский язык
45. Циклический переход A2B GEN _A GEN _B L1 Loss Дискриминатор A
46. Циклический переход B2A GEN _B GEN _A L1 Loss Дискриминатор B
49. Схема работы модели
50. Cycle consistency loss
51. Применение • Сильный Style Transfer по всей коллекции картин, а не по одной картине • Трансфигурация (зебру в лошадь, ночь в день) • Генерация фото по картине • Улучшение фото (super upscale)
52. Тренируем свой CycleGAN+Anime • Getchu dataset - erogamescape (^_<)〜☆ (20k) • Свой датасет High Quality Faces (5k) • Официальный PyTorch CycleGAN • Легкий тюнинг гиперпараметров и аугментации • GPU Nvidia 1070 ti две штуки • Два дня обучения
53. Датасет
54. Результаты
62. Варианты использования CycleGAN
63. Blond to Ginger and vice versa
64. Short to Long and vice versa
65. Ваши идеи кросс-доменного переноса
66. Материалы bit.ly/cyclegan_materials
67. Глич арт тут t.me/mlglitchart
68. Илья Сиганов @senior_sigan