Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть

https://www.youtube.com/watch?v=ph5K1Gp6a2Y

Transcript

1. Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть Миляев Сергей Глубокий рефакторинг 31.11.2017
2. Визуальное распознавание Компьютер должен понять, что изображено на картинке Он должен это сделать на основе машинного обучения – возможности обучаться без явного описания его знаний программным кодом. Глубокий рефакторинг 31.11.2017 Давайте вначале рассмотрим в начале, что такое задача визуального распознавания изображений. Под визуальным распознаванием
3. Как работает наш мозг Представление биолога Представление инженера Глубокий рефакторинг 31.11.2017
4. Искуственные нейроны y z Slide adopted from Andrew Ng and G. Hinton z = y Линейная функция преобразования w1 w2 w3 Глубокий рефакторинг 31.11.2017
5. Бинарная пороговая функция преобразования Бинарная пороговая функция преобразования Сигмоидальная функция преобразования Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
6. Многослойные сети прямого распространения Slide adopted from Andrew Ng Глубокий рефакторинг 31.11.2017
7. Функция потерь и метод обратного распространения ошибки Slide adopted from Andrew Ng and G. Hinton Глубокий рефакторинг 31.11.2017
8. Что поступает на вход нейронной сети при работе с изображениями Slide adopted from Andrew Ng Глубокий рефакторинг 31.11.2017
9. Как работает обучение Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
10. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
11. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
12. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
13. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
14. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
15. Завершение обучения Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
16. Отсутствие инвариантности в точке наблюдения Slide adopted from Andrew Ng and G. Hinton Глубокий рефакторинг 31.11.2017
17. Сверточные фильтры Slide adopted from G. Hinton and github.com/vdumoulin/conv_arithmetic.git Глубокий рефакторинг 31.11.2017
18. Сверточные нейронные сети LeCun et al., 1989 LeCun et al., 1998 Глубокий рефакторинг 31.11.2017
19. Визуальное распознавание в 00-е Boosting Classification with Exclusive Context, Q. Chen et al., PASCAL VOC 2010 Classification winner Глубокий рефакторинг 31.11.2017
20. Глубокое обучение Обучающая выборка: 1.2 млн. картинок из 1000 классов. Вычислительные мощности: 2 x GTX 580 GPU ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
21. Визуализация фильтров первого сверточного слоя Поиск ближайших картинок по глубоким признакам ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
22. Обобщающая способность глубоких признаков DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition, J. Donahue et al., ICML 2014 База ImageNet База SUN-397 Глубокий рефакторинг 31.11.2017
23. Устойчивость к различным доменам на базе Office DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition, J. Donahue et al., ICML 2014 Глубокий рефакторинг 31.11.2017
24. Карты салиентности для различных классов Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 На что реагируют нейроны глубокой сети Глубокий рефакторинг 31.11.2017
25. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus, ECCV 2014 Глубокий рефакторинг 31.11.2017
26. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus, ECCV 2014 Глубокий рефакторинг 31.11.2017
27. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus, ECCV 2014 Глубокий рефакторинг 31.11.2017
28. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus, ECCV 2014 Глубокий рефакторинг 31.11.2017
29. Что можно получить из активаций нейронов Восстановление картинки по признакам с различной степенью регуляризации Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
30. Восстановление изображений с признаков различных уровней Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
31. Восстановление изображений с признаков различных уровней в разных инициализациях Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
32. Восстановление изображений с признаков уровня pool5 Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
33. Эволюция архитектур глубоких нейронных сетей ImageNet top-5 classification error, % Deep Residual Learning for Image Recognition, K. He et al., CVPR 2016 Going Deeper with Convolutions, C. Szegedy et al., CVPR 2015 Very Deep Convolutional Networks for Large-Scale Image Recognition, K. Simonyan et al., ICLR 2015 Глубокий рефакторинг 31.11.2017
34. Интерпретация отдельных нейронов сети Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
35. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
36. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
37. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
38. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
39. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
40. О чем мечтают нейронные сети Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 Увеличение активаций отдельных классов на серой картинке Глубокий рефакторинг 31.11.2017
41. Inceptionism: Going deeper into neural networks. A. Mordvintsev et al., Google Research Blog 2015. dumbbells Увеличение активаций отдельных классов Глубокий рефакторинг 31.11.2017
42. Inceptionism: Going deeper into neural networks. A. Mordvintsev et al., Google Research Blog 2015. Увеличение активаций отдельных признаков Глубокий рефакторинг 31.11.2017
43. Увеличение активаций всех классов Inceptionism: Going deeper into neural networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
44. Увеличение активаций всех классов Inceptionism: Going deeper into neural networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
45. Итеративное увеличение активаций всех классов Inceptionism: Going deeper into neural networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
46. Можно ли обмануть нейронную сеть? Intriguing Properties of Neural Networks. Christian Szegedy et al., ICLR 2014 Глубокий рефакторинг 31.11.2017
47. В чем может быть уверена нейронная сеть с вероятностью более 99%? Глубокий рефакторинг 31.11.2017
48. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
49. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
50. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
51. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
52. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
53. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
54. Выводы: • Нейронные сети являются очень мощным инструментом для визуального распознавания, который дает богатые представления объектов, более устойчивые к различным доменам • Нейронная сеть не является «черным ящиком», а ищет семантические концепты для решения задачи, которые можно интерпретировать • В нейронной сети содержится информация от признаках различного уровня – от границ и градиентов до объектов • Остается разрыв между обучением без учителя и с учителем при достаточном количестве размеченных данных • На текущий момент нейронная сеть не воспроизводит полностью схему зрительного восприятия человека Глубокий рефакторинг 31.11.2017
55. Спасибо за внимание!