Share
Embed
Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть
Deep Refactoring
November 30, 2017
Transcript
55 slides
-
Что видят нейронные сети для визуального распознавания, о чем мечтают,
и как их можно обмануть Миляев Сергей Глубокий рефакторинг 31.11.2017 -
Визуальное распознавание Компьютер должен понять, что изображено на картинке Он
должен это сделать на основе машинного обучения – возможности обучаться без явного описания его знаний программным кодом. Глубокий рефакторинг 31.11.2017 Давайте вначале рассмотрим в начале, что такое задача визуального распознавания изображений. Под визуальным распознаванием -
Искуственные нейроны y z Slide adopted from Andrew Ng and
G. Hinton z = y Линейная функция преобразования w1 w2 w3 Глубокий рефакторинг 31.11.2017 -
Бинарная пороговая функция преобразования Бинарная пороговая функция преобразования Сигмоидальная функция
преобразования Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017 -
Многослойные сети прямого распространения Slide adopted from Andrew Ng Глубокий
рефакторинг 31.11.2017 -
Функция потерь и метод обратного распространения ошибки Slide adopted from
Andrew Ng and G. Hinton Глубокий рефакторинг 31.11.2017 -
Что поступает на вход нейронной сети при работе с изображениями
Slide adopted from Andrew Ng Глубокий рефакторинг 31.11.2017 -
Отсутствие инвариантности в точке наблюдения Slide adopted from Andrew Ng
and G. Hinton Глубокий рефакторинг 31.11.2017 -
Сверточные нейронные сети LeCun et al., 1989 LeCun et al.,
1998 Глубокий рефакторинг 31.11.2017 -
Визуальное распознавание в 00-е Boosting Classification with Exclusive Context, Q.
Chen et al., PASCAL VOC 2010 Classification winner Глубокий рефакторинг 31.11.2017 -
Глубокое обучение Обучающая выборка: 1.2 млн. картинок из 1000 классов.
Вычислительные мощности: 2 x GTX 580 GPU ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017 -
Визуализация фильтров первого сверточного слоя Поиск ближайших картинок по глубоким
признакам ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017 -
Обобщающая способность глубоких признаков DeCAF: A Deep Convolutional Activation Feature
for Generic Visual Recognition, J. Donahue et al., ICML 2014 База ImageNet База SUN-397 Глубокий рефакторинг 31.11.2017 -
Устойчивость к различным доменам на базе Office DeCAF: A Deep
Convolutional Activation Feature for Generic Visual Recognition, J. Donahue et al., ICML 2014 Глубокий рефакторинг 31.11.2017 -
Карты салиентности для различных классов Deep Inside Convolutional Networks: Visualising
Image Classification Models and Saliency Maps, K. Simonyan et al., ICLR Workshop 2014 На что реагируют нейроны глубокой сети Глубокий рефакторинг 31.11.2017 -
Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,
ECCV 2014 Глубокий рефакторинг 31.11.2017 -
Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,
ECCV 2014 Глубокий рефакторинг 31.11.2017 -
Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,
ECCV 2014 Глубокий рефакторинг 31.11.2017 -
Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,
ECCV 2014 Глубокий рефакторинг 31.11.2017 -
Что можно получить из активаций нейронов Восстановление картинки по признакам
с различной степенью регуляризации Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Восстановление изображений с признаков различных уровней Understanding Deep Image Representations
by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Восстановление изображений с признаков различных уровней в разных инициализациях Understanding
Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Восстановление изображений с признаков уровня pool5 Understanding Deep Image Representations
by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Эволюция архитектур глубоких нейронных сетей ImageNet top-5 classification error, %
Deep Residual Learning for Image Recognition, K. He et al., CVPR 2016 Going Deeper with Convolutions, C. Szegedy et al., CVPR 2015 Very Deep Convolutional Networks for Large-Scale Image Recognition, K. Simonyan et al., ICLR 2015 Глубокий рефакторинг 31.11.2017 -
Интерпретация отдельных нейронов сети Network Dissection: Quantifying Interpretability of Deep
Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau
et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau
et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau
et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau
et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau
et al., CVPR 2017 Глубокий рефакторинг 31.11.2017 -
О чем мечтают нейронные сети Deep Inside Convolutional Networks: Visualising
Image Classification Models and Saliency Maps, K. Simonyan et al., ICLR Workshop 2014 Увеличение активаций отдельных классов на серой картинке Глубокий рефакторинг 31.11.2017 -
Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,
Google Research Blog 2015. dumbbells Увеличение активаций отдельных классов Глубокий рефакторинг 31.11.2017 -
Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,
Google Research Blog 2015. Увеличение активаций отдельных признаков Глубокий рефакторинг 31.11.2017 -
Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.
A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017 -
Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.
A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017 -
Итеративное увеличение активаций всех классов Inceptionism: Going deeper into neural
networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017 -
Можно ли обмануть нейронную сеть? Intriguing Properties of Neural Networks.
Christian Szegedy et al., ICLR 2014 Глубокий рефакторинг 31.11.2017 -
В чем может быть уверена нейронная сеть с вероятностью более
99%? Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017 -
Выводы: • Нейронные сети являются очень мощным инструментом для визуального
распознавания, который дает богатые представления объектов, более устойчивые к различным доменам • Нейронная сеть не является «черным ящиком», а ищет семантические концепты для решения задачи, которые можно интерпретировать • В нейронной сети содержится информация от признаках различного уровня – от границ и градиентов до объектов • Остается разрыв между обучением без учителя и с учителем при достаточном количестве размеченных данных • На текущий момент нейронная сеть не воспроизводит полностью схему зрительного восприятия человека Глубокий рефакторинг 31.11.2017