Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть

Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть

80eadbf0a221aaa4b764854df32fb781?s=128

Deep Refactoring

November 30, 2017
Tweet

Transcript

  1. 1.

    Что видят нейронные сети для визуального распознавания, о чем мечтают,

    и как их можно обмануть Миляев Сергей Глубокий рефакторинг 31.11.2017
  2. 2.

    Визуальное распознавание Компьютер должен понять, что изображено на картинке Он

    должен это сделать на основе машинного обучения – возможности обучаться без явного описания его знаний программным кодом. Глубокий рефакторинг 31.11.2017 Давайте вначале рассмотрим в начале, что такое задача визуального распознавания изображений. Под визуальным распознаванием
  3. 4.

    Искуственные нейроны y z Slide adopted from Andrew Ng and

    G. Hinton z = y Линейная функция преобразования w1 w2 w3 Глубокий рефакторинг 31.11.2017
  4. 8.

    Что поступает на вход нейронной сети при работе с изображениями

    Slide adopted from Andrew Ng Глубокий рефакторинг 31.11.2017
  5. 18.

    Сверточные нейронные сети LeCun et al., 1989 LeCun et al.,

    1998 Глубокий рефакторинг 31.11.2017
  6. 19.

    Визуальное распознавание в 00-е Boosting Classification with Exclusive Context, Q.

    Chen et al., PASCAL VOC 2010 Classification winner Глубокий рефакторинг 31.11.2017
  7. 20.

    Глубокое обучение Обучающая выборка: 1.2 млн. картинок из 1000 классов.

    Вычислительные мощности: 2 x GTX 580 GPU ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
  8. 21.

    Визуализация фильтров первого сверточного слоя Поиск ближайших картинок по глубоким

    признакам ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
  9. 22.

    Обобщающая способность глубоких признаков DeCAF: A Deep Convolutional Activation Feature

    for Generic Visual Recognition, J. Donahue et al., ICML 2014 База ImageNet База SUN-397 Глубокий рефакторинг 31.11.2017
  10. 23.

    Устойчивость к различным доменам на базе Office DeCAF: A Deep

    Convolutional Activation Feature for Generic Visual Recognition, J. Donahue et al., ICML 2014 Глубокий рефакторинг 31.11.2017
  11. 24.

    Карты салиентности для различных классов Deep Inside Convolutional Networks: Visualising

    Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 На что реагируют нейроны глубокой сети Глубокий рефакторинг 31.11.2017
  12. 25.

    Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  13. 26.

    Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  14. 27.

    Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  15. 28.

    Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  16. 29.

    Что можно получить из активаций нейронов Восстановление картинки по признакам

    с различной степенью регуляризации Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  17. 30.

    Восстановление изображений с признаков различных уровней Understanding Deep Image Representations

    by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  18. 31.

    Восстановление изображений с признаков различных уровней в разных инициализациях Understanding

    Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  19. 32.

    Восстановление изображений с признаков уровня pool5 Understanding Deep Image Representations

    by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  20. 33.

    Эволюция архитектур глубоких нейронных сетей ImageNet top-5 classification error, %

    Deep Residual Learning for Image Recognition, K. He et al., CVPR 2016 Going Deeper with Convolutions, C. Szegedy et al., CVPR 2015 Very Deep Convolutional Networks for Large-Scale Image Recognition, K. Simonyan et al., ICLR 2015 Глубокий рефакторинг 31.11.2017
  21. 34.

    Интерпретация отдельных нейронов сети Network Dissection: Quantifying Interpretability of Deep

    Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  22. 35.

    Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  23. 36.

    Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  24. 37.

    Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  25. 38.

    Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  26. 39.

    Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  27. 40.

    О чем мечтают нейронные сети Deep Inside Convolutional Networks: Visualising

    Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 Увеличение активаций отдельных классов на серой картинке Глубокий рефакторинг 31.11.2017
  28. 41.

    Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,

    Google Research Blog 2015. dumbbells Увеличение активаций отдельных классов Глубокий рефакторинг 31.11.2017
  29. 42.

    Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,

    Google Research Blog 2015. Увеличение активаций отдельных признаков Глубокий рефакторинг 31.11.2017
  30. 43.

    Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.

    A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  31. 44.

    Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.

    A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  32. 45.

    Итеративное увеличение активаций всех классов Inceptionism: Going deeper into neural

    networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  33. 46.

    Можно ли обмануть нейронную сеть? Intriguing Properties of Neural Networks.

    Christian Szegedy et al., ICLR 2014 Глубокий рефакторинг 31.11.2017
  34. 48.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  35. 49.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  36. 50.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  37. 51.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  38. 52.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  39. 53.

    Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  40. 54.

    Выводы: • Нейронные сети являются очень мощным инструментом для визуального

    распознавания, который дает богатые представления объектов, более устойчивые к различным доменам • Нейронная сеть не является «черным ящиком», а ищет семантические концепты для решения задачи, которые можно интерпретировать • В нейронной сети содержится информация от признаках различного уровня – от границ и градиентов до объектов • Остается разрыв между обучением без учителя и с учителем при достаточном количестве размеченных данных • На текущий момент нейронная сеть не воспроизводит полностью схему зрительного восприятия человека Глубокий рефакторинг 31.11.2017