Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть

Сергей Миляев - Что видят нейронные сети для визуального распознавания, о чем мечтают, и как их можно обмануть

80eadbf0a221aaa4b764854df32fb781?s=128

Deep Refactoring

November 30, 2017
Tweet

Transcript

  1. Что видят нейронные сети для визуального распознавания, о чем мечтают,

    и как их можно обмануть Миляев Сергей Глубокий рефакторинг 31.11.2017
  2. Визуальное распознавание Компьютер должен понять, что изображено на картинке Он

    должен это сделать на основе машинного обучения – возможности обучаться без явного описания его знаний программным кодом. Глубокий рефакторинг 31.11.2017 Давайте вначале рассмотрим в начале, что такое задача визуального распознавания изображений. Под визуальным распознаванием
  3. Как работает наш мозг Представление биолога Представление инженера Глубокий рефакторинг

    31.11.2017
  4. Искуственные нейроны y z Slide adopted from Andrew Ng and

    G. Hinton z = y Линейная функция преобразования w1 w2 w3 Глубокий рефакторинг 31.11.2017
  5. Бинарная пороговая функция преобразования Бинарная пороговая функция преобразования Сигмоидальная функция

    преобразования Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017
  6. Многослойные сети прямого распространения Slide adopted from Andrew Ng Глубокий

    рефакторинг 31.11.2017
  7. Функция потерь и метод обратного распространения ошибки Slide adopted from

    Andrew Ng and G. Hinton Глубокий рефакторинг 31.11.2017
  8. Что поступает на вход нейронной сети при работе с изображениями

    Slide adopted from Andrew Ng Глубокий рефакторинг 31.11.2017
  9. Как работает обучение Slide adopted from G. Hinton Глубокий рефакторинг

    31.11.2017
  10. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  11. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  12. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  13. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  14. Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  15. Завершение обучения Slide adopted from G. Hinton Глубокий рефакторинг 31.11.2017

  16. Отсутствие инвариантности в точке наблюдения Slide adopted from Andrew Ng

    and G. Hinton Глубокий рефакторинг 31.11.2017
  17. Сверточные фильтры Slide adopted from G. Hinton and github.com/vdumoulin/conv_arithmetic.git Глубокий

    рефакторинг 31.11.2017
  18. Сверточные нейронные сети LeCun et al., 1989 LeCun et al.,

    1998 Глубокий рефакторинг 31.11.2017
  19. Визуальное распознавание в 00-е Boosting Classification with Exclusive Context, Q.

    Chen et al., PASCAL VOC 2010 Classification winner Глубокий рефакторинг 31.11.2017
  20. Глубокое обучение Обучающая выборка: 1.2 млн. картинок из 1000 классов.

    Вычислительные мощности: 2 x GTX 580 GPU ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
  21. Визуализация фильтров первого сверточного слоя Поиск ближайших картинок по глубоким

    признакам ImageNet classification with deep convolutional neural networks, A. Krizhevsky et al., NIPS 2012 Глубокий рефакторинг 31.11.2017
  22. Обобщающая способность глубоких признаков DeCAF: A Deep Convolutional Activation Feature

    for Generic Visual Recognition, J. Donahue et al., ICML 2014 База ImageNet База SUN-397 Глубокий рефакторинг 31.11.2017
  23. Устойчивость к различным доменам на базе Office DeCAF: A Deep

    Convolutional Activation Feature for Generic Visual Recognition, J. Donahue et al., ICML 2014 Глубокий рефакторинг 31.11.2017
  24. Карты салиентности для различных классов Deep Inside Convolutional Networks: Visualising

    Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 На что реагируют нейроны глубокой сети Глубокий рефакторинг 31.11.2017
  25. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  26. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  27. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  28. Visualizing and Understanding Convolutional Networks. M. Zeiler and R. Fergus,

    ECCV 2014 Глубокий рефакторинг 31.11.2017
  29. Что можно получить из активаций нейронов Восстановление картинки по признакам

    с различной степенью регуляризации Understanding Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  30. Восстановление изображений с признаков различных уровней Understanding Deep Image Representations

    by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  31. Восстановление изображений с признаков различных уровней в разных инициализациях Understanding

    Deep Image Representations by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  32. Восстановление изображений с признаков уровня pool5 Understanding Deep Image Representations

    by Inverting Them, A. Mahendran and A. Vedaldi, CVPR 2015 Глубокий рефакторинг 31.11.2017
  33. Эволюция архитектур глубоких нейронных сетей ImageNet top-5 classification error, %

    Deep Residual Learning for Image Recognition, K. He et al., CVPR 2016 Going Deeper with Convolutions, C. Szegedy et al., CVPR 2015 Very Deep Convolutional Networks for Large-Scale Image Recognition, K. Simonyan et al., ICLR 2015 Глубокий рефакторинг 31.11.2017
  34. Интерпретация отдельных нейронов сети Network Dissection: Quantifying Interpretability of Deep

    Visual Representations, D. Bau et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  35. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  36. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  37. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  38. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  39. Network Dissection: Quantifying Interpretability of Deep Visual Representations, D. Bau

    et al., CVPR 2017 Глубокий рефакторинг 31.11.2017
  40. О чем мечтают нейронные сети Deep Inside Convolutional Networks: Visualising

    Image Classification Models and Saliency Maps,
 K. Simonyan et al., ICLR Workshop 2014 Увеличение активаций отдельных классов на серой картинке Глубокий рефакторинг 31.11.2017
  41. Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,

    Google Research Blog 2015. dumbbells Увеличение активаций отдельных классов Глубокий рефакторинг 31.11.2017
  42. Inceptionism: Going deeper into neural networks. A. Mordvintsev et al.,

    Google Research Blog 2015. Увеличение активаций отдельных признаков Глубокий рефакторинг 31.11.2017
  43. Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.

    A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  44. Увеличение активаций всех классов Inceptionism: Going deeper into neural networks.

    A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  45. Итеративное увеличение активаций всех классов Inceptionism: Going deeper into neural

    networks. A. Mordvintsev et al., Google Research Blog 2015. Глубокий рефакторинг 31.11.2017
  46. Можно ли обмануть нейронную сеть? Intriguing Properties of Neural Networks.

    Christian Szegedy et al., ICLR 2014 Глубокий рефакторинг 31.11.2017
  47. В чем может быть уверена нейронная сеть с вероятностью более

    99%? Глубокий рефакторинг 31.11.2017
  48. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  49. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  50. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  51. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  52. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  53. Deep Neural Networks are Easily Fooled: High Confidence Predictions for

    Unrecognizable Images, A. Nguyen et al., CVPR 2015 Глубокий рефакторинг 31.11.2017
  54. Выводы: • Нейронные сети являются очень мощным инструментом для визуального

    распознавания, который дает богатые представления объектов, более устойчивые к различным доменам • Нейронная сеть не является «черным ящиком», а ищет семантические концепты для решения задачи, которые можно интерпретировать • В нейронной сети содержится информация от признаках различного уровня – от границ и градиентов до объектов • Остается разрыв между обучением без учителя и с учителем при достаточном количестве размеченных данных • На текущий момент нейронная сеть не воспроизводит полностью схему зрительного восприятия человека Глубокий рефакторинг 31.11.2017
  55. Спасибо за внимание!