Convolution Neural Networks

Transcript

2. Сверточные нейронные сети В задаче распознавания изображений
4. Много где
5. Машинное обучение
6. Машинное обучение 1. Для задач, которые человек не способен решить в явном виде 2. Обучение
7. Обучение с учителем Размеченный набор данных: 1. Обучающая выборка 2. Тестовая выборка 3. Валидационная выборка
8. Задачи машинного обучения 1. Классификация 2. Регрессия 3. ...
9. Нейронные сети
10. Архитектура нейронной сети (перцептрон)
11. Нейрон - это функция
12. Нейрон - это функция
13. Полносвязная нейронная сеть
14. Обучение (алгоритм Back propagation) 1. Инициализируем все веса случайными значениями 2. Прямое распространение 3. Функция ошибки
15. Функция ошибки
16. Обучение (алгоритм Back propagation) 1. Инициализируем все веса случайными значениями 2. Прямое распространение 3. Функция ошибки 4. Обратное распространение 5. Обновление весов 6. Повторение пунктов 2-5 для всех изображений из обучающей выборки
17. Но если все так просто, то…? Давайте считать:
18. Сверточные нейронные сети
19. Сверточные нейронные сети
20. Сверточная нейронная сеть 1. Сверточные слои (Convolution layers) 2. Полносвязные слои (Fully-connected layers)
21. Сверточные слои 1. Convolution 2. Pooling
22. Свертка
23. Свертка
24. Свертка - пример
25. Свертка - пример
26. Свертка - пример
27. Замечания по свертке 1. Фильтры помогают выделить какие-то паттерны на изображении 2. Фильтры уменьшают размер матрицы, поэтому обычно применяется операция zero padding (дополнение нулями)
28. Pooling
29. Глубина - неважна при операциях Все свертки и pooling выполняются для каждого слоя отдельно, поэтому нет принципиального различия между тензором и матрицей
30. Все вместе 1. Свертка (с набором фильтров) - вот откуда берется глубина изображения! 2. Pooling 3. Свертка (с набором фильтров) 4. Pooling 5. Свертка (с набором фильтров) 6. Pooling 7. ...
31. Все вместе
32. Количество параметров (VGG) 1. Conv (3x3x64) - 64 фильтра размером 3х3х3 и +1 bias = (3*3*3+1)=1792 2. Maxpool - 0 (размер тензора 112х112х64) 3. Conv (3x3x128) - (3*3*64+1)*64=73 856 … 8. Conv (3x3x512) - (3*3*256+1)*512=1 180 160 … 13. Maxpool - на выходе тензор 7х7х512 14. Первый полносвязный слой - (7*7*512+1)*4096 = 102 764 544 !!!!!! .... Всего параметров сети примерно 133 млн.
33. Задача MNIST
35. Примеры с TensorFlow • MNIST для начинающих https://www.tensorflow.org/get_started/mnist/beginners • MNIST с CNN https://www.tensorflow.org/get_started/mnist/pros
36. Примеры с TensorFlow
37. Интересные примеры • Распознавание лиц от Microsoft https://www.microsoft.com/cognitive-services/en-us/face-api • Дорисовка котиков https://affinelayer.com/pixsrv/index.html
38. Хочу распознавать котиков!
39. Видеокарта
40. Курсы • Coursera Machine Learning (Stanford) https://www.coursera.org/learn/machine-learning • Coursera Машинное обучение и анализ данных (ВШЭ и ШАД Яндекса) https://www.coursera.org/specializations/machine-learning-data-analysis • Udacity Machine Learning Engineer Nanodegree (Google) https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd0 09
41. Библиотеки • TensorFlow • Theano • CNTK
42. Спасибо за внимание!