Петр Третьяков: Нейронная сеть на Swift

Transcript

1. Нейронная сеть на Swift Без нейронов, регистрации и смс @petertretyakov
2. Who am I?
3. For beginners? • Импортируем библиотеку и датасеты • Инициализируем матрицы весов (weights) и смещений (bias) случайными величинами • Имплементируем модель с активационной функцией Softmax • С помощью алгоритма градиентного спуска (Gradient Descent) минимизируем кросс-энтропию • Инициализируем сессию обучения • Запускаем • PROFIT!
5. Линейная алгебра
6. Транспонирование 1 2 3 4 1 3 2 4
7. Сложение матриц 1 2 1 2 3 4 2 1 + 1+3 2+4 1+2 2+1
8. Умножение матриц 7 8 10 11 9 12 1 2 3 4 5 6 * 1*7+ 2*10 1*8+ 2*11 3*7+ 4*10 3*8+ 4*11 1*9+ 2*12 3*9+ 4*12 5*7+ 6*10 5*8+ 6*11 5*9+ 6*12
9. For beginners! CAT? OR NOT? 209 Train set 50 Test set
10. Датасеты 64 x 64 R G B * = 12288
11. Лейблы [0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 1, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0]
12. Как это работает? 1 12288 weights * Double bias + ~ Label 1 12288 input
13. Logistic Regression & sigmoid
14. Loss function
15. Loss function
16. Gradient Descent w = w - learningRate * w’
17. Gradient Descent a - labels
18. Time to code!
19. Находим производные
20. Обновляем параметры
21. Готовим результаты
22. Собираем
23. И в итоге…
24. Спасибо! Петр Третьяков @petertretyakov