OpenTalks.AI - Дмитрий Пагин, Ускорение сверточных сетей с помощью квантизации. Quantization aware training.

Transcript

1. Ускорение сверточных сетей с помощью квантизации. Quantization aware training. Dmitriy Pagin, ML and CV developer
2. Задача
3. Задача • Детектировать и трекать автомобили с камер и дронов
4. Условия • Облачная обработка с клиентского приложения • Видеокарты среднего сегмента - RTX 2060/2080 • Требуется минимум 30 fps скорости обработки
5. Сложности • Высокая скорость • Маленькие размеры (~10px)
6. > 70k cars on 4k images Dataset
7. Baseline 10 fps из коробки на FullHD фреймах
8. 10 fps -> 12 fps -> 40 fps -> ??? OpenTalksAI 2020 pruning физичность данных
9. Как сделать быстрее?
10. Методы • Quantization • Quantization aware training
11. Quantization
12. Quantization Quantization - приведение весов и вычислений к типам меньшей точности с целью ускорения инференса и уменьшения размера сети
13. Quantization
14. Quantization По умолчанию - float32 • float16 - округление • int8 - округление + нормирование (256! значений) • int4 … • binary ...
15. Quantization
16. Quantization. INT8 error increasing
17. Мы поверили • low-precision инференс в float16 даёт бесплатное(?) 2-кратное ускорение • low-precision инференс в int8 может ускорить до 4 раз, но часто ведет к западению метрик
18. FPS: +100% (40 fps -> 80 fps) mAP75: -1.2% (0.95 -> 0.938) Мы попробовали
19. Мы попробовали Сложный ролик с тенями Добор датасета Дообучение Тест и замена модели
20. float32 float16 Мы попробовали
21. Quantization Aware Training
22. float32 float16 Потеря “нежных” фич: • тени • ночные ролики • авто с прицепами Quantization aware training. Зачем?
23. float32 float16 Ухудшение для маленьких объектов: S (дисперсия координат для объектов < 100px в ширину) = 5.1 px Quantization aware training. Зачем?
24. without Quantization aware training with float32 float32 float32 float32 float16 float16 float16 float16
25. Quantization aware training benefits • гарантированное сохранение метрик при TensorRT float16 inference • 2x уменьшение размера модели • “gradient clipping” регуляризация -> лучшее обобщение
26. Quantization aware training Сложный ролик с тенями Добор датасета Quantization aware дообучение Тест и замена модели
27. float32 float16 Quantization aware training
28. FPS: +100% (40 fps -> 80 fps) mAP75: -0.2% (0.95 -> 0.948)
29. Итоги • TensorRT low-precision must have -> 2x ускорение • TensorRT low-precision лучше использовать после quantization aware training
30. 10 fps -> 12 fps -> 40 fps -> 80 fps OpenTalksAI 2020 pruning физичность данных quantization
32. Thanks! Questions? dm.pagin@gmail.com +7 952 335 65 70
33. Appendix. Examples
34. Appendix. Examples
35. Appendix. Examples
36. Learning and Fine-tuning - 608x608 px - batchSize = 3 - custom augmenters - Radam optimizer (instead warmup + reduce LR) - Hard negative mining for trucks
38. Appendix. Radam
39. Weights Pruning Pruning - уменьшение размера обученной сети без потери точности путем удаления слабых узлов
40. Weights Pruning
41. Weights Pruning
42. Weights Pruning. Convs masking 1. Маскируем i-ую свертку 2. Прогоняем тестовый датасет и запоминаем метрику 3. Повторяем шаг 1 для всех сверток end: удаляем свертки, которые слабо влияют на итоговую метрику для средних и больших моделей ДОЛГО
43. Weights Pruning. Low magnitude Гипотеза - свертки с малыми значениями весов, вносят малый вклад в итоговое принятие решения 5 -3 1 1 1 2 3 1 -4 0 1 -1 1 1 0 0 1 -1
44. Weights Pruning. Low magnitude Гипотеза - свертки с малыми значениями весов, вносят малый вклад в итоговое принятие решения 5 -3 1 1 1 2 3 1 -4 0 1 -1 1 1 0 0 1 -1
45. Weights Pruning. Цикл
46. Weights Pruning. Процесс Шаг mAP75 Число параметров, млн Размер сети, мб От изначальной, % Время прогона, мс Условие вырезания 0 0.963 39 155 100 112 - 1 0.956 37 142 92 106 5% от всех 2 0.962 34 134 87 102 5% от всех 3 0.958 31 124 80 95 15% для слоев с 400+ сверток 4 0.934 29 116 75 90 10% для слоев с 100+ сверток
47. Weights Pruning -25% convs = size: 155 mb mAp: 0.963 inf: 112 ms size: 124 mb mAp: 0.958 inf: 90 ms Inference: +15% mAP75: -0,5%