OpenTalks.AI - Сергей Алямкин, AutoDL или как сократить затраты на разработку и использование в проде нейронных сетей

Transcript

1. AUTODL, ИЛИ КАК СОКРАТИТЬ ЗАТРАТЫ НА РАЗРАБОТКУ И ИСПОЛЬЗОВАНИЕ В ПРОДЕ НЕЙРОННЫХ СЕТЕЙ Алямкин Сергей, к.т.н.
2. Коротко обо мне - Технический директор - Лектор. Курс «Введение в ML» - Со-основатель
3. Разработка EDGE AI = долго + дорого ! Увеличение сроков 2-3 раза ! 60% проектов ИИ неуспешны 5-7 DL-разработчиков + 9-12 месяцев ~ 20-30 млн. руб.
4. Сбор данных Baseline Тест Новая гипотеза Портирование Обучение 80% времени и трудоемкости Процесс разработки ИИ для EDGE - Высокая точность(%) - Низкая latency(ms)/размер модели(Mb)
5. Сбор данных Baseline Тест Новая гипотеза Портирование Обучение 80% времени и трудоемкости ENOT Сбор данных Baseline Портирование Фреймворк ENOT
6. Формат моделей: pb, tf-lite, ONNX Фреймворк ENOT
7. MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block FPS: 1.7 • Точность: 0.88 • Число операций: 522 млн. MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block MN_v2_block MobileNet-v2 SSD Use Case – детектирование медицинских масок • Процессор: ARM Cortex A7 1.2 ГГц • RAM: 50Мб
8. Результаты Нейросеть Average Precision Число операций (MMAC) Число слоев Размер модели (МБ) Скорость работы (FPS) Базовая модель 0.88 522 16 15.3 1.7 Нейросеть Average Precision Число операций (MMAC) Число слоев Размер модели (МБ) Скорость работы (FPS) NAS (best accuracy) 0.62 501 15 10.6 1.8 NAS (best latency) 0.87 230 12 6.0 3.8 Нейросеть Average Precision Число операций (MMAC) Число слоев Размер модели (МБ) Скорость работы (FPS) NAS + prune 0.87 170 12 5.3 5.2 NAS + prune + quantizaton 0.87 170 12 1.4 7.2* Поиск архитектуры = подбор максимальной точности (+/- учитываем ограничение по скорости) 0.89 Прунинг + Квантование = сжатие и ускорение 7.2 6.0 1.4
9. Результаты
10. Benchmarks Imagenette Accuracy Число операций (MMAC) Ускорение MN_v2 (baseline) 0.89 299 1 ENOT_MN_v2_1 0.89 100 3 ENOT_MN_v2_2 0.88 75 5 CIFAR-100 Accuracy Число операций (MMAC) Ускорение MN_v2 (baseline) 0.68 54.4 1 ENOT_MN_v2_1a 0.68 27.5 2 ENOT_MN_v2_2a 0.66 18.2 3 Pascal VOC mAP Число операций (MMAC) Ускорение MN_v2_SSD-lite (baseline) 0.65 1340 1 ENOT_MN_v2_SSD-lite_1 0.64 664 2 ENOT_MN_v2_SSD-lite_2 0.63 527 2.5 Mseg mIoU GPU latency (ms/image) Ускорение HR-net (baseline) 0.44 12.0 1 ENOT_HR-net 0.43 5.8 2
12. 2 Наш путь в оптимизации нейросетей 3е место LPIRC-2018 май 2018 разработка фреймворка прунинга нейросетей июль 2018 первые места в двух треках LPIRC2-2018 ноябрь 2018 разработка фреймворка поиска архитектуры май 2019 начало разработки фреймворка ENOT июль 2019 сабмит самой быстрой системы распознавания лиц на NIST декабрь 2019 релиз SDK распознавания речи для Embedded март 2020 3е место на StartUp Village май 2020 релиз фреймворка ENOT сентябрь 2020 проекты по оптимизации нейросетей 2017 – 2018 разработка первой версии фреймворка квантования нейросетей июнь 2018 релиз SDK распознавания лиц для Embedded сентябрь 2018 разработка инференс фреймворка апрель 2019 выступление на CVPR-2019 LPIRC WorkShop июнь 2019 партнерское соглашение с Himax ноябрь 2019 внутренний релиз фреймворка ENOT февраль 2020 партнерское соглашение с Hisilicon апрель 2020 первые продажи лицензий на базе инференс ENOT июнь 2020
13. Достижения Так же, Первое место заняла команда Expasoft под названием "Division.ai" на конкурсе портретной сегментации, проведенном компанией PicsArt в 2018 году. Команда Expasoft заняла два первых места на IEEE International Low-Power Image Recognition Challenge (2018 LPIRC-II) Track 1 и Track 2 в ноябре 2018 года. Наши результаты превзошли достижения лучших команд в 2018 году в LPIRC, совместно организованном с CVPR, США, Солт- Лейк-Сити, штат Юта, 18 июня 2018 года. 1 1 2 Команда Expasoft заняла 2-е место на IEEE International Low- Power Image Recognition Challenge (2019 LPIRC-III), 16 июня 2019 года. 1-е место заняла компания "Алибаба", 3-е - команда MIT профессора Сонг Хана. https://rebootingcomputing.ieee.org/lpirc/2019
14. ДОСТИЖЕНИЯ • On Practical Approach to Uniform Quantization of Non-redundant Neural Networks A Goncharenko, A Denisov, S Alyamkin, E Terentev International Conference on Artificial Neural Networks, 349-360 • Trainable Thresholds for Neural Network Quantization A Goncharenko, A Denisov, S Alyamkin, E Terentev International Work-Conference on Artificial Neural Networks, 302- 312 • Low-Power Computer Vision: Status, Challenges, Opportunities S Alyamkin, M Ardi, A Brighton, AC Berg, B Chen, Y Chen, HP Cheng, ... IEEE Journal on Emerging and Selected Topics in Circuits and Systems • Winning Solution on LPIRC-ll Competition A Goncharenko, LLC Expasoft, S Alyamkin, A Denisov, E Terentev Proceedings of the IEEE Conference on Computer Vision and Pattern https://arxiv.org/ftp/arxiv/papers/1810/1810.01732 .pdf Публикации
15. Кейс: распознавание лиц Ограничения: 10МБ, ARM - 500МГц, 500мс Исходная/итоговая точность (%): 99.87 / 99.63 Ускорение/сжатие: 12 / 15 раз Пример №1 – распознавание лиц для домофона 15