OpenTalks.AI - Семен Буденков, Многокамерная видеоаналитика для ритейла и контроля персонала​

Transcript

1. МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА ДЛЯ РИТЕЙЛА И КОНТРОЛЯ ПЕРСОНАЛА БУДЕНКОВ СЕМЕН OPENTALKS.AI 2020 НИЖНИЙ НОВГОРОД
2. ШАГ ЗА ШАГОМ ВИДЕОАНАЛИТИКА, РАЗНОВИДНОСТИ И ОСОБЕННОСТИ МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА ДЛЯ БИЗНЕСА ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ MCA ОТ КОМПАНИИ INTELLIVISION
3. ВИДЕОАНАЛИТИКА  Детектирование и классификация объектов  Распознавание лиц  Распознавание автомобильных номеров  Анализ дорожной обстановки  Обнаружение:  движения  оставленных вещей  вторжения  пересечения линии
4. МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА • Ритейл • Отслеживание положения товаров (RFID метки) • Подсчет числа посетителей • Контроль очередей • Построение тепловых карт популярных отделов • Поиск потерявшихся детей в магазинах • Выявление аномального поведения • Контроль персонала • Контроль рабочего процесса • Соблюдение техники безопасности https://ru.wikipedia.org/wiki/rfid
5. МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА Перемещение людей с товарами в магазине • Красные точки – все товары • Синие точки – товары определенного типа
6. ОБЗОР РЕШЕНИЙ AMAZON GO ДРУГИЕ
7. AMAZON GO https://patents.google.com/patent/US20150012396 https://www.nytimes.com/2018/01/21/technology/inside-amazon-go-a-store-of-the-future.html • https://amazon.com/go • 18 магазинов • Сиэтл • Чикаго • Сан-Франциско • Нью-Йорк • Технологии • Computer Vision • Sensor Fusion • Deep Learning
8. ДРУГИЕ • VisionLabs • https://visionlabs.ai • https://datafest.ru/6/ • Fun Editor • http://febusiness.ru • Синезис • https://kipod.ru/ • Macroscop • https://macroscop.com • ITV | AxxonSoft • https://www.itv.ru • ТВ Хелп • https://www.tvhelp.ru
9. MULTI CAMERA ANALYTICS INTELLIVISION MCA • Компоненты • ИИ – ядро системы • Преимущества • Демонстрация работы
10. АРХИТЕКТУРА • Требования • Камеры Fisheye (360°) • RTSP поток (7.5 – 30 fps) • Высота установки: 2 – 5 м • Радиус покрытия: 9 – 12 м • До 150 штук • 1 или более этажей • Аппаратное обеспечение • ЦПУ: Intel® Xeon® E5-2630 v4 @ 2.20 GHz • Память: DDR4 2133 MHz 32.0 GB • Платформы • Windows • CentOS Сервер Узел 1 Узел 2 Конвейер 1 Конвейер 60 … … Конвейер 61 Конвейер 120 … Данные Данные Камера 1 Камера 60 Камера 61 Камера 120 … … Видео Видео Видео Видео
11. СХЕМА ВЗАИМОДЕЙСТВИЯ Клиент Конфигурация Камера Создание Калибровка Обнаружение Сопровождение Кадры Сервер Синхронизация Сопоставление Объекты
12. КОНФИГУРАЦИЯ
13. КОНФИГУРАЦИЯ
14. КОНФИГУРАЦИЯ
15. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ  Детектирование людей (Object Detection)  Сопровождение во времени (Object Tracking)  Однокамерное сопровождение  Многокамерное сопровождение  Реидентификация (Reidentification) Одна камера Детектирование Сопровождение Обнаружение Фильтрация Сопоставление Реидентификация Много камер Сопоставление Реидентификация
16. ОБНАРУЖЕНИЕ ОБЪЕКТОВ  AMBER: Adapting multi-resolution background extractor  Wang, B., & Dudek, P. (2013, September). AMBER: Adapting multi- resolution background extractor. In 2013 IEEE International Conference on Image Processing (pp. 3417-3421). IEEE. On 30 September 2012, a convolutional neural network (CNN) called AlexNet achieved a top-5 error of 15.3% in the ImageNet 2012 Challenge, more than 10.8 percentage points lower than that of the runner up. This was made feasible due to the use of Graphics processing units (GPUs) during training, an essential ingredient of the deep learning revolution. According to The Economist, "Suddenly people started to pay attention, not just within the AI community but across the technology industry as a whole. (https://en.wikipedia.org/wiki/ImageNet)
17. ОБНАРУЖЕНИЕ ОБЪЕКТОВ
18. ОБНАРУЖЕНИЕ ОБЪЕКТОВ  SSD detector with MobileNet feature extractor  Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., ... & Adam, H. (2017). Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861.  Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Springer, Cham. https://towardsdatascience.com/review-mobilenetv1-depthwise-separable-convolution-light-weight- model-a382df364b69
19. ОБНАРУЖЕНИЕ ОБЪЕКТОВ
20. ОБНАРУЖЕНИЕ ОБЪЕКТОВ  FCOS: Fully Convolutional One-Stage Object Detection (ICCV'19)  Tian, Z., Shen, C., Chen, H., & He, T. (2019). FCOS: Fully Convolutional One- Stage Object Detection. arXiv preprint arXiv:1904.01355. https://github.com/tianzhi0549/FCOS/
21. СОПРОВОЖДЕНИЕ ОБЪЕКТОВ  Оптический поток (Optical flow)  Lucas, B. D., & Kanade, T. (1981). An iterative image registration technique with an application to stereo vision.  GOTURN (Generic Object Tracking Using Regression Networks)  Held, D., Thrun, S., & Savarese, S. (2016, October). Learning to track at 100 fps with deep regression networks. In European Conference on Computer Vision (pp. 749- 765). Springer, Cham  https://docs.opencv.org/3.4/d4/dee/tut orial_optical_flow.html
23. СОПОСТАВЛЕНИЕ ОБЪЕКТОВ  Система правил на основе траектории движения  Реидентификация  Гистограммы цветов  https://docs.opencv.org/3.4/d6/dc7/group__im gproc__hist.html  Нейронные сети https://medium.com/@rndayala/image-histograms-in-opencv-40ee5969a3b7
24. РЕИДЕНТИФИКАЦИЯ 1 2 1 1 2 cam 1 2 1 cam 2 cam 1 2 1 Одна камера Много камер
25. РЕИДЕНТИФИКАЦИЯ  Потеря или замена идентификатора  Пересечение траекторий  Исчезновение в слепой зоне и появление  Восстановление идентификатора затруднено  Люди в похожей одежде  Сильное перекрытие  Люди с тележками Реидентификация решает 2 задачи  Идентификация  Найти наиболее похожего человека в массиве изображений других людей  Верификация  Определить насколько изображения двух людей похожи между собой
26. РЕИДЕНТИФИКАЦИЯ Векторное представление Расстояние (D) Векторное представление Похоже Не похоже D ≤ T D > T Сравнение с T
27. rank@1 = 1 MAP@20 = 1.0 rank@1 = 0 MAP@20 = 0 rank@1 = 0 MAP@20 = 0.51 rank@1 = 1 MAP@20 = 0.84 1 2 3 4
28. РЕИДЕНТИФИКАЦИЯ https://paperswithcode.com/task/person-re-identification
29. РЕИДЕНТИФИКАЦИЯ  In defense of the triplet loss for person re-identification  Hermans, A., Beyer, L., & Leibe, B. (2017). In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737.
30. РЕИДЕНТИФИКАЦИЯ  Sphereface: Deep hypersphere embedding for face recognition  Liu, W., Wen, Y., Yu, Z., Li, M., Raj, B., & Song, L. (2017). Sphereface: Deep hypersphere embedding for face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 212-220).
31. РЕИДЕНТИФИКАЦИЯ  Arcface: Additive angular margin loss for deep face recognition  Deng, J., Guo, J., Xue, N., & Zafeiriou, S. (2019). Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4690-4699).
32. ПРЕИМУЩЕСТВА Обезличенность посетителей Работа в реальном времени Не требует специального оборудования Выполнение на CPU/GPU Универсальность развертывания (облако/дата центры) Кросс- платформенность
33. ДЕМОНСТРАЦИЯ РАБОТЫ OFFLINE
35. ВРЕМЯ ДЛЯ ВОПРОСОВ WWW.INTELLI-VISION.COM IVRJOBS@INTELLI-VISION.COM
36. gallery probe#1 gallery probe#2 ProbeRank@1 = 1 ProbeRank@5 = 1 ProbeRank@1 = 0 ProbeRank@5 = 1 Rank@k gallery probe#1 MAP@k Precision: 1 0.5 0.6 0.5 0.5 MAP@k = σ @ Average precision@5: (1 + 0.5 + 0.6) / 3 = 0.70 Average precision@10: (1 + 0.5 + 0.6 + 0.5 + 0.5) / 5 = 0.62 True identification: the person on the image from the gallery is the same as on the probe. False identification: the person on the image from the gallery is the different as on the probe. probe#2 Precision: 0.17 0.29 0.38 0.5 Average precision@5: = 0 Average precision@10: (0.17 + 0.29 + 0.38 + 0.44 + 0.5) / 5 = 0.36 Query #1 Query #2 Query#1 gallery MAP@5 = (0.70 + 0) / 2 = 0.35 0.44 MAP@10 = (0.62 + 0.41) / 2 = 0.52 Rank@k = σ ProbeRank@ Rank@1 = (1 + 0) / 2 = 0.5 Rank@5 = (1 + 1) / 2 = 1 Query#2 https://towardsdatascience.com/breaking-down-mean- average-precision-map-ae462f623a52
37. КАЛИБРОВКА