OpenTalks.AI - Семен Буденков, Многокамерная видеоаналитика для ритейла и контроля персонала​

Ad8ae7af280edaecb09bd73a551b5e5f?s=47 OpenTalks.AI
February 21, 2020

OpenTalks.AI - Семен Буденков, Многокамерная видеоаналитика для ритейла и контроля персонала​

Ad8ae7af280edaecb09bd73a551b5e5f?s=128

OpenTalks.AI

February 21, 2020
Tweet

Transcript

  1. 3.

    ВИДЕОАНАЛИТИКА  Детектирование и классификация объектов  Распознавание лиц 

    Распознавание автомобильных номеров  Анализ дорожной обстановки  Обнаружение:  движения  оставленных вещей  вторжения  пересечения линии
  2. 4.

    МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА • Ритейл • Отслеживание положения товаров (RFID метки)

    • Подсчет числа посетителей • Контроль очередей • Построение тепловых карт популярных отделов • Поиск потерявшихся детей в магазинах • Выявление аномального поведения • Контроль персонала • Контроль рабочего процесса • Соблюдение техники безопасности https://ru.wikipedia.org/wiki/rfid
  3. 5.

    МНОГОКАМЕРНАЯ ВИДЕОАНАЛИТИКА Перемещение людей с товарами в магазине • Красные

    точки – все товары • Синие точки – товары определенного типа
  4. 7.

    AMAZON GO https://patents.google.com/patent/US20150012396 https://www.nytimes.com/2018/01/21/technology/inside-amazon-go-a-store-of-the-future.html • https://amazon.com/go • 18 магазинов •

    Сиэтл • Чикаго • Сан-Франциско • Нью-Йорк • Технологии • Computer Vision • Sensor Fusion • Deep Learning
  5. 8.

    ДРУГИЕ • VisionLabs • https://visionlabs.ai • https://datafest.ru/6/ • Fun Editor

    • http://febusiness.ru • Синезис • https://kipod.ru/ • Macroscop • https://macroscop.com • ITV | AxxonSoft • https://www.itv.ru • ТВ Хелп • https://www.tvhelp.ru
  6. 9.

    MULTI CAMERA ANALYTICS INTELLIVISION MCA • Компоненты • ИИ –

    ядро системы • Преимущества • Демонстрация работы
  7. 10.

    АРХИТЕКТУРА • Требования • Камеры Fisheye (360°) • RTSP поток

    (7.5 – 30 fps) • Высота установки: 2 – 5 м • Радиус покрытия: 9 – 12 м • До 150 штук • 1 или более этажей • Аппаратное обеспечение • ЦПУ: Intel® Xeon® E5-2630 v4 @ 2.20 GHz • Память: DDR4 2133 MHz 32.0 GB • Платформы • Windows • CentOS Сервер Узел 1 Узел 2 Конвейер 1 Конвейер 60 … … Конвейер 61 Конвейер 120 … Данные Данные Камера 1 Камера 60 Камера 61 Камера 120 … … Видео Видео Видео Видео
  8. 15.

    ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ  Детектирование людей (Object Detection)  Сопровождение во

    времени (Object Tracking)  Однокамерное сопровождение  Многокамерное сопровождение  Реидентификация (Reidentification) Одна камера Детектирование Сопровождение Обнаружение Фильтрация Сопоставление Реидентификация Много камер Сопоставление Реидентификация
  9. 16.

    ОБНАРУЖЕНИЕ ОБЪЕКТОВ  AMBER: Adapting multi-resolution background extractor  Wang,

    B., & Dudek, P. (2013, September). AMBER: Adapting multi- resolution background extractor. In 2013 IEEE International Conference on Image Processing (pp. 3417-3421). IEEE. On 30 September 2012, a convolutional neural network (CNN) called AlexNet achieved a top-5 error of 15.3% in the ImageNet 2012 Challenge, more than 10.8 percentage points lower than that of the runner up. This was made feasible due to the use of Graphics processing units (GPUs) during training, an essential ingredient of the deep learning revolution. According to The Economist, "Suddenly people started to pay attention, not just within the AI community but across the technology industry as a whole. (https://en.wikipedia.org/wiki/ImageNet)
  10. 18.

    ОБНАРУЖЕНИЕ ОБЪЕКТОВ  SSD detector with MobileNet feature extractor 

    Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., ... & Adam, H. (2017). Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861.  Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Springer, Cham. https://towardsdatascience.com/review-mobilenetv1-depthwise-separable-convolution-light-weight- model-a382df364b69
  11. 20.

    ОБНАРУЖЕНИЕ ОБЪЕКТОВ  FCOS: Fully Convolutional One-Stage Object Detection (ICCV'19)

     Tian, Z., Shen, C., Chen, H., & He, T. (2019). FCOS: Fully Convolutional One- Stage Object Detection. arXiv preprint arXiv:1904.01355. https://github.com/tianzhi0549/FCOS/
  12. 21.

    СОПРОВОЖДЕНИЕ ОБЪЕКТОВ  Оптический поток (Optical flow)  Lucas, B.

    D., & Kanade, T. (1981). An iterative image registration technique with an application to stereo vision.  GOTURN (Generic Object Tracking Using Regression Networks)  Held, D., Thrun, S., & Savarese, S. (2016, October). Learning to track at 100 fps with deep regression networks. In European Conference on Computer Vision (pp. 749- 765). Springer, Cham  https://docs.opencv.org/3.4/d4/dee/tut orial_optical_flow.html
  13. 22.
  14. 23.

    СОПОСТАВЛЕНИЕ ОБЪЕКТОВ  Система правил на основе траектории движения 

    Реидентификация  Гистограммы цветов  https://docs.opencv.org/3.4/d6/dc7/group__im gproc__hist.html  Нейронные сети https://medium.com/@rndayala/image-histograms-in-opencv-40ee5969a3b7
  15. 24.

    РЕИДЕНТИФИКАЦИЯ 1 2 1 1 2 cam 1 2 1

    cam 2 cam 1 2 1 Одна камера Много камер
  16. 25.

    РЕИДЕНТИФИКАЦИЯ  Потеря или замена идентификатора  Пересечение траекторий 

    Исчезновение в слепой зоне и появление  Восстановление идентификатора затруднено  Люди в похожей одежде  Сильное перекрытие  Люди с тележками Реидентификация решает 2 задачи  Идентификация  Найти наиболее похожего человека в массиве изображений других людей  Верификация  Определить насколько изображения двух людей похожи между собой
  17. 27.

    rank@1 = 1 MAP@20 = 1.0 rank@1 = 0 MAP@20

    = 0 rank@1 = 0 MAP@20 = 0.51 rank@1 = 1 MAP@20 = 0.84 1 2 3 4
  18. 29.

    РЕИДЕНТИФИКАЦИЯ  In defense of the triplet loss for person

    re-identification  Hermans, A., Beyer, L., & Leibe, B. (2017). In defense of the triplet loss for person re-identification. arXiv preprint arXiv:1703.07737.
  19. 30.

    РЕИДЕНТИФИКАЦИЯ  Sphereface: Deep hypersphere embedding for face recognition 

    Liu, W., Wen, Y., Yu, Z., Li, M., Raj, B., & Song, L. (2017). Sphereface: Deep hypersphere embedding for face recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 212-220).
  20. 31.

    РЕИДЕНТИФИКАЦИЯ  Arcface: Additive angular margin loss for deep face

    recognition  Deng, J., Guo, J., Xue, N., & Zafeiriou, S. (2019). Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4690-4699).
  21. 32.

    ПРЕИМУЩЕСТВА Обезличенность посетителей Работа в реальном времени Не требует специального

    оборудования Выполнение на CPU/GPU Универсальность развертывания (облако/дата центры) Кросс- платформенность
  22. 34.
  23. 36.

    gallery probe#1 gallery probe#2 ProbeRank@1 = 1 ProbeRank@5 = 1

    ProbeRank@1 = 0 ProbeRank@5 = 1 Rank@k gallery probe#1 MAP@k Precision: 1 0.5 0.6 0.5 0.5 MAP@k = σ @ Average precision@5: (1 + 0.5 + 0.6) / 3 = 0.70 Average precision@10: (1 + 0.5 + 0.6 + 0.5 + 0.5) / 5 = 0.62 True identification: the person on the image from the gallery is the same as on the probe. False identification: the person on the image from the gallery is the different as on the probe. probe#2 Precision: 0.17 0.29 0.38 0.5 Average precision@5: = 0 Average precision@10: (0.17 + 0.29 + 0.38 + 0.44 + 0.5) / 5 = 0.36 Query #1 Query #2 Query#1 gallery MAP@5 = (0.70 + 0) / 2 = 0.35 0.44 MAP@10 = (0.62 + 0.41) / 2 = 0.52 Rank@k = σ ProbeRank@ Rank@1 = (1 + 0) / 2 = 0.5 Rank@5 = (1 + 1) / 2 = 1 Query#2 https://towardsdatascience.com/breaking-down-mean- average-precision-map-ae462f623a52