OpenTalks.AI - Антон Конушин, Навигация роботов - текущее состояние и внедрение глубинного обучения

Transcript

1. 2019.02.15 Навигация роботов - текущее состояние и внедрение глубинного обучения Anton Konushin
2. #2 Робототехника для помещений Сейчас: роботы-пылесосы Скоро: Мобильные голосовые помощники + Будущее: Многофункциональные роботы-помощники
3. #3 Зрение роботов  Simultaneous Localization and Mapping (SLAM) - Комбинация Visual Odometry (оценки траектории камеры), Mapping (построения карты), Visual Localization (локализация по карте) и Loop Closure Пример карты Карта и траектория
4. #4 Зрение роботов  Понимание сцены - Семантическая сегментация, выделение объектов, паноптическая сегментация, разбор сцены и т.д. Семантическая сегментация Выделение объектов
5. #5 Зрение роботов  SLAM + Scene Understanding = Semantic SLAM или Total Scene Understanding - Читаемая карты сцены + что и где лежит + где я нахожусь Пример Semantic SLAM Объёмная семантическая карта Source: https://arxiv.org/pdf/1801.07380.pdf Source: https://natanaso.github.io
6. #6 Современное состояние - данные  Датасеты покрывают обычно только часть аспектов задачи  Реальные очень ограничены, синтетические большие, но всё равно «не полны» TUM SLAM Dataset Source: http://suncg.cs.princeton.edu/ SUN CG Dataset. 45K сцен
7. #7 Современное состояние - метрики  «Карта» в методах SLAM чаще всего представлена ключевыми кадрами и облаком точек. Никто не знает, как оценивать качество таких «карт»  Оцениваем траектории, но не карты –> нет стыковки с планированием / управлением Плотное облако точек + траектория камеры Карта занятости Векторная карта с метками
8. #8 ORBSLAM2 как базовое решение  Классические методы SLAM опираются на сопоставление точек между кадрами, многовидовую геометрию и уточнение градиентным спуском (метод связок) Точечные особенности и сопоставление Локализация камеры и оценка структуры Raúl Mur-Artal and Juan D. Tardós. ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras. IEEE Transactions on Robotics, 2017
9. #9 ORBSLAM2 как базовое решение  ORBSLAM2 сочетает одометрию, построение карты, ре-локализацию и закрытие циклов для монокулярных, стерео и RGB-D данных Схема ORBSLAM2 Оценка качества (Absolute Trajectory Error)
10. #10 Deep Learning  Фокус на 1-2 аспектах SLAM методов - Deep Visual Odometry • 2 x RGB/RGBD -> оценка смещения и поворота камеры - Deep Mapping • RGB/RGBD -> Кусок карты видимой части сцены или всей карты - Deep Camera Localization • RGB/RGBD + Map/Set of images -> Положение камеры в сцене - Deep Odometry + Mapping • Поток RGB/RGBD -> траектория камеры + какая-то форма карты
11. #11 Deep Visual Odometry  Одометрию можно решать как оценку движения между парой кадров  Напрямую задача не решается с помощью DL  Используются вспомогательные задачи как оценка оптического потока, оценка карт глубины и т.д. Ummenhofer et. al. DeMoN: Depth and Motion Network for Learning Monocular Stereo. ICCV2017
12. #12 Deep Visual Odometry  Чередование оценки оптического потока и оценка карты глубины для того, чтобы заставить нейросеть учитывать всю информацию, а не только один кадр Ummenhofer et. al. DeMoN: Depth and Motion Network for Learning Monocular Stereo. ICCV2017
13. #13 Deep mapping  Модификация методов семантической сегментации для построения фрагмента семантической карты Source: arXiv:1804.02176v2
14. #14 Deep Tracking and Mapping (DeepTAM)  Оценка положения камеры по карте из набора ключевых кадров с глубиной. Нет замыкания циклов и ре-локализации. Общая схема работы Оценка позы камеры относительно предсказанного виртуального кадра. H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018
15. #15 Модуль Tracking  Оценка позы камеры совместно с оптическим потоком  Генерация набора гипотез и последующее усреднение H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018
16. #16 Модуль Tracking  Итеративное уточнение позы камеры H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018
17. #17 Модель Mapping  Mapping = оценка карты глубины для нового ключевого кадра H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018
18. #18 Демонстрация работы DeepTAM H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018
19. #19 Заключение  Явный недостаток эталонных данных и метрик оценки качества. Методы оцениваются в основном по траекториями или вспомогательным задачам, пр. оценка глубины.  Обучающие данные для Semantic SLAM будут в основном синтезироваться, что повышает важность развития методов для обучения на разнородных данных, улучшения качества синтеза и повышение их разнообразия  Предложены нейросетевые методы для решения отдельных задач, но пока нет единых, end-to-end обучаемых системы, по крайней мере для «домашних» роботов.