Share
Embed
OpenTalks.AI - Антон Конушин, Навигация роботов - текущее состояние и внедрение глубинного обучения
OpenTalks.AI
February 15, 2019
Transcript
19 slides
-
#2 Робототехника для помещений Сейчас: роботы-пылесосы Скоро: Мобильные голосовые помощники
+ Будущее: Многофункциональные роботы-помощники -
#3 Зрение роботов Simultaneous Localization and Mapping (SLAM) -
Комбинация Visual Odometry (оценки траектории камеры), Mapping (построения карты), Visual Localization (локализация по карте) и Loop Closure Пример карты Карта и траектория -
#4 Зрение роботов Понимание сцены - Семантическая сегментация, выделение
объектов, паноптическая сегментация, разбор сцены и т.д. Семантическая сегментация Выделение объектов -
#5 Зрение роботов SLAM + Scene Understanding = Semantic
SLAM или Total Scene Understanding - Читаемая карты сцены + что и где лежит + где я нахожусь Пример Semantic SLAM Объёмная семантическая карта Source: https://arxiv.org/pdf/1801.07380.pdf Source: https://natanaso.github.io -
#6 Современное состояние - данные Датасеты покрывают обычно только
часть аспектов задачи Реальные очень ограничены, синтетические большие, но всё равно «не полны» TUM SLAM Dataset Source: http://suncg.cs.princeton.edu/ SUN CG Dataset. 45K сцен -
#7 Современное состояние - метрики «Карта» в методах SLAM
чаще всего представлена ключевыми кадрами и облаком точек. Никто не знает, как оценивать качество таких «карт» Оцениваем траектории, но не карты –> нет стыковки с планированием / управлением Плотное облако точек + траектория камеры Карта занятости Векторная карта с метками -
#8 ORBSLAM2 как базовое решение Классические методы SLAM опираются
на сопоставление точек между кадрами, многовидовую геометрию и уточнение градиентным спуском (метод связок) Точечные особенности и сопоставление Локализация камеры и оценка структуры Raúl Mur-Artal and Juan D. Tardós. ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras. IEEE Transactions on Robotics, 2017 -
#9 ORBSLAM2 как базовое решение ORBSLAM2 сочетает одометрию, построение
карты, ре-локализацию и закрытие циклов для монокулярных, стерео и RGB-D данных Схема ORBSLAM2 Оценка качества (Absolute Trajectory Error) -
#10 Deep Learning Фокус на 1-2 аспектах SLAM методов
- Deep Visual Odometry • 2 x RGB/RGBD -> оценка смещения и поворота камеры - Deep Mapping • RGB/RGBD -> Кусок карты видимой части сцены или всей карты - Deep Camera Localization • RGB/RGBD + Map/Set of images -> Положение камеры в сцене - Deep Odometry + Mapping • Поток RGB/RGBD -> траектория камеры + какая-то форма карты -
#11 Deep Visual Odometry Одометрию можно решать как оценку
движения между парой кадров Напрямую задача не решается с помощью DL Используются вспомогательные задачи как оценка оптического потока, оценка карт глубины и т.д. Ummenhofer et. al. DeMoN: Depth and Motion Network for Learning Monocular Stereo. ICCV2017 -
#12 Deep Visual Odometry Чередование оценки оптического потока и
оценка карты глубины для того, чтобы заставить нейросеть учитывать всю информацию, а не только один кадр Ummenhofer et. al. DeMoN: Depth and Motion Network for Learning Monocular Stereo. ICCV2017 -
#13 Deep mapping Модификация методов семантической сегментации для построения
фрагмента семантической карты Source: arXiv:1804.02176v2 -
#14 Deep Tracking and Mapping (DeepTAM) Оценка положения камеры
по карте из набора ключевых кадров с глубиной. Нет замыкания циклов и ре-локализации. Общая схема работы Оценка позы камеры относительно предсказанного виртуального кадра. H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018 -
#15 Модуль Tracking Оценка позы камеры совместно с оптическим
потоком Генерация набора гипотез и последующее усреднение H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018 -
#16 Модуль Tracking Итеративное уточнение позы камеры H. Zhou
et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018 -
#17 Модель Mapping Mapping = оценка карты глубины для
нового ключевого кадра H. Zhou et al., DeepTAM: Deep Tracking and Mapping. ECCV 2018 -
#18 Демонстрация работы DeepTAM H. Zhou et al., DeepTAM: Deep
Tracking and Mapping. ECCV 2018 -
#19 Заключение Явный недостаток эталонных данных и метрик оценки
качества. Методы оцениваются в основном по траекториями или вспомогательным задачам, пр. оценка глубины. Обучающие данные для Semantic SLAM будут в основном синтезироваться, что повышает важность развития методов для обучения на разнородных данных, улучшения качества синтеза и повышение их разнообразия Предложены нейросетевые методы для решения отдельных задач, но пока нет единых, end-to-end обучаемых системы, по крайней мере для «домашних» роботов.