ロボティクスにおける SLAM 手法と実用化例 / SLAM Technology and Application Examples

第25回画像センシングシンポジウム/オーガナイズドセッション
https://confit.atlas.jp/guide/event/ssii2019/static/organized

Transcript

1. ロボティクスにおける SLAM 手法と実用化例 千葉工業大学 未来ロボット技術研究センター fuRo 原 祥尭（HARA, Yoshitaka） @ystk_hara SSII 2019, June 13
2. 自己紹介（略歴） 1 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 2007年：筑波大 油田･坪内･大矢研 修士 2007年～2011年：日立製作所 日立研究所 （旧、機械研究所） 2012年～2015年：学振特別研究員DC1 2015年：筑波大 坪内･大矢研 博士 2015年～：千葉工大 未来ロボット技術研究センター（fuRo） センサ融合 自律走行 ロボット掃除機 まとめ
3. 自己紹介（ROS 解説） 2 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 “ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発”, RSJ 第94回ロボット工学セミナー, 2015. https://www.slideshare.net/hara-y/ros-slam-navigation-rsj-seminar “ROS を用いた自律移動ロボットのシステム構築”, RSJ 第99回ロボット工学セミナー, 2016. https://www.slideshare.net/hara-y/ros-nav-rsj-seminar “解説：ROS を用いた自律走行”, 日本ロボット学会誌, vol. 35, no. 4, 2017. https://www.jstage.jst.go.jp/article/jrsj/35/4/35_35_286/_article/-char/ja/ センサ融合 自律走行 ロボット掃除機 まとめ
4. 自己紹介（SLAM 解説） 3 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 日経 Robotics 連載 “SLAM とは何か”, 全18回, 2016～2017. “SLAM とは何か：自己位置推定と地図構築の全体像”, RSJ 第112回ロボット工学セミナー, 2018. “SLAM の基礎とオープンソース”, RSJ 第119回ロボット工学セミナー, 2019. https://www.slideshare.net/hara-y/slam-rsj-seminar-2019 センサ融合 自律走行 ロボット掃除機 まとめ
5. 3次元 SLAM を用いた歩道での約 2 km 自律走行 4 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 https://youtu.be/njw9BPQUoa0 センサ融合 自律走行 ロボット掃除機 まとめ
6. 異なるセンサ情報の融合 5 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例
7. 最尤推定、最大事後確率推定、ベイズ推定 6 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 ロボット位置：x 確率密度：p(･) 事前確率 p(x|u) （オドメトリなど：u） 尤度 p(z|x,u) （スキャンなど：z） 事後確率 p(x|u,z) ベイズ推定 事後確率の分布を推定 最大事後確率（MAP）推定 事後確率のモードを推定 最尤推定 尤度のみのモードを推定 事後確率 ＝尤度×事前確率 ベイズの定理による自己位置推定の概念図 センサ融合 自律走行 ロボット掃除機 まとめ
8. ベイズ理論に基づく SLAM 手法の分類 7 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 最小二乗法は、誤差をガウス分布でモデル化した最尤推定に対応 正則化最小二乗法の正則化項は、最大事後確率推定での事前確率に対応 ベイズフィルタは、ベイズの定理とマルコフ過程に基づくベイズ推定 スキャンマッチングでも事後確率やその確率分布を推定できないか？ 最尤推定 最大事後確率 （MAP）推定 ベイズ推定 推定対象 尤度 事後確率 事後確率 推定結果 モード（点推定） モード（点推定） 確率分布 性質 尤度のみを最適化 事前確率と尤度を最適化 事前確率と尤度を 確率的に融合 該当する手法 スキャンマッチング、 グラフベース SLAM グラフベース SLAM ベイズフィルタ センサ融合 自律走行 ロボット掃除機 まとめ
9. 通常のスキャンマッチングは尤度のみを考慮 8 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 初期位置（車輪オドメトリ）を忘れてマッチングしていくため、 センサ視野の狭さなどが原因で誤った位置に収束してしまう 2次元平面での例 時刻t-1の ロボット位置 時刻tの 推定位置（誤り） 時刻tの 初期位置（オドメトリ） 時刻tの 実際の位置（真値） 実際の形状 目標点群 計測点群 マッチング 計測点群を重ねようとした結果、 初期位置から離れすぎて誤収束 計測点群 Hara+, “6DOF Iterative Closest Point Matching Considering A Priori with Maximum A Posteriori Estimation”, IROS 2013. センサ融合 自律走行 ロボット掃除機 まとめ
10. 最大事後確率 (MAP) 推定によるスキャンマッチング 9 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 初期位置（車輪オドメトリ）の情報を破棄せずに事前確率として用い、 正則化として与える制約内で計測点群をマッチングする 2次元平面での例 時刻t-1の ロボット位置 初期位置の近傍に留まる制約を 事前確率として与える 実際の形状 目標点群 計測点群 時刻tの 初期位置（オドメトリ） マッチング Hara+, “6DOF Iterative Closest Point Matching Considering A Priori with Maximum A Posteriori Estimation”, IROS 2013. センサ融合 自律走行 ロボット掃除機 まとめ
11. 最大事後確率推定でのスキャンマッチングの定式化 10 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 最小化するエネルギー関数 最大事後確率（MAP）推定による位置合わせを、 ベイズの定理に基づき正則化最小二乗法として導出 ロボット位置の修正量a t に関するベイズの定理 尤度 事前確率 ロボット位置の修正量a t の事後確率 尤度 事前確率 最大事後確率（MAP）推定の枠組みで導出 ロボット位置x t ではなく 修正量a t で定式化 axis-angle で3次元 回転の正則化を実現 axis angle x y z Hara+, “6DOF Iterative Closest Point Matching Considering A Priori with Maximum A Posteriori Estimation”, IROS 2013. センサ融合 自律走行 ロボット掃除機 まとめ
12. 最大事後確率推定を用いた MAP-ICP マッチング 11 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 Standard ICP（従来手法） MAP-ICP（提案手法） Xtion PRO LIVE 視野：水平58deg、垂直45deg 実験環境 緑：目標点群 赤：計測点群 視野角が狭いため 点群の重なりが少なく 従来手法は誤収束 ロボット [Hara+, IROS 2013] 尤度だけでなく事前確率も最適化 Hara+, “6DOF Iterative Closest Point Matching Considering A Priori with Maximum A Posteriori Estimation”, IROS 2013. センサ融合 自律走行 ロボット掃除機 まとめ 動画
13. ラプラス近似を用いた推定位置の確率分布計算 12 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 共分散 スキャン 格子ベースの総当たり法 ラプラス近似による確率分布 実際の誤差分布（真値） [原+, ロボシン2010] により、推定位置の共分散を計算 →グラフベース SLAM の制約条件として利用可能 原+, “法線方向の拘束を利用したスキャンマッチングと 尤度分布決定による確率的自己位置推定”, ロボシン 2010. 対応付けを考慮したヘッセ行列の 逆行列が共分散になる 位置拘束が退化して 長手方向に誤差大 センサ融合 自律走行 ロボット掃除機 まとめ
14. ラプラス近似を用いた推定位置の確率分布計算 13 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 共分散 スキャン 格子ベースの総当たり法 ラプラス近似による確率分布 実際の誤差分布（真値） [原+, ロボシン2010] により、推定位置の共分散を計算 →グラフベース SLAM の制約条件として利用可能 原+, “法線方向の拘束を利用したスキャンマッチングと 尤度分布決定による確率的自己位置推定”, ロボシン 2010. 対応付けを考慮したヘッセ行列の 逆行列が共分散になる センサ融合 自律走行 ロボット掃除機 まとめ
15. 屋外での3次元マッチングと確率分布計算の様子 14 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 10 m 推定したロボット位置の 確率分布 3次元形状を 平面に投影 マッチング1回の処理は 10 ms 未満 スキャン形状に応じた適切な確率分布を動的に計算 原+, “法線方向の拘束を利用したスキャンマッチングと 尤度分布決定による確率的自己位置推定”, ロボシン 2010. センサ融合 自律走行 ロボット掃除機 まとめ 動画
16. スキャンマッチングにおける受光強度の活用 15 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 レーザスキャンは形状だけでなく 受光強度の情報を持つ 受光強度を利用することで、形状特徴 の乏しい点群を対応付け可能 対象物の色や材質に関する情報を 受光強度として取得可能 ロボット Hara+, “Mobile Robot Localization and Mapping by Scan Matching Using Laser Reflection Intensity of the SOKUIKI Sensor”, IECON 2006. センサ融合 自律走行 ロボット掃除機 まとめ
17. 受光強度を用いた Intensity-ICP マッチング 16 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例  形状のみで最近傍の点を対応付け  平行な壁では、最大距離 4 m のために 拘束が退化し一意に位置合わせできない  廊下の長手方向が短くなってしまう [Hara+, IECON 2006]  受光強度も考慮して対応付け  測定範囲の不足により退化が発生するが、 廊下の長手方向も正しく推定できる Standard ICP（従来手法） Intensity-ICP（提案手法） Hara+, “Mobile Robot Localization and Mapping by Scan Matching Using Laser Reflection Intensity of the SOKUIKI Sensor”, IECON 2006. センサ融合 自律走行 ロボット掃除機 まとめ
18. Intensity-ICP に基づく SLAM による地図構築 17 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 短距離 LIDAR では退化する廊下を含む地図を、受光強度を活用して構築 構築した地図は受光強度の情報も持つ Hara+, “Mobile Robot Localization and Mapping by Scan Matching Using Laser Reflection Intensity of the SOKUIKI Sensor”, IECON 2006. センサ融合 自律走行 ロボット掃除機 まとめ
19. SLAM を用いた自律走行 18 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例
20. 屋外歩道で行われる自律 走行公開実験（6月～11月） 一般の人々がいる日常環境 2007年度から毎年実施 幹事として運営にも参加 つくば市役所 研究学園駅前公園
21. つくばチャレンジ2018での全チームの走行距離 20 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 参加ロボット75台、完走6台 チームによって経路が違う ため、完走でも距離は異なる 近年、オープンソースが充実 してきたが、実環境での自律 走行には課題が多い リアルワールドは難しい！ 18 29 9 6 1 2 0 1 1 2 4 1 15 19 18 5 0 2 0 1 1 4 6 3 0 5 10 15 20 25 30 35 台数 走行距離 [m] 本走行 本走行／記録走行 センサ融合 自律走行 ロボット掃除機 まとめ
22. 自律走行や SLAM のオープンソース利用状況 21 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 ROS で標準的な navigation と slam_gmapping が多い Autoware も多い Cartographer は意外に少ない （試用して諦めたとの声も） 製品である Stencil の利用も Visual SLAM は RTAB-Map と ORB-SLAM のみで少ない 18 20 1 1 8 2 1 1 2 1 0 5 10 15 20 25 ROS navigation ROS slam_gmapping ROS hector_slam ROS slam_karto Autoware Cartographer MRPT Kaarta Stencil RTAB-Map ORB-SLAM オープンソース SLAM については [原, “SLAM の基礎とオープンソース”] を参照 https://www.slideshare.net/hara-y/slam-rsj-seminar-2019 センサ融合 自律走行 ロボット掃除機 まとめ
23. 地図構築（SLAM）の手法 22 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 Laser SLAM が圧倒的多数、 ただグラフベースはまだ少ない RGB-D、Visual SLAM は少数 SLAM 不使用チームの戦略 ◼ オドメトリ地図で教示再生 ◼ GNSS（GPS など） ◼ トポロジカル地図 ◼ End-to-End 深層学習 13 25 8 2 2 15 0 5 10 15 20 25 30 Laser スキャンマッチング Laser ベイズフィルタ Laser グラフベース SLAM RGB-D SLAM Visual SLAM SLAM 不使用 その他の統計は [原+, “つくばチャレンジ2018技術調査アンケートの報告”] を参照 https://www.slideshare.net/hara-y/tsukuba-challenge-2018-survey センサ融合 自律走行 ロボット掃除機 まとめ
24. 様々な 3D-LIDAR が登場 23 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例  Velodyne LIDAR（米国） https://velodynelidar.com/  北陽電機（日本） https://www.hokuyo-aut.co.jp/  Ouster（米国） https://www.ouster.io/  HESAI（中国） http://www.hesaitech.com/  RoboSense LiDAR（中国） https://www.robosense.ai/  LeiShen LiDAR（中国） http://en.leishen-lidar.com/ 2次元も含め、これ以外にも非常に多くのスタートアップが開発 センサ融合 自律走行 ロボット掃除機 まとめ
25. 全周ミリ波 RADAR を用いた自己位置推定 24 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 [Cen and Newman, “Precise Ego-Motion Estimation with Millimeter-Wave Radar under Diverse and Challenging Conditions”, ICRA 2018] [Cen and Newman, “Radar-Only Ego-Motion Estimation in Difficult Settings via Graph Matching”, ICRA 2019] Navtech CTS350-X https://youtu.be/OHcj2A4cPMU https://youtu.be/nJeLHNf-U6k センサ融合 自律走行 ロボット掃除機 まとめ
26. ロボット掃除機での実用化例 25 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例
27. ロボット掃除機における SLAM の実用化 26 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 パナソニック・千葉工業大学産学連携センターでの開発例 2018年3月発表  独自の ScanSLAM で自律走行、帰還  アクティブサスを用いた段差乗り越え  スマホアプリでの可視化、操作 2018年11月発表（社長直轄プロジェクト）  ScanSLAM と人追従走行による掃除  深層学習による検出で段差乗り越え  縦型充電台で省スペース（自動昇降） fuRo ロボット掃除機プロトタイプ 次世代ロボット掃除機コンセプトモデル https://av.watch.impress.co.jp/docs/news/1109384.html https://robotstart.info/2018/11/01/moriyama_mikata-no65.html センサ融合 自律走行 ロボット掃除機 まとめ
28. iRobot ルンバ 980 の Visual SLAM（2015年） 27 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例  ポーズグラフに よる Visual SLAM  フロアトラッキ ングセンサなど と融合  占有格子地図を 近接／バンパセ ンサで構築  掃引計画と探査 により掃除領域 と地図を拡大 https://youtu.be/oj3Vawn-kRE センサ融合 自律走行 ロボット掃除機 まとめ
29. iRobot ロボット掃除機 28 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 ルンバ i7+（2018年）  地図を保持、地図更新、地図結合  自動／手動で部屋分割、部屋単位で掃除、 名前指定が可能  複数地図に対する大域的位置推定  処理能力が34倍向上 (9880 MIPS)  自動ゴミ収集する充電台 ルンバ s9+, ブラーバ Jet m6（2019年）  ルンバ最新はD型の車体、隅掃除に強い  3Dセンサを搭載、前方の障害物検出  1.3 GHz クアッドコアプロセッサ  ブラーバにも Visual SLAM 搭載  2台連携で掃除 （掃き→拭き）  iRobot 社の Visual SLAM は、Evolution Robotics 社の技術がベースだと思われる  Evolution Robotics 社は2000年代に Visual SLAM を製品化、2012年に買収された  NorthStar という人工ランドマークを用いた床拭きロボット Mint も販売していた センサ融合 自律走行 ロボット掃除機 まとめ
30. Dyson ロボット掃除機 29 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 ダイソン 360 Eye（2015年）  全方位カメラを用いた Visual SLAM  薄型充電台 ダイソン 360 Heurist（2019年）  地図を保持、地図更新、地図結合  手動で部屋分割、名前指定が可能  複数地図に対する大域的位置推定  LEDライトで暗所対応  処理能力が20倍向上（1.4 GHz クアッドコア） センサ融合 自律走行 ロボット掃除機 まとめ
31. Laser SLAM を用いたロボット掃除機 30 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 Neato Robotics Botvac（2010年～）  Laser SLAM による製品化の先駆者  D型の車体、隅掃除に強い  三角測量方式の安価 LIDAR を開発 [Konolige+, “A Low-Cost Laser Distance Sensor”, ICRA 2008] ECOVACS DEEBOT（2016年～）  Laser SLAM、部屋分割やエリア指定を2016年時点で実現  1台で掃き掃除（バキューム）と拭き掃除（モップ） Xiaomi、Anker、ほか多数  中国メーカを中心に多くの製品が登場 センサ融合 自律走行 ロボット掃除機 まとめ
32. まとめ 31 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例
33. 今後の発展、オープンプロブレム 32 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例  地図更新、地図結合 異なる時刻や複数台ロボットの地図データの活用  長時間活動への対応 グラフベース SLAM は走行に伴ってグラフが増大し、処理が重くなる  過酷な環境変化への対応 昼／夜、晴／雨／雪／霧／砂埃、季節変化、移動物体  セマンティックセグメンテーション、マッピング（物体や場所の属性認識）  深層学習との統合（画像、点群） カメラ画像の深度推定、画像／点群の特徴抽出、End-to-End  自律走行システムや実運用システムのインテグレーション センサ融合 自律走行 ロボット掃除機 まとめ
34. まとめ 33 SSII 2019, June 13, ロボティクスにおける SLAM 手法と実用化例 異なるセンサ情報の融合 ◼ 最尤推定、最大事後確率推定、ベイズ推定 ◼ MAP-ICP、ラプラス近似を用いた確率分布計算、Intensity-ICP SLAM を用いた自律走行 ◼ つくばチャレンジにおけるオープンソース利用状況、3D-LIDAR ◼ 全周ミリ波 RADAR ロボット掃除機での実用化例 今後の発展、オープンプロブレム センサ融合 自律走行 ロボット掃除機 まとめ