Tweet
Tweet

Slide 1

Slide 1 text

LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太

Slide 2

Slide 2 text

はじめに 1  本資料は、2023年12月13日のオンライン勉強会（AIMTG）にて利用されました  発 表 動 画 は 以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626

Slide 3

Slide 3 text

自己紹介：板倉健太 2  農学分野における3次元点群処理について研究し、博士（農学）を取得  2023年10月にImVisionLabs株式会社を創業  3次元点群処理の受託開発や研究開発を主に行っています

Slide 4

Slide 4 text

LiDARの利用について 3  LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が 返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典：emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典：OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences  3次元点群の取得や自己位置の推定に利用可能

Slide 5

Slide 5 text

LiDARデータの例 4  歩きながらLiDAR計測を行っているときの様子  各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない

Slide 6

Slide 6 text

自己位置推定について 5  LiDARの使い方の一つに自己位置推定がある  特徴点を見つけながら各フレームを取得した時の自分（センサー）の位置を求める 画像出典：なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる

Slide 7

Slide 7 text

RGB画像の投影 6  LiDAR単体では色情報を取得できない 画像出典：LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581  カラー画像の情報をLiDAR点群に投影（Sensor Fusion）し、点群に色情報を付与する

Slide 8

Slide 8 text

RGB画像の投影 7  投影するための方法として、チェッカーボードを利用する方法がある  カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算

Slide 9

Slide 9 text

実行内容 8  前処理：点群と画像を対応付けるための行列を求めておく（キャリブレーション）

Slide 10

Slide 10 text

実行内容 9  LiDARやカメラを搭載したロボット（Turtlebot2）を室内で走行させる

Slide 11

Slide 11 text

実行内容 10  点群やRGB画像などを走行しながら取得

Slide 12

Slide 12 text

実行内容 11  後処理：カメラの色情報を点群に投影

Slide 13

Slide 13 text

実行内容 12  後処理：3D LiDAR SLAMにて自己位置推定と各点群の合成を行う

Slide 14

Slide 14 text

実行内容 13  後処理：占有グリッドマップ (Occupancy Grid Map) を作成

Slide 15

Slide 15 text

実行について 14  MATLAB (MathWorks, USA) を利用  コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 • ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 （LinuxやROSの環境構築をせずに実行することができた）

Slide 16

Slide 16 text

実行結果 15

Slide 17

Slide 17 text

実行結果 16

Slide 18

Slide 18 text

まとめ 17  センサーフュージョンを利用し、点群に画像の色情報を投影した  LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した  各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた  自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞：本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。

Slide 19

Slide 19 text

補足 18  AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています  AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典：AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu- ti-wobiao-shi-sasetemita 画像出典：Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html