Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDAR SLAMやセンサーフュージョン についての紹介
Search
Kenta Itakura
November 19, 2023
Technology
0
700
LiDAR SLAMやセンサーフュージョン についての紹介
本資料は、2023年12月13日のオンラインの勉強会 #AIMTG にて利用された資料です。
Kenta Itakura
November 19, 2023
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
16
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
11
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
0
49
点群から道跡の検出を行った事例
kentaitakura
0
55
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
61
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
210
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
710
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
550
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
590
Other Decks in Technology
See All in Technology
知識と実践を紡ぐGenAI / Connecting Knowledge and experience with GenAI
aki_moon
2
180
生成AIがもたらす変革 / GitHubGalaxy_CyberAgent
cyberagentdevelopers
PRO
2
130
【TSkaigi】2024/05/11 当日スライド
kimitashoichi
14
4k
SLOいつ決めましょう?
abnoumaru
3
830
試作とデモンストレーション / Prototyping and Demonstrations
ks91
PRO
0
170
LLM評価の落とし穴~開発者目線で気をつけるポイント~
rishigami
12
3.3k
株式会社EventHub・エンジニア採用資料
eventhub
0
2.1k
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
37k
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
19
5.1k
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
670
SWC Transformerから見るTypeScript関数記述ベストプラクティス
fujiyamaorange
1
180
.NET GraphQL Client のリアル
sansantech
PRO
1
410
Featured
See All Featured
What the flash - Photography Introduction
edds
64
11k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Designing for Performance
lara
601
67k
What's new in Ruby 2.0
geeforr
338
31k
Building Effective Engineering Teams - LeadDev
addyosmani
33
1.9k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
The Brand Is Dead. Long Live the Brand.
mthomps
49
30k
The Language of Interfaces
destraynor
151
23k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
23
1.7k
Building Applications with DynamoDB
mza
88
5.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Transcript
LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太
はじめに 1 本資料は、2023年12月13日のオンライン勉強会(AIMTG)にて利用されました 発 表 動 画 は
以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626
自己紹介:板倉健太 2 農学分野における3次元点群処理について研究し、博士(農学)を取得 2023年10月にImVisionLabs株式会社を創業 3次元点群処理の受託開発や研究開発を主に行っています
LiDARの利用について 3 LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が
返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典:emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典:OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences 3次元点群の取得や自己位置の推定に利用可能
LiDARデータの例 4 歩きながらLiDAR計測を行っているときの様子 各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない
自己位置推定について 5 LiDARの使い方の一つに自己位置推定がある 特徴点を見つけながら各フレームを取得した時の自分(センサー)の位置を求める 画像出典:なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる
RGB画像の投影 6 LiDAR単体では色情報を取得できない 画像出典:LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581
カラー画像の情報をLiDAR点群に投影(Sensor Fusion)し、点群に色情報を付与する
RGB画像の投影 7 投影するための方法として、チェッカーボードを利用する方法がある カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算
実行内容 8 前処理:点群と画像を対応付けるための行列を求めておく(キャリブレーション)
実行内容 9 LiDARやカメラを搭載したロボット(Turtlebot2)を室内で走行させる
実行内容 10 点群やRGB画像などを走行しながら取得
実行内容 11 後処理:カメラの色情報を点群に投影
実行内容 12 後処理:3D LiDAR SLAMにて自己位置推定と各点群の合成を行う
実行内容 13 後処理:占有グリッドマップ (Occupancy Grid Map) を作成
実行について 14 MATLAB (MathWorks, USA) を利用 コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 •
ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 (LinuxやROSの環境構築をせずに実行することができた)
実行結果 15
実行結果 16
まとめ 17 センサーフュージョンを利用し、点群に画像の色情報を投影した LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した 各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた
自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞:本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。
補足 18 AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典:AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu-
ti-wobiao-shi-sasetemita 画像出典:Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html