Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDAR SLAMやセンサーフュージョン についての紹介
Search
Kenta Itakura
November 19, 2023
Technology
1
750
LiDAR SLAMやセンサーフュージョン についての紹介
本資料は、2023年12月13日のオンラインの勉強会 #AIMTG にて利用された資料です。
Kenta Itakura
November 19, 2023
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
130
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
35
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
2
110
点群から道跡の検出を行った事例
kentaitakura
0
630
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
120
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
360
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
810
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
580
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
660
Other Decks in Technology
See All in Technology
社内 TSKaigi 実施を経た Full Stack TypeScript 強化の道
niwatakeru
0
120
Developing image pull secrets provisioner / Kubernetes Meetup Tokyo #65
pfn
PRO
2
210
Kubernetesで作るIaaS基盤/KubeVirt Deep Dive
oracle4engineer
PRO
11
2.1k
go get で考慮している ファイルシステムの挙動について
shinnosuke_kishida
3
580
OpenTelemetry Collector の Connectors って何者?
phaya72
1
920
Cloudflare Workersで構築する非同期ジョブシステム
aiji42
3
310
生成AIの活用方法 - 2024年現在、 結局どのように使えばいいのだろうか? / How to use Generative AI in 2024
nttcom
3
570
Luupの開発組織におけるインシデントマネジメントの変遷
grimoh
2
360
Practices_for_improving_freee_development_productivity
hikarumiyazawa
0
360
その失敗から何を学ぶ?不確実性をマネジメントして目標達成するための心得 #webtan
aki_iinuma
19
5.3k
エレガントパズル エンジニアのマネジメントという難問にあなたはどう立ち向かうのか / Elegant Puzzle
iwashi86
13
2.4k
いまからでも遅くない!ROKS (RedHat OpenShift on IBM Cloud) の運用
helenxiao
0
210
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
176
21k
Documentation Writing (for coders)
carmenintech
61
4.1k
Happy Clients
brianwarren
92
6.5k
WebSockets: Embracing the real-time Web
robhawkes
59
7.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
26
2.1k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
The Invisible Customer
myddelton
114
12k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
42
4.6k
Fireside Chat
paigeccino
23
2.7k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
GraphQLとの向き合い方2022年版
quramy
34
13k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
22
2k
Transcript
LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太
はじめに 1 本資料は、2023年12月13日のオンライン勉強会(AIMTG)にて利用されました 発 表 動 画 は
以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626
自己紹介:板倉健太 2 農学分野における3次元点群処理について研究し、博士(農学)を取得 2023年10月にImVisionLabs株式会社を創業 3次元点群処理の受託開発や研究開発を主に行っています
LiDARの利用について 3 LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が
返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典:emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典:OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences 3次元点群の取得や自己位置の推定に利用可能
LiDARデータの例 4 歩きながらLiDAR計測を行っているときの様子 各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない
自己位置推定について 5 LiDARの使い方の一つに自己位置推定がある 特徴点を見つけながら各フレームを取得した時の自分(センサー)の位置を求める 画像出典:なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる
RGB画像の投影 6 LiDAR単体では色情報を取得できない 画像出典:LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581
カラー画像の情報をLiDAR点群に投影(Sensor Fusion)し、点群に色情報を付与する
RGB画像の投影 7 投影するための方法として、チェッカーボードを利用する方法がある カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算
実行内容 8 前処理:点群と画像を対応付けるための行列を求めておく(キャリブレーション)
実行内容 9 LiDARやカメラを搭載したロボット(Turtlebot2)を室内で走行させる
実行内容 10 点群やRGB画像などを走行しながら取得
実行内容 11 後処理:カメラの色情報を点群に投影
実行内容 12 後処理:3D LiDAR SLAMにて自己位置推定と各点群の合成を行う
実行内容 13 後処理:占有グリッドマップ (Occupancy Grid Map) を作成
実行について 14 MATLAB (MathWorks, USA) を利用 コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 •
ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 (LinuxやROSの環境構築をせずに実行することができた)
実行結果 15
実行結果 16
まとめ 17 センサーフュージョンを利用し、点群に画像の色情報を投影した LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した 各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた
自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞:本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。
補足 18 AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典:AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu-
ti-wobiao-shi-sasetemita 画像出典:Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html