Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDAR SLAMやセンサーフュージョン についての紹介
Search
Kenta Itakura
November 19, 2023
Technology
0
670
LiDAR SLAMやセンサーフュージョン についての紹介
本資料は、2023年12月13日のオンラインの勉強会 #AIMTG にて利用された資料です。
Kenta Itakura
November 19, 2023
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
7
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
0
22
点群から道跡の検出を行った事例
kentaitakura
0
45
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
38
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
160
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
680
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
540
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
570
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
81
Other Decks in Technology
See All in Technology
Building Dashboards as a Hobby
egmc
0
420
Amplify 🩷 Bedrock 〜生成AI入門〜
minorun365
PRO
9
1.1k
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
350
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
3.3k
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
さらばあのボタンとは言わせない SORACOM LTE-M Button powerd by AWSをまだ使えるようにした(前編?)
miura55
0
110
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
maimyyym
3
600
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
7
1.4k
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
840
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
130
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
710
MixIT 2024 - Pulumi : Gérer son infra avec son langage de programmation préféré
ju_hnny5
1
120
Featured
See All Featured
Infographics Made Easy
chrislema
238
18k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Mobile First: as difficult as doing things right
swwweet
217
8.6k
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
Designing Experiences People Love
moore
136
23k
Raft: Consensus for Rubyists
vanstee
133
6.3k
How STYLIGHT went responsive
nonsquared
92
4.8k
Producing Creativity
orderedlist
PRO
338
39k
For a Future-Friendly Web
brad_frost
172
9k
Unsuck your backbone
ammeep
664
57k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
8
3.4k
Transcript
LiDAR SLAMやセンサーフュージョン についての紹介 2023/12/13 AIミーティング 板倉健太
はじめに 1 本資料は、2023年12月13日のオンライン勉強会(AIMTG)にて利用されました 発 表 動 画 は
以 下 の 通 り で す 。 ご 興 味 が ご ざ い ま し た ら ぜ ひ ご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/wY_IV7oO100?si=TnIkIdq1B--HdVVJ&t=1626
自己紹介:板倉健太 2 農学分野における3次元点群処理について研究し、博士(農学)を取得 2023年10月にImVisionLabs株式会社を創業 3次元点群処理の受託開発や研究開発を主に行っています
LiDARの利用について 3 LiDAR (Light Detection And Ranging) は レーザービームを対象に照射し、その光が
返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる ドローン画像出典:emesent Hovermap ST https://www.mirukuru.co.jp/products/pdf/HVM-ST_jp_2208.pdf 自動運転車のイメージ お掃除ロボットのイメージ LiDARを搭載したドローン iPhoneに搭載されたLiDAR iPhone画像出典:OpenTopography https://opentopography.org/blog/iphone-lidar-applications- geosciences 3次元点群の取得や自己位置の推定に利用可能
LiDARデータの例 4 歩きながらLiDAR計測を行っているときの様子 各フレームでの点群情報が記録されており、点の色や自分の位置は明らかでない
自己位置推定について 5 LiDARの使い方の一つに自己位置推定がある 特徴点を見つけながら各フレームを取得した時の自分(センサー)の位置を求める 画像出典:なぜSLAMが重要か https://jp.mathworks.com/discovery/slam.html 各フレームの点群を組み合わせて、高密度な点群を構成することもできる
RGB画像の投影 6 LiDAR単体では色情報を取得できない 画像出典:LiDAR カメラ キャリブレーションとは https://jp.mathworks.com/help/lidar/ug/lidar-camera-calibration.html https://www.chuo-computer.co.jp/archives/10581
カラー画像の情報をLiDAR点群に投影(Sensor Fusion)し、点群に色情報を付与する
RGB画像の投影 7 投影するための方法として、チェッカーボードを利用する方法がある カメラ画像上の角と、点群上の角の位置を対応させることで位置関係を計算
実行内容 8 前処理:点群と画像を対応付けるための行列を求めておく(キャリブレーション)
実行内容 9 LiDARやカメラを搭載したロボット(Turtlebot2)を室内で走行させる
実行内容 10 点群やRGB画像などを走行しながら取得
実行内容 11 後処理:カメラの色情報を点群に投影
実行内容 12 後処理:3D LiDAR SLAMにて自己位置推定と各点群の合成を行う
実行内容 13 後処理:占有グリッドマップ (Occupancy Grid Map) を作成
実行について 14 MATLAB (MathWorks, USA) を利用 コードおよびデータはMathWorksより提供され、一部をカスタマイズして実行 •
ROS toolbox, Navigation Toolboxなどを利用 • Windows環境 (LinuxやROSの環境構築をせずに実行することができた)
実行結果 15
実行結果 16
まとめ 17 センサーフュージョンを利用し、点群に画像の色情報を投影した LiDAR SLAMを利用し、各フレームでのロボットの位置を推定した 各フレームでのロボットの位置や姿勢から、そのフレームでの点群の情報をマッピングし、 さらにそれらを統合することで高密度な点群を得ることができた
自動運転やロボティクスだけでなく、農業や林業、土木などの分野でも利用が広がって おり、今後もその原理や応用事例について深めていきたい 謝辞:本発表で利用したコードやデータ、および公開の許可をMathWorks様よりご提供いただきました。 感謝申し上げます。
補足 18 AprilTagを利用したカメラの自己位置の推定やAR表示については過去のAIMTGにて 発表しています AprilTagと呼ばれるマーカーを利用して、 ロボットの位置の推定精度を向上させる方法もあります 画像出典:AprilTagを利用してARで物体を表示させてみた https://speakerdeck.com/kentaitakura/20230816-apriltagwoli-yong-siteardewu-
ti-wobiao-shi-sasetemita 画像出典:Landmark SLAM using AprilTag Markers https://jp.mathworks.com/help/nav/ug/landmark-slam-using-apriltag- markers.html