Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
0
49
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
16
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
11
点群から道跡の検出を行った事例
kentaitakura
0
55
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
61
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
200
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
710
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
550
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
590
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
89
Other Decks in Technology
See All in Technology
SWC Transformerから見るTypeScript関数記述ベストプラクティス
fujiyamaorange
1
180
My road to OSEE Part1
yunolay
0
120
シンプルなHITL機械学習と様々なタスクにおけるHITL機械学習
naohachi89
0
320
AWSの生成AI入門書を執筆しました🎉
minorun365
PRO
0
150
データ分析力を高めるSQL研修サービス『SQL Everyone』
hikarut
1
400
20240516 OpenID TechNight Vol.21 OpenIDファウンデーション・ジャパンの 今後の活動について
oidfj
0
140
グイグイ系QAエンジニアでやっていくよ!
____rina____
0
780
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
300
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
120
エムスリーマルチデバイスチーム紹介資料 / Introduction of M3 Multi Device Team
m3_engineering
1
170
テストコードを書きながらCompose Multiplatformを乗りこなす
subroh0508
0
150
Step by Stepで学ぶ、ADT(代数的データ型)、モナドからEffect-TSまで
leveragestech
1
3.1k
Featured
See All Featured
RailsConf 2023
tenderlove
9
590
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Building an army of robots
kneath
300
41k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Robots, Beer and Maslow
schacon
PRO
155
8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Embracing the Ebb and Flow
colly
80
4.2k
Designing with Data
zakiwarfel
96
4.8k
Documentation Writing (for coders)
carmenintech
60
4k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました