Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
0
32
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
14
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
8
点群から道跡の検出を行った事例
kentaitakura
0
52
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
60
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
200
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
700
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
550
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
590
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
89
Other Decks in Technology
See All in Technology
開発スピードの維持向上を支える、テスト設計の 漸進的進化への取り組み / Continuous Test Design Development for Speed of Product Development
ropqa
0
180
グイグイ系QAエンジニアでやっていくよ!
____rina____
0
760
【TSkaigi】2024/05/11 当日スライド
kimitashoichi
14
3.9k
LLM評価の落とし穴~開発者目線で気をつけるポイント~
rishigami
11
3.2k
The depthes of profiling Ruby - RubyKaigi 2024
osyoyu
0
130
日本が誇るイタリアのダンスミュージック!? ユーロビートって何??
minorun365
PRO
1
180
エムスリーマルチデバイスチーム紹介資料 / Introduction of M3 Multi Device Team
m3_engineering
0
150
DevRelによる信頼構築とデータ駆動で変わるエンジニア採用 / DevRel Trust Building to Data Driven Engineering Hiring
bobtani
1
130
OPENLOGI Company Profile
hr01
0
45k
SWC Transformerから見るTypeScript関数記述ベストプラクティス
fujiyamaorange
1
170
RubyKaigi 2024 - Make Your Own Regex Engine!
makenowjust
0
130
拓展QA日常工作的邊界
line_developers_tw
PRO
0
550
Featured
See All Featured
A better future with KSS
kneath
231
16k
Git: the NoSQL Database
bkeepers
PRO
423
63k
A Philosophy of Restraint
colly
197
16k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
How GitHub (no longer) Works
holman
305
140k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Into the Great Unknown - MozCon
thekraken
15
1.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
4 Signs Your Business is Dying
shpigford
176
21k
Typedesign – Prime Four
hannesfritz
36
2.1k
RailsConf 2023
tenderlove
9
580
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました