Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
1
270
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
58
LIMEを用いた判断根拠の可視化
kentaitakura
0
170
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
180
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
110
点群から道跡の検出を行った事例
kentaitakura
0
770
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
330
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
520
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
950
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
680
Other Decks in Technology
See All in Technology
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
150
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
開発と事業を繋ぐ!SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~
leveragestech
0
630
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
160
OSSコミットしてZennの課題を解決した話
dyoshikawa1993
0
150
データベース研修 分析向けSQL入門【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
110
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
63
4.2k
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
26
2.1k
Embracing the Ebb and Flow
colly
81
4.3k
Building a Modern Day E-commerce SEO Strategy
aleyda
25
6.7k
We Have a Design System, Now What?
morganepeng
46
7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
24
1.8k
A Philosophy of Restraint
colly
200
16k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
26
1.6k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました