Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
0
41
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
16
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
11
点群から道跡の検出を行った事例
kentaitakura
0
53
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
61
ICPレジストレーションを利用した 3次元点群の位置合わせについて
kentaitakura
0
200
How to Perform Manual Classification for Deep Learning Using CloudCompare
kentaitakura
0
710
The CloudCompare project by Dr. Daniel Girardeau-Montaut
kentaitakura
0
550
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
590
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
89
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile for engineer
hr01
1
2.2k
Password cracking: past, present, future
openwall
0
280
「できる!」を増やすGitHub Copilot活用法 / How to use GitHub Copilot to expand your possibilities
sansan_randd
1
240
TDD - Test Driven Drupal
opdavies
0
3k
エンジニアゼロの組織から内製開発の DX をどう実現したのか / How did we achieve DX in in-house development in an organization with zero engineers?
genkiogasawara
7
3k
本当のガバクラ基礎
toru_kubota
0
320
[2024년 5월 세미나] 생성형 AI와 함께하는 데이터 분석가 커리어
datarian
0
1.2k
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
nabeliwo
2
390
B2C、B2B プロダクトマネジメントの違い(および思考の罠) / B2C, B2B PM and reduction fallacy
ykmc09
5
2.4k
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
2
1.7k
知識と実践を紡ぐGenAI / Connecting Knowledge and experience with GenAI
aki_moon
2
180
個人的、Kubernetes の最新注目機能! (2024年5月版) / TechFeed Experts Night#28 〜 コンテナ技術最前線
pfn
PRO
3
210
Featured
See All Featured
The Brand Is Dead. Long Live the Brand.
mthomps
49
30k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
Faster Mobile Websites
deanohume
300
30k
Making the Leap to Tech Lead
cromwellryan
125
8.6k
The Pragmatic Product Professional
lauravandoore
26
5.9k
The Power of CSS Pseudo Elements
geoffreycrofte
62
5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
Building an army of robots
kneath
300
41k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました