Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
Search
Kenta Itakura
May 03, 2024
Technology
1
430
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
本資料は、MATLAB EXPO 2024のライトニングトークにて使用されました。
Kenta Itakura
May 03, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
63
センサーフュージョンを利用した橋梁の構造情報の推定
kentaitakura
0
31
深層学習を利用した3次元点群の分類を行う際の手順について
kentaitakura
0
270
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
580
3次元点群の分類における評価指標について
kentaitakura
0
200
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
240
LIMEを用いた判断根拠の可視化
kentaitakura
0
290
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
270
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
160
Other Decks in Technology
See All in Technology
テストコードの品質を客観的な数値で担保しよう〜Mutation Testのすすめ〜
ysknsid25
12
3.6k
【㈱アイモバイル】エンジニア向け会社説明資料
imobile
0
470
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
240
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
320
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
7
3.7k
TypeScript x Raycast x AIで変える開発者体験
nagauta
1
280
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
240
LINE-ChatGPT 倫理問題を整理する全力肯定彼氏くん [LuC4]に訪れたサービス開始以来の最大の危機
o_ob
2
160
トークナイザー入門
payanotty
2
1k
Amplify Gen 2ではじめる 生成AIアプリ開発入門
tsukuboshi
0
240
From LibreOffice to « La Suite » : providing civil servants with Free Software sovereign tools
bluehats
0
100
Case Study: Concurrent Counting
ennael
PRO
0
130
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
How to train your dragon (web standard)
notwaldorf
87
5.6k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
RailsConf 2023
tenderlove
28
850
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Code Reviewing Like a Champion
maltzj
519
39k
Facilitating Awesome Meetings
lara
49
6k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
327
21k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
105
48k
Transcript
LiDARとカメラのセンサーフュージョン による点群のノイズ除去 ImVisionLabs株式会社代表取締役 板倉健太 博士(農学)
3次元点群について [a] ScanX2.0 3次元点群:点の集まりにより3次元形状を表現する 3次元点群を利用し、森林の地表面の形状や高さなどを調べる →伐採計画や温室効果ガスの吸収量を調べることなどに利用 画像出典: 2024年1月26日
朝日新聞 教育科学面 「地図×データ 湧くアイデア」 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています
3次元点群の分類について [a] ScanX2.0 点群から情報を得るためには、点群の分類が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
ノイズ除去について ScanX2.0 点群データを処理する際には、ノイズの点を除去する必要がある ノイズ 本発表では、点群から人のノイズ除去を行う 3次元点群での、計測対象外の人のノイズ除去は一般的に難しい 一般的なノイズ 点群中の人のノイズ
地上型レーザースキャナ(LiDAR)による計測 4 ◼ 3次元点群を取得する方法として、地上型レーザースキャナがよく利用される 画像も同時に取得されることが多い 画像出典: Matterport URL: https://matterport.com/ja/pro3
LiDARとカメラのセンサーフュージョンによるノイズ除去 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング
画像での人のセグメンテーション 6 ◼ Solov2を利用 • 人のセグメンテーションができるのではないか
LiDARとカメラのセンサーフュージョン 7 ◼ チェッカーボードを利用してLiDARとカメラのクロスキャリブレーションを実行 ◼ 画像および点群のチェッカーボードの角の情報などを利用 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影
LiDARとカメラのセンサーフュージョンによるノイズ除去 8 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] [b] [c] [d]
◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d]
◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた
まとめ 11 バックパック型スキャナー iPhone12 LiDAR LiDARとカメラのセンサーフュージョンを用いて3次元点群のノイズ分類を行いました 画像にてSolov2によりセグメンテーションした情報を点群にマッピングしました [動画] 本研究は、東京大学工学部全邦釘先生とのプロジェクトにて行われました