LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去

本スライドは以下の土木学会の論文誌に掲載された内容です。東京大学全 邦釘先生との取り組みです。

掲載論文「LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去」（AI・データサイエンス論文集　5巻3号，2024）

論文ページ：
https://www.jstage.jst.go.jp/article/jsceiii/5/3/5_757/_pdf/-char/ja

Transcript

1. LiDARとカメラのセンサーフュージョン による点群のノイズ除去 〇板倉健太1) 、林拓哉1) 、上脇優人1) 、全 邦釘2) 1) ImVisionLabs株式会社 2)東京大学大学院工学系研究科総合研究機構
2. 3次元点群について [a] ScanX2.0  近年、多くの分野で3次元点群の利活用が進んでいる  3次元点群:点の集まりにより3次元形状を表現する (左下動画)  例）山下ら（2019）: Mobile Mapping System (MMS) で取得した点群を使用して，建築 物の測量や，コンクリートの浮きや剥離を検出するシステムを開発 画像出典: 山下淳子, 木村沙智, & 川村日成. (2019). 3 次元点群データを 活用したインフラ構造物の維持管理. 精密工学会誌, 85(3), 228-231.
3. 3次元点群について ScanX2.0  3次元点群の取得には様々な方法が存在  地上型レーザースキャナにより取得した点群の利活用における課題の一つにノイズ除去 • 地上/上空、移動しながら/静止 • 対象物の計測をするためにノイズを手動で除去する必要がある場合も多い 移動しながら計測 一点に設置して計測 ドローン画像出典: SEKIDO DJI Zenmuse L1 https://sekido-rc.com/?pid=154838564 ドローンにスキャナを搭載
4. 処理の例: 分類が比較的簡単な例 ScanX2.0 ノイズ  周辺の点から離れた場所に小さな塊のようなノイズが発生する場合がある 一般的なノイズ 点群中のノイズの例  最も近い点との距離や密度などを計算することで閾値処理できる ScanX 2.0 点群データ出典:東京都デジタルツイン実現プロジェクト URL:https://info.tokyo-digitaltwin.metro.tokyo.lg.jp/
5. 処理の例: 分類が難しい例 ScanX2.0 ノイズ  下右図のような人や自動車のノイズ除去は難しい場合が多い 一般的なノイズ 点群中の人のノイズ  密度も小さくなく、周辺の物体との連続性もあるため ScanX 2.0
6. 地上型レーザースキャナ（LiDAR）による計測 5 ◼ 地上型レーザースキャナで点群を計測した場合画像も同時に取得されることが多い 画像から人などを検出できるのではないか 画像出典: Matterport URL: https://matterport.com/ja/pro3
7. 本研究の目的 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー ジ ョ ン 画像（2D） LiDARで取得した点群（3D） ◼ レーザースキャナ中のカメラ画像と点群とのセンサーフュージョン ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング→ノイズ除去
8. 実験方法: 対象データ [a] ScanX2.0  福島県石川郡平田村の小規模な橋梁の点群データを取得  LiDARは、Matterport Pro3 (Matterport, USA) を利用 (下表)  点群ファイル中の人などが存在しており、それらの除去を目指す 項目 詳細 波長 904 nm 視野角（水平） 360度 視野角（垂直） 295度 計測範囲 0.5 m ～ 100 m 測距精度 10 mで±20 mm 取得可能点数 1秒当たり10万点 スキャン時間 20秒未満 カラー画像の解像度 4096×4096 pixel
9. 実験方法: スキャナに内蔵されたカメラ画像の取得 [a] ScanX2.0  計測した3次元点群をE57形式で保存  E57形式では、点群ファイルだけでなく、画像や各計測地点での3次元的な向きを保存 図: E57形式のファイルから抽出した計測時に取得したカメラ画像
10. 実験方法: センサーフュージョン [a] ScanX2.0  画像と3次元点群の位置関係を求める  チェッカーボードを撮影し、以下の式の外部パラメータ行列を算出 左図出典: Yamane, T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407. 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1  LiDARの計測地点が毎回異なるため、E57形式のセンサーの位置情報を抽出し補正 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標
11. 実験方法: ノイズ除去 [a] ScanX2.0  対象の点群データと画像を参照して手動で人の点群を特定・切り取りを行い、手動で切 り取ったデータとノイズとして分類された点群を比較して精度評価を実施  深層学習を利用した学習済みモデル（SOLOv2）を利用し、スキャナから取得した 画像中の人の領域をセグメンテーション  人の領域を点群に反映し点群においてノイズ除去
12. 結果: センサーフュージョン 12  画像および点群のチェッカーボードの角の情報などを利用  [c]のように点群を精度よく画像に投影することができた 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影 [a] [b] [c]
13. LiDARとカメラのセンサーフュージョンによるノイズ除去 13 ◼ 人を対象として、ノイズ除去を実行: 結果を赤で表示 [a] LiDARから取得した画像から人を検出 [b] 点群上に人の情報を反映した様子 人を画像上で検出 点群で セグメンテーション
14. ◼ [a]・[b]は対象の点群、[c]・[d]はノイズ除去の結果 LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] [d] 点群で セグメンテーション ノイズとして 除去可能
15. ◼ 対象までの距離が遠い場合もうまくノイズ除去ができている LiDARとカメラのセンサーフュージョンによるノイズ除去 [a] [b] [c] ◼ 従来のノイズ除去手法では難しい対象も、センサーフュージョンによりうまく 処理することができた 人を画像上で検出 点群で セグメンテーション
16. 画像での人のセグメンテーション 17 ID Recall Precision F1 1 0.658 1.000 0.794 2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID3: Recall，Precisionともに高く、精度よく分類できた
17. 画像での人のセグメンテーション 18 ID Recall Precision F1 1 0.658 1.000 0.794 2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID8: Recall，Precisionともに高く、精度よく分類できた
18. 画像での人のセグメンテーション 19 ID Recall Precision F1 1 0.658 1.000 0.794 2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:3] [ID:8] [ID:1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID1:分類した赤の結果は正解データの一部のみしか網羅していない
19. 画像での人のセグメンテーション 20 ID Recall Precision F1 1 0.658 1.000 0.794 2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:6]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID6:より広い領域をノイズとして分類したため赤の範囲が大きい→Precisionは低い
20. まとめ 21 バックパック型スキャナー  LiDARとカメラのセンサーフュージョンで3次元点群のノイズ分類を実施し、 高精度な分類が可能であることが確認できた  画像中でSolov2を利用して人のセグメンテーションを行い、その情報を点群へマッ ピングすることができた  Recall, Precision, F1スコアがそれぞれ0.923, 0.878, 0.889と高い評価結果を示し、 今後のデータでの精度評価が期待される。 謝辞:本稿は，JSPS科研費 JP21H01417の助成を受けた研究で行われた結果を含みます．また，内閣府総合科学 技術・イノベーション会議の戦略的イノベーション創造プログラム（SIP）第３期「 スマートインフラマネジメントシステ ムの構築」JPJ012187（研究推進法人:土木研究所）で実施されている研究も含みます．これらに謝意を表します．