Share
Embed
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
本スライドは以下の土木学会の論文誌に掲載された内容です。東京大学全 邦釘先生との取り組みです。
掲載論文「LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去」(AI・データサイエンス論文集 5巻3号,2024)
論文ページ:
https://www.jstage.jst.go.jp/article/jsceiii/5/3/5_757/_pdf/-char/ja
Kenta Itakura
September 15, 2024
Transcript
20 slides
-
3次元点群について [a] ScanX2.0 近年、多くの分野で3次元点群の利活用が進んでいる 3次元点群:点の集まりにより3次元形状を表現する (左下動画) 例)山下ら(2019):
Mobile Mapping System (MMS) で取得した点群を使用して,建築 物の測量や,コンクリートの浮きや剥離を検出するシステムを開発 画像出典: 山下淳子, 木村沙智, & 川村日成. (2019). 3 次元点群データを 活用したインフラ構造物の維持管理. 精密工学会誌, 85(3), 228-231. -
3次元点群について ScanX2.0 3次元点群の取得には様々な方法が存在 地上型レーザースキャナにより取得した点群の利活用における課題の一つにノイズ除去 • 地上/上空、移動しながら/静止 • 対象物の計測をするためにノイズを手動で除去する必要がある場合も多い
移動しながら計測 一点に設置して計測 ドローン画像出典: SEKIDO DJI Zenmuse L1 https://sekido-rc.com/?pid=154838564 ドローンにスキャナを搭載 -
処理の例: 分類が比較的簡単な例 ScanX2.0 ノイズ 周辺の点から離れた場所に小さな塊のようなノイズが発生する場合がある 一般的なノイズ 点群中のノイズの例 最も近い点との距離や密度などを計算することで閾値処理できる
ScanX 2.0 点群データ出典:東京都デジタルツイン実現プロジェクト URL:https://info.tokyo-digitaltwin.metro.tokyo.lg.jp/ -
本研究の目的 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー
ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ レーザースキャナ中のカメラ画像と点群とのセンサーフュージョン ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング→ノイズ除去 -
実験方法: 対象データ [a] ScanX2.0 福島県石川郡平田村の小規模な橋梁の点群データを取得 LiDARは、Matterport Pro3 (Matterport,
USA) を利用 (下表) 点群ファイル中の人などが存在しており、それらの除去を目指す 項目 詳細 波長 904 nm 視野角(水平) 360度 視野角(垂直) 295度 計測範囲 0.5 m ~ 100 m 測距精度 10 mで±20 mm 取得可能点数 1秒当たり10万点 スキャン時間 20秒未満 カラー画像の解像度 4096×4096 pixel -
実験方法: センサーフュージョン [a] ScanX2.0 画像と3次元点群の位置関係を求める チェッカーボードを撮影し、以下の式の外部パラメータ行列を算出 左図出典: Yamane,
T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407. 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1 LiDARの計測地点が毎回異なるため、E57形式のセンサーの位置情報を抽出し補正 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標 -
画像での人のセグメンテーション 17 ID Recall Precision F1 1 0.658 1.000 0.794
2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1] 赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点 ID3: Recall,Precisionともに高く、精度よく分類できた -
画像での人のセグメンテーション 18 ID Recall Precision F1 1 0.658 1.000 0.794
2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1] 赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点 ID8: Recall,Precisionともに高く、精度よく分類できた -
画像での人のセグメンテーション 19 ID Recall Precision F1 1 0.658 1.000 0.794
2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:3] [ID:8] [ID:1] 赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点 ID1:分類した赤の結果は正解データの一部のみしか網羅していない -
画像での人のセグメンテーション 20 ID Recall Precision F1 1 0.658 1.000 0.794
2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:6] 赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点 ID6:より広い領域をノイズとして分類したため赤の範囲が大きい→Precisionは低い -
まとめ 21 バックパック型スキャナー LiDARとカメラのセンサーフュージョンで3次元点群のノイズ分類を実施し、 高精度な分類が可能であることが確認できた 画像中でSolov2を利用して人のセグメンテーションを行い、その情報を点群へマッ ピングすることができた
Recall, Precision, F1スコアがそれぞれ0.923, 0.878, 0.889と高い評価結果を示し、 今後のデータでの精度評価が期待される。 謝辞:本稿は,JSPS科研費 JP21H01417の助成を受けた研究で行われた結果を含みます.また,内閣府総合科学 技術・イノベーション会議の戦略的イノベーション創造プログラム(SIP)第3期「 スマートインフラマネジメントシステ ムの構築」JPJ012187(研究推進法人:土木研究所)で実施されている研究も含みます.これらに謝意を表します.