Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去

Kenta Itakura
September 15, 2024

 LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去

Kenta Itakura

September 15, 2024
Tweet

More Decks by Kenta Itakura

Other Decks in Research

Transcript

  1. 3次元点群について [a] ScanX2.0  近年、多くの分野で3次元点群の利活用が進んでいる  3次元点群:点の集まりにより3次元形状を表現する (左下動画)  例)山下ら(2019):

    Mobile Mapping System (MMS) で取得した点群を使用して,建築 物の測量や,コンクリートの浮きや剥離を検出するシステムを開発 画像出典: 山下淳子, 木村沙智, & 川村日成. (2019). 3 次元点群データを 活用したインフラ構造物の維持管理. 精密工学会誌, 85(3), 228-231.
  2. 本研究の目的 人のセグメンテーション 点群でのノイズ除去 セ ン サ ー フ ュ ー

    ジ ョ ン 画像(2D) LiDARで取得した点群(3D) ◼ レーザースキャナ中のカメラ画像と点群とのセンサーフュージョン ◼ 画像上で人のセグメンテーションをし、その結果を点群上にマッピング→ノイズ除去
  3. 実験方法: 対象データ [a] ScanX2.0  福島県石川郡平田村の小規模な橋梁の点群データを取得  LiDARは、Matterport Pro3 (Matterport,

    USA) を利用 (下表)  点群ファイル中の人などが存在しており、それらの除去を目指す 項目 詳細 波長 904 nm 視野角(水平) 360度 視野角(垂直) 295度 計測範囲 0.5 m ~ 100 m 測距精度 10 mで±20 mm 取得可能点数 1秒当たり10万点 スキャン時間 20秒未満 カラー画像の解像度 4096×4096 pixel
  4. 実験方法: センサーフュージョン [a] ScanX2.0  画像と3次元点群の位置関係を求める  チェッカーボードを撮影し、以下の式の外部パラメータ行列を算出 左図出典: Yamane,

    T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407. 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1  LiDARの計測地点が毎回異なるため、E57形式のセンサーの位置情報を抽出し補正 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標
  5. 画像での人のセグメンテーション 17 ID Recall Precision F1 1 0.658 1.000 0.794

    2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID3: Recall,Precisionともに高く、精度よく分類できた
  6. 画像での人のセグメンテーション 18 ID Recall Precision F1 1 0.658 1.000 0.794

    2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID: 3] [ID: 8] [ID: 1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID8: Recall,Precisionともに高く、精度よく分類できた
  7. 画像での人のセグメンテーション 19 ID Recall Precision F1 1 0.658 1.000 0.794

    2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:3] [ID:8] [ID:1]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID1:分類した赤の結果は正解データの一部のみしか網羅していない
  8. 画像での人のセグメンテーション 20 ID Recall Precision F1 1 0.658 1.000 0.794

    2 0.876 1.000 0.934 3 0.966 1.000 0.983 4 1.000 0.899 0.947 5 0.985 0.915 0.949 6 0.957 0.553 0.701 7 0.990 0.960 0.975 8 1.000 0.972 0.986 9 0.934 0.607 0.736 平均 0.930 0.878 0.889 [ID:6]  赤: 本手法にて分類した時の結果、青: 手動にてラベリングした人のノイズの点  ID6:より広い領域をノイズとして分類したため赤の範囲が大きい→Precisionは低い
  9. まとめ 21 バックパック型スキャナー  LiDARとカメラのセンサーフュージョンで3次元点群のノイズ分類を実施し、 高精度な分類が可能であることが確認できた  画像中でSolov2を利用して人のセグメンテーションを行い、その情報を点群へマッ ピングすることができた 

    Recall, Precision, F1スコアがそれぞれ0.923, 0.878, 0.889と高い評価結果を示し、 今後のデータでの精度評価が期待される。 謝辞:本稿は,JSPS科研費 JP21H01417の助成を受けた研究で行われた結果を含みます.また,内閣府総合科学 技術・イノベーション会議の戦略的イノベーション創造プログラム(SIP)第3期「 スマートインフラマネジメントシステ ムの構築」JPJ012187(研究推進法人:土木研究所)で実施されている研究も含みます.これらに謝意を表します.