セマンティックセグメンテーションやセンサーフュージョンを利用した橋梁の構造情報の推定のための点群処理手法の開発

本スライドは以下の論文に関する口頭発表で用いられたものです。
板倉 健太, 林 拓哉, 上脇 優人, 全 邦釘
土木学会 AI・データサイエンス論文集 5(3) 10-21, 2024年11

Transcript

1. セマンティックセグメンテーションや センサーフュージョンを利用した 橋梁の構造情報の推定のための点群処理手法の開発 〇板倉健太1) 、林拓哉1) 、上脇優人1) 、全 邦釘2) 1) ImVisionLabs株式会社 2)東京大学大学院工学系研究科総合研究機構
2. 3次元点群について [a] ScanX2.0  近年、多くの分野で3次元点群の利活用が進んでいる  3次元点群:点の集まりにより3次元形状を表現する (左下動画)  例）山下ら（2019）: Mobile Mapping System (MMS) で取得した点群を使用して，建築 物の測量や，コンクリートの浮きや剥離を検出するシステムを開発 画像出典: 山下淳子, 木村沙智, & 川村日成. (2019). 3 次元点群データを 活用したインフラ構造物の維持管理. 精密工学会誌, 85(3), 228-231.
3. 点群分類の手法 3  3次元点群から対象の物体の情報を得るためには分類が必要な場合が多い  点群分類のための深層学習モデルも多く存在 （例: 辻井ら、AI・データサイエンス論文集、2023） 画像出典:MathWorks (Get Started with PointNet++) https://www.mathworks.com/help/lidar/ug/get-started-pointnetplus.html • 画像認識に比べ点群を対象とした認識の方が難しい場合が多い 前報ではセンサーフュージョンを利用した点群分類を提案
4. 点群分類の手法 4  3次元点群から対象の物体の情報を得るためには分類が必要な場合が多い  点群分類のための深層学習モデルも多く存在 （例: 辻井ら、AI・データサイエンス論文集、2023） 画像出典:MathWorks (Get Started with PointNet++) https://www.mathworks.com/help/lidar/ug/get-started-pointnetplus.html • 画像認識に比べ点群を対象とした認識の方が難しい場合が多い 前報ではセンサーフュージョンを利用した点群分類を提案
5. 点群分類の手法 5  3次元点群から対象の物体の情報を得るためには分類が必要な場合が多い  点群分類のための深層学習モデルも多く存在 （例: 辻井ら、AI・データサイエンス論文集、2023） 画像出典:MathWorks (Get Started with PointNet++) https://www.mathworks.com/help/lidar/ug/get-started-pointnetplus.html • 画像認識に比べ点群を対象とした認識の方が難しい場合が多い 前報ではセンサーフュージョンを利用した点群分類を提案
6. センサーフュージョンによる点群分類 画像出典: Matterport URL: https://matterport.com/ja/pro3  センサーフュージョンを行うことで点群のみでは難しい分類も可能に  次のステップとして対象の寸法などの構造情報を抽出可能にすることが望ましい （例: 板倉ら、 AI・データサイエンス論文集、2024） • 基本的な情報を自動的に抽出し、より高度な情報を抽出することができる可能性
7. 本研究の目的 [a] ScanX2.0  画像から橋梁の寸法の計測に必要な情報を自動的に取得し，さらに点群にその 情報を投影することで，橋梁の有効幅員や橋長を自動的に取得する ScanX2.0 複数地点から LiDAR計測 画像処理により地覆と 道路面の境界（赤）を自動認識 画像と点群のセンサーフュージョ ンにより境界線を点群に反映 • 画像にて地覆などの情報を抽出し、センサーフュージョンにより点群に投影
8. 実験方法: 対象データ [a] ScanX2.0  福島県石川郡平田村の小規模な橋梁の点群データを取得  LiDARは、Matterport Pro3 (Matterport, USA) を利用 (下表)  点群ファイル中の人などが存在しており、それらの除去を目指す 項目 詳細 波長 904 nm 視野角（水平） 360度 視野角（垂直） 295度 計測範囲 0.5 m ～ 100 m 測距精度 10 mで±20 mm 取得可能点数 1秒当たり10万点 スキャン時間 20秒未満 カラー画像の解像度 4096×4096 pixel
9. 実験方法: センサーフュージョン [a] ScanX2.0  画像と3次元点群の位置関係を求める  チェッカーボードを撮影し、以下の式の外部パラメータ行列を算出 左図出典: Yamane, T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407. 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1  LiDARの計測地点が毎回異なるため、E57形式のセンサーの位置情報を抽出し補正 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標
10. 実験方法: 対象データ: センサーフュージョン 10  チェッカーボードの画像および点群を取得  内部パラメータ・外部パラメータ行列を計算し、それぞれの情報を統合 画像からチェッカーボードの認識 チェッカーボードの点群 チェッカーボードの点群を画像に投影 [a] [b] [c]
11. 実験方法: 地覆部のセグメンテーション [a] ScanX2.0  DeepLabv3+を利用して地覆のセグメンテーションを行う  赤線で示されている地覆と床板の境界を点群上で特定することを目的とする • 地覆の領域の最下点を結ぶと赤線を引くことができる
12. 実験方法: 地覆部のセグメンテーション [a] ScanX2.0  地覆のセグメンテーションの精度を向上させるためDeepLabv3+によるセグメン テーション結果をSAM (Segment Anything Model) により更新  SAMは物体の輪郭情報を高精度に抽出することが可能
13. 結果: 地覆の分類 [a]  DeepLabv3+にて Matterportにより取得した画像のセマンティックセグメンテーショ ンを行った時の結果  黄色が地覆、それ以外が紫で示されている
14. 結果: 地覆の分類 [a] ScanX2.0  [b] Segment Anything Model (SAM)で [a]の境界を調整することができた [a] [b]  [a] 黄色の領域が地覆を示しているが、地覆の実際の形状と黄色の輪郭が完全に一致 していない
15. 結果: 地覆の分類 [a] ScanX2.0  青線: 地覆と舗装面との接続線を抽出した時の結果  地覆の下部の部分を取得することでうまく境界部分を取得することができた  センサーフュージョンによりこの青色の線分の情報を点群に投影する
16. 結果: 地覆の分類 ScanX2.0  自動的に抽出された地覆と舗装面との接続線付近境界線が赤色で示されている [a] [b]  点群中に様々な物体が存在する中でうまく対象の線分を取得することができた  画像での解析を利用することで赤線の部分をうまく抽出することができた
17. 結果: 地覆の分類  有効幅員は 8.13 m、手動で計測した値は 8.10 m [a] [b]  橋長を自動的に計算した結果は11.71mおよび 13.87 mであり，手動で計測した 結果は11.58および11.49 mであった
18. まとめ 18 バックパック型スキャナー 地上型レーザースキャナで取得した点群と画像データをセンサーフュージョンし 画像のセグメンテーション結果を点群にマッピングする手法を提案した この手法により、橋梁の有効幅員の計測が可能となり、大容量の点群データも効率 的に処理できることが示された  今後は橋梁のより詳細な構造の情報の抽出や、自動的な図面の作成などの より高度な処理の実現可能性を検証する 謝辞:本稿は，JSPS科研費 JP21H01417の助成を受けた研究で行われた結果を含みます．また，内閣府総合科学 技術・イノベーション会議の戦略的イノベーション創造プログラム（SIP）第３期「 スマートインフラマネジメントシステ ムの構築」JPJ012187（研究推進法人:土木研究所）で実施されている研究も含みます．これらに謝意を表します．