画像と点群の統合活用による部材検出とひび割れ損傷長さの推定

● 第6回AI・データサイエンスシンポジウム 発表プログラム

https://committees.jsce.or.jp/struct1002/node/80

●掲載論文「画像と点群の統合活用による部材検出とひび割れ損傷長さの推定」（AI・データサイエンス論文集 6巻3号、2025年）

論文ページ：

https://www.jstage.jst.go.jp/article/jsceiii/6/3/6_643/_article/-char/ja/

論文PDF：

https://www.jstage.jst.go.jp/article/jsceiii/6/3/6_643/_pdf/-char/ja/

Transcript

1. 画像と点群の統合活用による 部材検出とひび割れ損傷長さの推定 1 佐々木拓海1) 、板倉健太2) 、全 邦釘1) 1) ImVisionLabs株式会社 2)東京大学大学院工学系研究科総合研究機構
2. 2 ICT技術、特に点群を 活用した点検/診断の 効率化が期待される 老朽化等に伴うメンテナンス需要の増大 メンテナンスに必要なリソースの不足 点検時の3次元情報記録の不完全性 点群の長所：3次元的な橋梁の形状が鮮明に記録される / スケール情報を持つ 点群の短所：小さな損傷を検出できるほど解像度が高くない [1, 2] [3] 土木分野において、点群は外観形状の記録のための活用が中心で 点群を活用してひび割れ等の損傷に関する情報抽出を行う試みは限定的 点群からひび割れ損傷に関する情報を推定する手法は確立されていない 研究背景: 橋梁の維持管理について
3. 3 LiDAR-カメラセンサーフュージョンによる点群処理 • 3次元点群はLiDAR (Light Detection And Ranging)を利用して取得可能 • 地上に設置して計測する種類のスキャナでは、同時に画像を取得することが多い • その画像情報も組み合わせて点群解析をする手法が報告されている[4, 5]
4. 4 点群と画像の統合的解析により、ひび割れ長さの推定を行う手法を構築する 研究の目的 点群 画像 ひび割れ検出 部材検出 特定の点と点の距離情報を保有 画像からは特定できない長さ情報を抽出 ひび割れを検出 点群からは特定できない微小損傷を検出 ひび割れ発生部材を特定 損傷診断に必要な部材情報を抽出 LiDAR-カメラキャリブレーションにより点群の座標軸と画像の座標軸を合わせ、 点群上の点と画素を対応させることで、長さ/ひび割れ/部材情報を統合的に活用
5. 5 研究の全体像 画像を取得 ひび割れを検出 部材を検出 ひび割れ発生部材を特定 LiDAR点群の活用 ひび割れ長さを推定 Semantic Segmentation SAMの適用 情報を 3次元的に記録 Semantic Segmentation 部材情報をもとに ひび割れを診断 キャリブレーション 画素と点を対応 検出結果を 入力 検出結果を 入力 [a] [b] [c] [d] [e] [f]
6. 6 ひび割れ検出モデルの構築 学習データ：先行研究[6]のデータセット（11,958枚） モデル：DeepLabv3+（バックボーン：Resnet18） 画像のコンテクストを捉える特徴を持ち、 Semantic Segmentationにおいて高い精度を示す 学習した結果、テストデータに対して、 画像にはっきりと映ったひび割れを概ね検出が可能となった ひび割れ検出の結果の例 左から画像、正解ラベル、推定結果 事前検討: Semantic Segmentationを用いたひび割れ検出 Dice Score Accuracy Precision Recall Specificity 0.4985 0.9856 0.5518 0.4545 0.9941 [a] [b] [c] [d] [e] [f]
7. 7 部材推定モデル モデル：DeepLabv3+（バックボーン：Resnet18） 学習データ：手動でデータセットを作成 目視で判別可能な9種類の部材で推定 十分な学習データを確保できない 上記の組み合わせにより、主要部材が検出可能に 床版検出の結果の例 左から画像, 正解ラベル, 推定結果, SAM適用 部材推定モデルとSAMの活用 Segment Anything Model (SAM) [7] 学習不要の高精度な汎用セグメンテーションモデル 点を複数指定すると、点を含むオブジェクトを自動検出 部材推定モデルで部材と判定された画素の一部を SAMに入力することで部材を再推定 そこで部材推定モデルを活かしたSAMの活用を試みる 部材検出の流れの例 –コンクリート桁- [a] [b] [c] [d] [e]
8. 画像と点群を対応させるためには、点と画素の座標変換が必要。 8 8 キャリブレーションによる画素と点の対応 ステップ1：点群とカメラの座標系の対応 センサーの向きによる姿勢情報の補正と座標軸変換により、点群/画像の座標系の統一 点群の座標系 カメラの座標系 上から見たイメージ 点群とカメラのそれぞれの座標系のイメージ
9. 9 9 • 座標変換と向き補正により、点群上の点を画像座標に変換可能に キャリブレーションによる画素と点の対応 ステップ2：カメラ座標内での画像投影面への座標変換 ステップ3：画素と変換した点座標の1対1対応 カメラの光学中心から見た対象物の点をカメラの画像平面に投影 • 上記で得られた座標で各画素の中心座標と最も近い点を対応させる ScanX2.0 𝑠 𝑢 𝑣 1 = 𝑓𝑥 0 𝑐𝑥 0 𝑓𝑦 𝑐𝑦 0 0 1 𝑟11 𝑟12 𝑟13 𝑡1 𝑟21 𝑟22 𝑟23 𝑡2 𝑟31 𝑟32 𝑟33 𝑡3 𝑋𝑤 𝑌𝑤 𝑍𝑤 1 画像座標 内部 パラメータ 外部 パラメータ ワールド 座標 左図出典: Yamane, T., Chun, P. J., Dang, J., & Honda, R. (2023). Comput.-Aided Civ. Infrastruct. Eng., 38(17), 2391-2407.
10. ひび割れ長さの計算 ひび割れ検出された画素に対応する点のすべての組について、 ユークリッド距離𝒅を計算（異なるひび割れについては別々に計算） 𝒅 = 𝒙𝟐 − 𝒙𝟏 𝟐 + 𝒚𝟐 − 𝒚𝟏 𝟐 + 𝒛𝟐 − 𝒛𝟏 𝟐 これらのユークリッド距離の最大値をひび割れ長さとして記録 10 点群の画像へのマッピング ひび割れ長さ推定 精度評価方法 ① コンクリート壁から1.5m離れた箇所から (i) ひび割れの検出率 (ii) ひび割れ長さの測定精度 を評価 ② ひび割れ損傷を異なる位置, 向きで測定し、 位置や向きに依存した誤差を評価
11. ひび割れ長さ推定の結果 11 A地点からの複数ひび割れの推定値と実測値 • 画像から確認できるひび割れは86.7% (13/15)検出 • 検出された13のひび割れ（平均長さ6.0cm）に対して平均誤差0.6cmと 10%以内の誤差に収まった • ひび割れ幅は最小0.15mmまで検出/推定が可能であった
12. 位置ごとのひび割れ長さ推定結果の違い 12 複数地点からのひび割れの推定値と誤差 • 同一のひび割れに対して異なる向きでの計測しひび割れの長さを推定した結果、 誤差は最大4.88%と高い精度で推定できた • 異なる地点での計測でも1地点を除き6%以内の誤差であり、ひび割れとLiDARの位置関係 によらず長さ推定が可能 複数のカメラのキャリブレーションをうまく行えていたことが示唆される
13. ひび割れ長さ推定の誤差検討 13 微細なひび割れについて、画像の解像度 / 検出精度に依存して誤差が発生 画像に鮮明に映るひび割れについては高い精度での推定が可能 誤差が10%以上のひび割れについて、その要因を検討した ① 不十分な画像の解像度 取得される画像の解像度が十分でない場合、 ひび割れ検出が適切に行われず推定値と誤差が発生 ② 画像解析による検出漏れ ひび割れ幅が急激に小さくなるような特殊な ひび割れについて、ひび割れ検出が適切に行われなかった いずれのケースも幅0.15mm程度のひび割れに課題 本来のひび割れ 画像内ひび割れ 本来のひび割れ 検出ひび割れ
14. 14 まとめ • 点群と画像の情報を統合活用することで、ひび割れ長さを推定する枠組みを示した • 点群によって取得可能なスケール情報と画像から検出可能なひび割れ情報を キャリブレーション技術によって組み合わせる手法を提案した • 画像に明瞭に映るひび割れについて、高い精度での推定が可能となった • 幅0.15mm以下のひび割れについて、画像解析の失敗による推定精度の低下が課題 今後の展望 • 遠方から撮影された画像に対するひび割れ検出 / 部材推定 / SAM活用の精度向上 • 点群上での同一ひび割れ損傷の同定 • 部材情報を活用した更なる診断業務への応用 • 大規模言語モデルとの融合による自動記録による維持管理業務省力化 まとめ・今後の展望
15. 15 [1] 国土交通省, “老朽化の現状・老朽化対策の課題,” 2014. [2] 社会資本整備審議会 道路分科会, “道路の老朽化対策の本格実施に関する提言,” 2014. [3] 国土交通省, “老朽化対策の本格実施について,” Available:https://www.mlit.go.jp/common/001027125.pdf. [4] Lin, C., Chen, Y., Itakura, K., Maharjan, S., & Chun, P. J. . (2025). Image Background Filtering, Damage Detection and Location Registration in 3d Models for Bridge Inspection Using Image and Point Cloud Fusion, Automation in Construction. [5]板倉健太, 林拓哉, 上脇優人, & 全邦釘. (2024). セマンティックセグメンテーションやセンサー フュージョンを利用した橋梁の構造情報の推定のための点群処理手法の開発, AIデータサイエンスシン ポジウム. [6] E. Bianchi , M.Hebdon, “Development of Extendable Open-Source Structural Inspection Datasets,” Journal of Computing in Civil Engineering, Vol.36, No.6, 2022. [7] A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg, W.-Y. Lo, P. Dollár , R. Girshick, “Segment Anything,” arXiv:2304.02643, 2023. 参考文献