深層学習を利用して3次元点群を分類するとき のおおまかな流れについて ImVisionLabs株式会社

自己紹介：板倉健太 1  ImVisionLabs株式会社 代表取締役  3次元点群という3次元データの処理やアルゴリズム開発などを行っています ※東京都より公開されている 東京都デジタルツイン実現プロジェクトの データを利用しています

3次元点群とは？ 2 バックパック型スキャナー iPhone12 LiDAR  点の集まりによって、対象の形状を表現するもの • 各点はXYZ以外に、RGBや反射強度などの情報を保持できる [動画]  近年様々な自治体によって公開され、利活用が進んでいる ※ 3次元点群データは東京都デジタルツイン実現プロジェクトよりダウンロー ドしました

3次元点群の利用例：工場の設備管理 4 バックパック型スキャナー iPhone12 LiDAR • 寸法といった現場でしか確認できなかったデータを遠隔で確認できる [動画] • 新たな設備の導入時に既存の設備との干渉の有無を確認ができる 画像出典: SUNTORY https://www.suntory.co.jp/company/digital/base/exchange.html 画像出典: PLANTAXIS「製造工場での技術伝承（継承） 問題を3Dデジタル工場で解決」 https://www.plantaxis.net/case/673/ 工場の設備を3次元点群データとして保存

3次元点群の処理について [a] ScanX2.0  点群から情報を得るためには、点群の認識が重要 例）樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去

深層学習によるセグメンテーション 6  ラベリングデータを利用して、モデルを学習 画像出典:MathWorks (Get Started with PointNet++) https://www.mathworks.com/help/lidar/ug/get-started-pointnetplus.html  入力点群の各点に分類情報を付与（ex:電線。樹木） • ラベリングデータとは、各点に分類が付与されたデータ  代表的なネットワークとして、PointNetが存在する

深層学習における画像と点群の主な違い 7  データの違い • 画像は、規則的な構造で、データ数が一定 • 点群は、不規則な構造で、データ数が一定でない 画像出典: https://www.realinite.co.jp/article/ai/article15/index.php?language=jp X Y Z R G B 12 14 45 125 35 222 74 33 45 12 57 65 57 27 74 253 33 48 … … 23 34 56 255 46 64 N行

深層学習における画像と点群の主な違い 8  ラベリングの違い • 点群では、各点に対してラベル付け • 画像では、主にバウンディングボックスでラベル付け 画像出典:MATLAB https://jp.mathworks.com/help/vision/ref/trainingimagelabeler-app.html

点群において利用するファイル形式について 9  航空機やドローン（UAV）から取得する点群はLAS形式で保存されることが多い CloudCompareを利用して表示しています  Classificationという分類専用のフィールドが存在する

ラベリングの結果の例 14 iPhone12 LiDAR  東京都の公開するオープンデータをラベリングしたときの例  手動によるラベリングを行った

学習過程の例 15 iPhone12 LiDAR  左下の動画は学習の過程で、そのモデルを利用して推論した時の結果を示す  右下の画像は学習の回数が多くなるほど、 学習時のミス（損失）が小さくなっていくイメージを示す

推論結果の例 16 iPhone12 LiDAR  点群を自動分類した時の結果の例 点群ファイル出典: 分類される前のオリジナルファイルは、長崎県より公開さ れているオープンナガサキデータよりダウンロードされました 点群ファイル出典: 分類される前のオリジナルファイルは、静 岡県より公開されているVIRTUALSHIZUOKAデータセット よりダウンロードされました  異なるクラスがそれぞれ別の色で示されている

まとめ 17  深層学習を用いることで、複雑で不規則な3次元点群データを自動的に分類すること が可能であることを紹介しました • 従来手動で行われていた分類作業が大幅に効率化され、様々なアプリケーションで の実用性が高まります  画像処理とは異なり、点群は各点が個別にラベル付けされ、データの不規則性が課 題となります • PointNetなどの点群の分類に特化したネットワークが使用されます