LiDAR から取得した3 次元点群からの物体検出について - PointPillarsによる物体検出

本資料は、2023年12月に開催されたオンライン勉強会 #studyCo で使用された資料です。
https://studyco.connpass.com/event/303484/
発表動画はYoutubeにて公開されています。
https://www.youtube.com/live/ZGU-PA2iHaQ?si=ksVG2sgHy96baMVk&t=2311

Transcript

1. LiDARから取得した3次元点群からの 物体検出について 2023/12/21 板倉健太
2. はじめに 1  本資料は、2023年12月21日のオンライン勉強会（studyCo）にて利用されました  発表動画は以下の通りです。ご興味がございましたらぜひご 覧 く だ さ い ※SpeakerDeckのページ下部のTranscript欄からURLをコピーできます https://www.youtube.com/live/ZGU-PA2iHaQ?si=ksVG2sgHy96baMVk&t=2311
3. 自己紹介：板倉健太 2  農学分野における3次元点群処理について研究し、博士（農学）を取得  2023年10月にImVisionLabs株式会社を創業  3次元点群処理の受託開発や研究開発を主に行っています
4. LiDARの利用について 3  LiDAR (Light Detection And Ranging) は レーザービームを対象に照射する 画像出典：MathWorks、LiDARとは https://jp.mathworks.com/help/lidar/ug/lidar-processing-overview.html 自動運転車のイメージ お掃除ロボットのイメージ LiDARで物体を検出するイメージ  移動体に搭載することで障害物を検出することができ、自動運転などにも利用される  光が返ってくるまでの時間を利用して、対象までの距離や形状を求めることができる
5. LiDARデータの例 4  歩きながらLiDAR計測を行っているときの様子  樹木などの物体が記録されていることがわかる LiDAR (Velodyne VLP16)にて計測した時の様子 計測するエリア
6. LiDAR点群からの物体検出 5  深層学習を利用した方法の中でもPointPillarsが有名な方法の１つ 画像出典：Guo, Y., Wang, H., Hu, Q., Liu, H., Liu, L., & Bennamoun, M. (2020). Deep learning for 3d point clouds: A survey. IEEE transactions on pattern analysis and machine intelligence, 43(12), 4338-4364.
7. PointPillarsの概要 6  上から見て、グリッド状に変換 画像出典：PointPillars — 3D point clouds bounding box detection and tracking https://becominghuman.ai/pointpillars-3d-point-clouds-bounding-box- detection-and-tracking-pointnet-pointnet-lasernet-67e26116de5a • 各柱（Pillar）の情報を縦方向に平均するイメージ • 各グリッドの位置は点群と対応する  各グリッドで、特徴量を計算し、2Dの物体検出の方法を適用
8. PointPillarsの実行: データセットについて 7  PandaSetを利用 https://scale.com/open-av-datasets/pandaset  Hesai Technology社製のPandarのデータを利用 画像出典：長距離・高解像度 3D-LiDARセンサ https://www.argocorp.com/cam/special/HesaiTechnology/Pandar.html
9. PointPillarsの実行: ラベリングについて 8  Pandarのデータとそのラベリングの情報を利用可能  この自動車の箱（バウンディングボックス）の位置を出力するように学習する 入力する点群データ ラベリングの情報を可視化
10. PointPillarsの学習について: データ拡張 9  データを変換するなどの操作で訓練データのバリエーションを増大させること • 過学習の防止など  2Dの画像では、反転・回転・色味の調整といった操作が行われる • 点群でも同様の操作を実行可能 オリジナル画像 回転 拡大 色味の変更
11. PointPillarsの学習について: データ拡張 10  点群でも回転、色味の変更、反転、せん断、点の追加/間引きといったデータ拡張が可能  以下の例は、点群を反転させている例 入力する点群データ データ拡張のために点群を反転
12. PointPillarsの学習方法：ネットワークについて 11  赤枠：各Pillarから最大100点まで無作為抽出し9次元の特徴を定義 画像出典：PointPillars 深層学習を使用した LiDAR の 3 次元オブジェクト検出 https://jp.mathworks.com/help/lidar/ug/object-detection-using-pointpillars- network.html 12000個のPillarの位置
13. PointPillarsの学習方法：ネットワークについて 12  青枠：画像のように捉えて2Dの物体検出のような方法で自動車を認識 画像出典：PointPillars 深層学習を使用した LiDAR の 3 次元オブジェクト検出 https://jp.mathworks.com/help/lidar/ug/object-detection-using-pointpillars- network.html 12000個のPillarの位置
14. PointPillarsの学習方法：ネットワークについて 13  MATLAB (MathWorks, USA) を利用して計算を行った 画像出典：PointPillars 深層学習を使用した LiDAR の 3 次元オブジェクト検出 https://jp.mathworks.com/help/lidar/ug/object-detection-using-pointpillars- network.html 12000個のPillarの位置
15. 結果 14  自動車を検出し、直方体のボックス（バウンディングボックス）で囲んでいる
16. 結果 15  LiDARのスキャンごとにPointPillarsを実行している様子
17. まとめ 16  LiDARにより取得された点群データについて紹介しました  LiDARデータから物体検出をする手法であるPointPillarsを紹介しました  自動車以外にも様々な物体を検出するネットワークを構築したいです