Upgrade to Pro — share decks privately, control downloads, hide ads and more …

深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

8c8a2735cb5acba72b16a56a85912c44?s=47 teddy
July 31, 2020

深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

8c8a2735cb5acba72b16a56a85912c44?s=128

teddy

July 31, 2020
Tweet

Transcript

  1. 深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~

    オンライン開催
  2. Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2.

    Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
  3. 1.深層学習を⽤いた点群処理の紹介 3

  4. 深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定

    n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
  5. 3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群

  6. 3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural

    Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
  7. 3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A

    Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
  8. 3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning

    on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
  9. PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群

  10. PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒

    ⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
  11. PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える

  12. PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出

  13. PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失

    ⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
  14. PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す

  15. PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !

    : x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
  16. PointNet++❸ nアップサンプリング 16

  17. Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義(※ただし特徴量空間) ⼊⼒する点群数nは固定

  18. Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1

    4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
  19. 点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃

    3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
  20. 2. Full Waveform LiDARデータへの応⽤ 20

  21. タスクの設定 21 Input Data Trained Model power time Classified Data

    セグメンテーションタスクを解く x, y, z座標と波形のセット
  22. 点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,

    , ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
  23. ⼿法:層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す

  24. ⼿法:畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される1次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24

  25. ⼿法:最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM

    25
  26. 実験:データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア

  27. 実験:定性評価結果 27

  28. 実験:定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると, PointNet++を利⽤したモデルは空間的な学習が可能となり, 抽出性能が⾼い

  29. 実験:ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習:Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した

    • PointNetで学習:Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
  30. まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として,点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する1DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation

    Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30