深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

Transcript

1. 深層学習を用いた点群処理の紹介と
   Full Waveform LiDARデータへの応用
   篠原崇之
   1
   令和2年度 第2回動体計測研究会 2020/07/31 14:30~
   オンライン開催
   

   View Slide

2. Outline
   1. 深層学習を⽤いた点群処理の紹介
   1. 3次元深層学習の概要
   2. PointNet
   3. 点群に対する畳み込み演算
   2. Full Waveform LiDARデータへの応⽤
   1. ⼿法
   2. 実験
   3. まとめ
   2
   

   View Slide

3. 1.深層学習を⽤いた点群処理の紹介
   3
   

   View Slide

4. 深層学習で解ける点群タスクの例
   n分類
   • ⼊⼒された点群が何のクラスか推定
   nセマンティックセグメンテーション
   • ⼊⼒された点群の各点に対してクラスを推定
   n物体検出
   • ⼊⼒された点群のどこに何がいるのかを推定
   n⽣成
   • ⼊⼒された点群から潜在変数zを得るような確率分布を推定
   n補間・超解像
   • ⼊⼒された点群から情報⽋損を補う
   4
   

   View Slide

5. 3次元データの深層学習⼿法
   5
   https://arxiv.org/abs/1808.01462
   点群
   

   View Slide

6. 3次元深層学習⼿法❶
   n2次元投影
   6
   H. Su et al., Multi-view Convolutional Neural Networks for 3D Shape Recognition. ICCV, 2015
   • ⾒たことない視点からの認識に弱い
   • 推論時にも訓練時と同じ視点の画像が必要
   

   View Slide

7. 3次元深層学習⼿法❷
   nボクセル
   7
   Z. Wu et al., 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling. CVPR, 2015.
   • 低解像度（にせざるを得ない）のため認識精度は⾼くない。
   • 回転にどう対応するか？という問題
   

   View Slide

8. 3次元深層学習⼿法❸
   n⽣の点群
   8
   C. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR, 2017.
   • ⽣の点群を⼊⼒するため情報損失が起きない
   • 推論を⼀回の⼊⼒で可能
   

   View Slide

9. PointNet❶
   n⽣の点群をそのまま⼊⼒できるネットワーク
   9
   http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf
   クラス分類
   セグメンテーション
   点群
   

   View Slide

10. PointNet❷
    n点群を扱う問題点：⼊⼒順番依存
    • 1点はxi
    (x, y, z, 特徴量)のD次元
    • N点を纏めて⼊⼒
    ⁃ N!だけ順番のバリエーションが存在する
    ⁃ これを同じように扱える関数f, symmetric functionが欲しい
    10
    http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf
    点の⼊⼒順に⾮依存
    

    View Slide

11. PointNet❸
    nMaxPoolで順番依存を抜く
    11
    http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf
    g: Max Pooling
    最⼤値をとることで
    順番依存が消える
    

    View Slide

12. PointNet❹
    n層設計
    12
    Max Pooling
    点ごとに独⽴した特徴抽出
    

    View Slide

13. PointNet❺
    n問題点
    • 階層的な特徴抽出ができない
    ⁃ ⾼次の特徴抽出ができない
    13
    画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある
    • 局所情報の損失
    ⁃ グローバル情報に依存しすぎる
    https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
    

    View Slide

14. PointNet++❶
    n⼿法の概要
    14
    畳み込みとダウンサンプリング
    アップサンプリング
    x, y, z座標を⽤いて代表点周辺の点を集めグループ化
    グループ化された点に対する特徴抽出
    これらを繰り返す
    

    View Slide

15. PointNet++❷
    n畳み込みとダウンサンプリング
    15
    !"#
    : x, y, z, 特徴量
    !
    : x, y, z, 特徴量
    近隣点をまとめて
    別の特徴量を作る演算
    ユークリッド距離で
    半径内に⼊る点を探索 PointNetで特徴抽出
    

    View Slide

16. PointNet++❸
    nアップサンプリング
    16
    

    View Slide

17. Dynamic Graph CNN❶
    17
    nDynamic Graph CNN
    • k-NN近隣を定義（※ただし特徴量空間）
    ⼊⼒する点群数nは固定
    

    View Slide

18. Dynamic Graph CNN❷
    n特徴量空間でk-NN？
    18
    M次元の特徴
    N 個の点
    これに近い点
    1
    4
    2
    3
    これに近い点
    1
    4
    2
    3
    kNN MLP
    畳み込まれた
    特徴量空間でk-NNすると
    幾何的に遠くても同じ特徴を持つ点を集められる
    例．机の4本の⾜は特徴似ているけど
    それぞれの⾜は幾何的に遠くに存在
    

    View Slide

19. 点群深層学習⼿法まとめ
    n⽣の点群に対する深層学習⼿法の誕⽣
    • PointNetの登場により⽣の点群を扱えるようになった
    • ⼊⼒順に依存しない⼿法
    n点群に対する畳み込み演算
    • PointNet++
    ⁃ ３次元の幾何的な情報を⽤いて，代表点抽出・グルーピング
    ⁃ 近隣点を３次元空間のユークリッド距離で定義
    ⁃ 近隣点をPointNetに⼊⼒し特徴抽出
    • Dynamic Graph CNN
    ⁃ k-NNで近隣点を定義
    ⁃ 距離は特徴量空間におけるユークリッド距離
    19
    

    View Slide

20. 2. Full Waveform LiDARデータへの応⽤
    20
    

    View Slide

21. タスクの設定
    21
    Input Data
    Trained Model
    power
    time
    Classified Data
    セグメンテーションタスクを解く
    x, y, z座標と波形のセット
    

    View Slide

22. 点群の深層学習⼿法との関係
    22
    ⼊⼒ ∈ ℝ!"#
    
    ,
    ,
    ,
    
    ,
    ,
    ,
    ⋮
    $
    , $
    , $
    , $
    
    ,
    ,
    ,
    点群の場合
    Full waveform の場合
    
    ,
    ,
    
    ,
    ,
    ⋮
    $
    , $
    , $
    
    ,
    ,
    
    ,
    ,
    ,
    
    ,
    ,
    ,
    ⋮
    $
    , $
    , $
    , $
    
    ,
    ,
    ,
    点群の⼿法を拡張可能
    

    View Slide

23. ⼿法：層設計
    23
    x, y, z を⽤いた
    グループ化と
    波形に対する
    特徴抽出を
    繰り返す
    

    View Slide

24. ⼿法：畳み込み演算
    n1DCNN
    • 時系列の⾳声や⽂章の解析
    に使⽤される１次元畳み込み
    • 波形データは時系列と定義可能
    • 1x3の畳み込みを波形に適⽤する
    24
    

    View Slide

25. ⼿法：最適化
    nloss関数
    • 重み付きクロスエントロピー
    ⁃ クラス間のデータ量に応じて
    lossを増加/減少させる
    n最適化⼿法
    • ADAM
    25
    

    View Slide

26. 実験：データセット
    26
    波形
    訓練とテストデータの量
    訓練とテストデータ
    ⾚枠がテストエリア
    

    View Slide

27. 実験：定性評価結果
    27
    

    View Slide

28. 実験：定量評価結果
    28
    1DCNNによる波形単位の学習と⽐較すると，
    PointNet＋＋を利⽤したモデルは空間的な学習が可能となり，
    抽出性能が⾼い
    

    View Slide

29. 実験：ablation study
    n⼿法の効果を実験的に確認
    • 波形を抜いたデータで学習：Model A
    ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能
    ⁃ 波形情報の有効性を⽰した
    • PointNetで学習：Model B
    ⁃ PointNet++はPointNetよりも⾼性能
    ⁃ 階層的な学習⼿法の有効性を⽰した
    29
    

    View Slide

30. まとめと課題
    nまとめ
    • 幾何情報と波形情報を⼊⼒として，点群のセマンティックセグメン
    テーションを⾏なった
    • PointNet++を元にした層設計と波形に対する１DCNNを⽤いることで
    ⾼性能な予測結果が得られた
    • Ablation Studyによって提案⼿法の有効性を⽰した
    n課題
    • 幾何的な情報を代表点抽出とグループ化にのみ使⽤
    ⁃ ⾼次な幾何的特徴の学習ができない
    30
    

    View Slide