Tweet
Tweet

Slide 1

Slide 1 text

深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~ オンライン開催

Slide 2

Slide 2 text

Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2. Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2

Slide 3

Slide 3 text

1.深層学習を⽤いた点群処理の紹介 3

Slide 4

Slide 4 text

深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定 n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4

Slide 5

Slide 5 text

3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群

Slide 6

Slide 6 text

3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要

Slide 7

Slide 7 text

3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度（にせざるを得ない）のため認識精度は⾼くない。 • 回転にどう対応するか？という問題

Slide 8

Slide 8 text

3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能

Slide 9

Slide 9 text

PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群

Slide 10

Slide 10 text

PointNet❷ n点群を扱う問題点：⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒ ⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存

Slide 11

Slide 11 text

PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える

Slide 12

Slide 12 text

PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出

Slide 13

Slide 13 text

PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失 ⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks

Slide 14

Slide 14 text

PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す

Slide 15

Slide 15 text

PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 ! : x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出

Slide 16

Slide 16 text

PointNet++❸ nアップサンプリング 16

Slide 17

Slide 17 text

Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義（※ただし特徴量空間） ⼊⼒する点群数nは固定

Slide 18

Slide 18 text

Dynamic Graph CNN❷ n特徴量空間でk-NN？ 18 M次元の特徴 N 個の点 これに近い点 1 4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例．机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在

Slide 19

Slide 19 text

点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃ ３次元の幾何的な情報を⽤いて，代表点抽出・グルーピング ⁃ 近隣点を３次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19

Slide 20

Slide 20 text

2. Full Waveform LiDARデータへの応⽤ 20

Slide 21

Slide 21 text

タスクの設定 21 Input Data Trained Model power time Classified Data セグメンテーションタスクを解く x, y, z座標と波形のセット

Slide 22

Slide 22 text

点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , , , ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能

Slide 23

Slide 23 text

⼿法：層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す

Slide 24

Slide 24 text

⼿法：畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される１次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24

Slide 25

Slide 25 text

⼿法：最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM 25

Slide 26

Slide 26 text

実験：データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア

Slide 27

Slide 27 text

実験：定性評価結果 27

Slide 28

Slide 28 text

実験：定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると， PointNet＋＋を利⽤したモデルは空間的な学習が可能となり， 抽出性能が⾼い

Slide 29

Slide 29 text

実験：ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習：Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した • PointNetで学習：Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29

Slide 30

Slide 30 text

まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として，点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する１DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30