Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
Search
teddy
July 31, 2020
Research
2
750
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
teddy
July 31, 2020
Tweet
Share
More Decks by teddy
See All by teddy
第36回ロボティクス勉強会 発表資料
shnhrtkyk
2
200
点群深層学習に計測の気持ちを入れた研究の紹介
shnhrtkyk
0
1k
Image to Point Cloud Translation using Conditional Generative Adversarial Network for Airborne LiDAR data
shnhrtkyk
1
500
3D Point Cloud Generation Using Adversarial Training for Large Scale Outdoor Scene
shnhrtkyk
1
560
Point2color: 3D Point Cloud Colorization Using a Conditional Generative Network and Differentiable Rendering for Airborne LiDAR
shnhrtkyk
1
650
Semantic Segmentation for Full Waveform LiDAR data using Local and Hierarchical Global Feature Extraction
shnhrtkyk
1
620
FWNetAE: Spatial Representation Learning forFull Waveform Data Using Deep Learning
shnhrtkyk
4
670
Do Deep Neural Networks Learn Full Waveform LiDAR Data?
shnhrtkyk
2
800
Other Decks in Research
See All in Research
The Future of AI: Beyond Completion Models to Systematic Innovation
sunghopark0
0
120
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
1.1k
論文紹介 AST: Audio Spectrogram Transformer
kazu07
0
190
SSII2024 [OS2] 大規模言語モデルと基盤モデルの射程
ssii
PRO
0
380
The past, present, and future of local-first
ept
0
390
ランサーズエージェント_フリーランスエンジニアの年収・キャリアの実態調査2024
lancers_pr
0
310
自然言語とVision&Language
kuehara
19
4.4k
デジタルツインによる ネイチャーポジティブへの挑戦
fullfull
0
210
SSII2024 [OS1] 画像生成技術の発展: 過去10年の軌跡と未来への展望
ssii
PRO
3
1.5k
継続的な研究費獲得のための考え方
moda0
2
540
20240719_第2回熊本の交通を語る会
trafficbrain
0
180
一人称視点映像解析の基礎と応用(CVIMチュートリアル)
takumayagi
0
800
Featured
See All Featured
A better future with KSS
kneath
231
17k
Building Your Own Lightsaber
phodgson
101
5.9k
In The Pink: A Labor of Love
frogandcode
139
22k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Docker and Python
trallard
37
2.9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
Navigating Team Friction
lara
181
13k
Building an army of robots
kneath
301
42k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Designing for Performance
lara
604
67k
Become a Pro
speakerdeck
PRO
15
4.8k
Transcript
深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~
オンライン開催
Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2.
Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
1.深層学習を⽤いた点群処理の紹介 3
深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定
n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群
3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural
Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A
Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning
on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群
PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒
⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える
PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出
PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失
⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す
PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !
: x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
PointNet++❸ nアップサンプリング 16
Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義(※ただし特徴量空間) ⼊⼒する点群数nは固定
Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1
4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃
3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
2. Full Waveform LiDARデータへの応⽤ 20
タスクの設定 21 Input Data Trained Model power time Classified Data
セグメンテーションタスクを解く x, y, z座標と波形のセット
点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,
, ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
⼿法:層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す
⼿法:畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される1次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24
⼿法:最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM
25
実験:データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア
実験:定性評価結果 27
実験:定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると, PointNet++を利⽤したモデルは空間的な学習が可能となり, 抽出性能が⾼い
実験:ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習:Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した
• PointNetで学習:Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として,点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する1DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation
Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30