Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
Search
teddy
July 31, 2020
Research
2
830
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
teddy
July 31, 2020
Tweet
Share
More Decks by teddy
See All by teddy
第36回ロボティクス勉強会 発表資料
shnhrtkyk
3
250
点群深層学習に計測の気持ちを入れた研究の紹介
shnhrtkyk
1
1.2k
Image to Point Cloud Translation using Conditional Generative Adversarial Network for Airborne LiDAR data
shnhrtkyk
2
560
3D Point Cloud Generation Using Adversarial Training for Large Scale Outdoor Scene
shnhrtkyk
2
640
Point2color: 3D Point Cloud Colorization Using a Conditional Generative Network and Differentiable Rendering for Airborne LiDAR
shnhrtkyk
2
710
Semantic Segmentation for Full Waveform LiDAR data using Local and Hierarchical Global Feature Extraction
shnhrtkyk
2
680
FWNetAE: Spatial Representation Learning forFull Waveform Data Using Deep Learning
shnhrtkyk
4
730
Do Deep Neural Networks Learn Full Waveform LiDAR Data?
shnhrtkyk
2
890
Other Decks in Research
See All in Research
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
730
Weekly AI Agents News! 9月号 論文のアーカイブ
masatoto
1
150
[依頼講演] 適応的実験計画法に基づく効率的無線システム設計
k_sato
0
200
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
1.5k
文書画像のデータ化における VLM活用 / Use of VLM in document image data conversion
sansan_randd
2
390
Weekly AI Agents News! 10月号 プロダクト/ニュースのアーカイブ
masatoto
1
160
クロスセクター効果研究会 熊本都市交通リノベーション~「車1割削減、渋滞半減、公共交通2倍」の実現へ~
trafficbrain
0
310
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
120
Weekly AI Agents News! 10月号 論文のアーカイブ
masatoto
1
440
LLM時代にLabは何をすべきか聞いて回った1年間
hargon24
1
570
大規模言語モデルのバイアス
yukinobaba
PRO
4
800
marukotenant01/tenant-20240916
marketing2024
0
640
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Scaling GitHub
holman
459
140k
Building an army of robots
kneath
302
44k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
28
4.4k
Side Projects
sachag
452
42k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Making the Leap to Tech Lead
cromwellryan
133
9k
Gamification - CAS2011
davidbonilla
80
5.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
112
50k
Unsuck your backbone
ammeep
669
57k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Transcript
深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~
オンライン開催
Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2.
Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
1.深層学習を⽤いた点群処理の紹介 3
深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定
n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群
3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural
Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A
Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning
on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群
PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒
⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える
PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出
PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失
⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す
PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !
: x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
PointNet++❸ nアップサンプリング 16
Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義(※ただし特徴量空間) ⼊⼒する点群数nは固定
Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1
4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃
3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
2. Full Waveform LiDARデータへの応⽤ 20
タスクの設定 21 Input Data Trained Model power time Classified Data
セグメンテーションタスクを解く x, y, z座標と波形のセット
点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,
, ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
⼿法:層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す
⼿法:畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される1次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24
⼿法:最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM
25
実験:データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア
実験:定性評価結果 27
実験:定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると, PointNet++を利⽤したモデルは空間的な学習が可能となり, 抽出性能が⾼い
実験:ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習:Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した
• PointNetで学習:Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として,点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する1DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation
Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30