Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
Search
teddy
July 31, 2020
Research
2
850
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
teddy
July 31, 2020
Tweet
Share
More Decks by teddy
See All by teddy
第36回ロボティクス勉強会 発表資料
shnhrtkyk
3
250
点群深層学習に計測の気持ちを入れた研究の紹介
shnhrtkyk
1
1.2k
Image to Point Cloud Translation using Conditional Generative Adversarial Network for Airborne LiDAR data
shnhrtkyk
2
570
3D Point Cloud Generation Using Adversarial Training for Large Scale Outdoor Scene
shnhrtkyk
2
650
Point2color: 3D Point Cloud Colorization Using a Conditional Generative Network and Differentiable Rendering for Airborne LiDAR
shnhrtkyk
2
720
Semantic Segmentation for Full Waveform LiDAR data using Local and Hierarchical Global Feature Extraction
shnhrtkyk
2
690
FWNetAE: Spatial Representation Learning forFull Waveform Data Using Deep Learning
shnhrtkyk
4
730
Do Deep Neural Networks Learn Full Waveform LiDAR Data?
shnhrtkyk
2
910
Other Decks in Research
See All in Research
新規のC言語処理系を実装することによる 組込みシステム研究にもたらす価値 についての考察
zacky1972
1
310
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
280
Human-Informed Machine Learning Models and Interactions
hiromu1996
2
560
Weekly AI Agents News! 9月号 プロダクト/ニュースのアーカイブ
masatoto
2
190
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
250
クロスセクター効果研究会 熊本都市交通リノベーション~「車1割削減、渋滞半減、公共交通2倍」の実現へ~
trafficbrain
0
360
「熊本県内バス・電車無料デー」の振り返りとその後の展開@土木計画学SS:成功失敗事例に学ぶ公共交通運賃設定
trafficbrain
0
160
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
250
アプリケーションから知るモデルマージ
maguro27
0
240
最近のVisual Odometryと Depth Estimation
sgk
1
380
Weekly AI Agents News! 10月号 論文のアーカイブ
masatoto
1
480
研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research
linyows
0
270
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
182
22k
Typedesign – Prime Four
hannesfritz
40
2.5k
A Tale of Four Properties
chriscoyier
157
23k
Designing for humans not robots
tammielis
250
25k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Thoughts on Productivity
jonyablonski
68
4.4k
How STYLIGHT went responsive
nonsquared
96
5.3k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Building Adaptive Systems
keathley
39
2.4k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Transcript
深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~
オンライン開催
Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2.
Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
1.深層学習を⽤いた点群処理の紹介 3
深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定
n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群
3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural
Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A
Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning
on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群
PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒
⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える
PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出
PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失
⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す
PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !
: x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
PointNet++❸ nアップサンプリング 16
Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義(※ただし特徴量空間) ⼊⼒する点群数nは固定
Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1
4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃
3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
2. Full Waveform LiDARデータへの応⽤ 20
タスクの設定 21 Input Data Trained Model power time Classified Data
セグメンテーションタスクを解く x, y, z座標と波形のセット
点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,
, ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
⼿法:層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す
⼿法:畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される1次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24
⼿法:最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM
25
実験:データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア
実験:定性評価結果 27
実験:定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると, PointNet++を利⽤したモデルは空間的な学習が可能となり, 抽出性能が⾼い
実験:ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習:Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した
• PointNetで学習:Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として,点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する1DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation
Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30