CoRL2020論文詠み会 Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation

Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation
https://arxiv.org/abs/2009.08924

Transcript

1. CoRL2020論文詠み会 Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation オムロンソーシアルソリューションズ 廣田 敦士
2. 自己紹介 • 2017年 大学院でGANを用いた俳句の生成 • 2018年4月 オムロンソーシアルソリューションズ入社 • データ分析が主な業務 • 2019年 阪神高速道路渋滞予測 • Graph Convolutional Networks (GCNs) を用いた渋滞予測に従事 • 2020年12月 ITSシンポジウム2020 にて “Graph Convolutional Networks を用いた阪神高速道路における交通渋滞 発生予測” を共著で発表 • 2020年 • 引き続きデータ分析系の業務に従事 ペ ン ギ ン の マ ー ク と 共 に 繰 り 返 し ア ル バ ム に 長 き 短 し 6 年 を 廣田敦士ら, “学習データセットを分けた seqGAN によ る俳句生成”, 言語処 理学会 第24回年次大会 発表論文 集, 1292-1295, 2018. 生成俳句例
3. はじめに 点群を GCNで セグメント • Point cloud (点群) • 3Dレーザースキャナーで取得されるデータ • レーザーを飛ばして跳ね返った時間から距離を測る • いろんな角度から距離を測って、データ化する • 各要素が「点」で構成され、座標と色などで表される • 1秒に100万点くらいとるからデータ量が多い • Semantic segmentation • 各部分がどのクラスかを分類するタスク • GCN • CNNは縦横に整列しているデータ • GCNは縦横に整列していないデータで畳み込み http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf https://besterra3d.com/blog/knowledge/002459.html A Comprehensive Survey on Graph Neural Networks
4. こ こ か ら が 論 文 自 体 の 紹 介 だ
5. 1. Introduction: • pointcloud semantic segmentation における2つの課題 • メモリを膨大に使う • 従来の解決方法：ダウンサンプリング • しかし、データを削除する方針は精度が悪くなる • ⇒点群を意味的に似たもので事前にクラスタリングすることで解決 • 順番がなく、綺麗に並んでいない（並び方に意味がある） • 非常に多くの分野で大活躍のCNNがそのまま使えない • メッシュやボクセルを使った前処理でCNNを適応する事例がある • しかし、無駄なオーバーヘッドとなっていた • ⇒GCNを使って解決 • 手法の全体像 • 点群をクラスタリング • クラスター間の関係性をGCNで学習 （MuGNet)⇒クラス分類 “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 2
6. 3. Proposed Computational Framework: 3.1 Clustering algorithm for graph formation • 事前クラスタリングの手法 • 教師あり学習を行う。詳細は以下の論文を参照 • 教師なし幾何学的手法によるクラスタリングでは、 データの線形性などの仮定が多く難しい • 詳細は割愛します L. Landrieu and M. Boussaha. Point cloud oversegmentation with graph-structured deep metric learning. CoRR, abs/1904.02113, 2019. URL http://arxiv.org/abs/1904.02113 “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 2
7. 3.2 Cluster-feature Embedding • 各クラスタの点群には、[15]にある特徴量が付随されている • 各クラスタごとに、3つの解像度を用意し、それぞれNNを通す • 3つの解像度は、最も細かい生の点群と、ダウンサンプリングした2種類粗い点群で構成される。 • NNを通った後の3種類の特徴量は最後に Concatenate される • これを各クラスターごとに行う “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 3 “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 2 [15] L. Landrieu and M. Simonovsky. Large-scale point cloud semantic segmentation with superpoint graphs. CoRR, abs/1711.09869, 2017. URL http://arxiv.org/abs/1711.09869.
8. 3.3 Feature-fusion Backbone① • N個のクラスタができ、各クラスタをノードとする(ノード数N, 下の図では3つ) • 各クラスタ𝑐1 はℎ1 という特徴量を持つ(Cluster-feature Embedding による） • 𝑖番目のGCN層では、𝐻𝑖 = {ℎ1 , … , ℎ𝑁 }という特徴量がある(図では𝑖 = {1,2,3,4}) • 𝐻に対して普通のGCN演算(GraphConv)を適応 • 各GCN層の特徴量をConcat 𝐻𝑜𝑢𝑡 = {𝐻1 , … 𝐻4 } • 最後に𝐻𝑜𝑢𝑡 をLiner層を用いてクラス分類 “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 3 “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 2
9. 3.3 Feature-fusion Backbone② 学習時のポイント “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 3 • ResNetのように、各層の特徴量を次の層に飛ばして伝達 • 様々な解像度の特徴を用いてクラス分類ができる • c.f. GCNでは層が進むに連れて、より遠くのノードの情報を持つと同時に、 各ノードがそれぞれ似たような特徴を持ってしまう※理論的に証明されているらしい ⇒層を深くすればよいという常識がGCNでは通用しない！ この現象は概念的には熱力学の熱均衡と類似している（高温が低温に移動して均一に平衡状態になる） 𝑖層目 𝑖 + 1層目 には の情報が含まれる
10. 4. Results “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 5 論 文 の 結 果 は だ い た い SOTA で す
11. まとめ • メモリを膨大に使ってしまう巨大データ(点群)に対して • 事前クラスタリングにより情報欠落を最小限にして圧縮 • 実世界上の整列されていないデータ（点群）に対して • クラスターの位置関係を学習できるGCNによりクラス分類 • 結果、ベンチマークを上回るSOTAを達成 点 群 を あ つ め て 速 し GCN “Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation” Figure. 5