第二回 3Dなんでも勉強会

3Dなんでも勉強会で発表したスライドです。

Transcript

1. 点群セグメンテー ションとデータオー グメンテーション 3D何でも勉強会 2023年5月27日 禅AI 大下範晃
2. ⽬次 § ⾃⼰紹介 § 3D表現について § 点群セグメンテーション § 点群セグメンテーションとは § 有名なアーキテクチャー § PointNet/PointNet++ § PointTransformer § データオーグメンテーション § PointCutMixとPointMixUP § 最後に
3. ⾃⼰紹介 § ⼤下範晃 § 普段は都内のMLプラットフォームを提供している会社に勤務 § 仕事 § プラットフォーム上のMLの機能を開発 § 画像、動画、テキスト、点群など § 点群の経歴は2,3ヶ⽉くらい § 来⽉以降は札幌からフルリモート § 趣味 § 釣り（最近はずっとボウズ） § 禅AI § 任意団体、本業とは別 § OSS開発や勉強会（企画や参加）などをやっていく予定 § https://zenai.club
4. 3Dの表現⽅法のおさらい § ボクセル § ボリューム（体積）＋ピクセル=ボクセル § X,Y,Z,⼤きさ（体積）でデータを表現 § その他にカラー情報などを付与可能 § 点群 § X,Y,Zでデータを表現 § そのほかにカラー情報などを付与可能 § 点群óボクセル 相互に変換可能 A Deep Learning Method for 3D Object Classification Using the Wave Kernel Signature and A Center Point of the 3D-Triangle Mesh 点群 ボクセル
5. 点群セグメンテーションとは On point clouds Semantic Segmentation open3d.org ラベルがない点群にラベルを付与する作業 ここは道路、ここは家、これは信号 というように領域を分割する問題 例：3Dセマンティックセグメンテーション 今回は物体のクラスを推定する （点群の）セマンティックセグメンテーションについて解説
6. 点群のSemanticSegmentationの有名なモデル § PointNet/PointNet++ § PointTransformer § PointCNN § RandLaNetなど
7. 有名なアーキテクチャー § PointNet/PointNet++ § PointTransformer § PointCNN § RandLaNetなど 今⽇はこちらをご説明します！
8. PointNet § 点群を直接学習に使うDeepLearningの初期的なモデル § 局所特徴量と⼤域特徴量で点群の構造を捉えている（しかし） § 課題：最後に合算するため局所特徴量を直接学習できない § 発展系:PointNet++（階層的ニューラルネットワーク） n:点群数 k: クラス数 Qi, Charles R., Hao Su, Kaichun Mo, and Leonidas J. Guibas. 2016. “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1612.00593. 局所特徴量 ⼤域特徴量 結果 与えられた点群をボクセルに変換、画像に変換後⽐較 T-Netは位置合わせのためのネットワーク
9. PointNet++ § PointNetを階層的に適応し、局所特徴量を抽出するネットワーク § 課題：ある点の近傍を固定サイズで取得するので情報損失している可能性 Qi, Charles R., Li Yi, Hao Su, and Leonidas J. Guibas. 2017. “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1706.02413. ModelNet40において点群としてボクセルや画像の⼿法の精度を凌駕！
10. PointTransformer PointTransfomerV2 アテンションの再考 Zhao, Hengshuang, Li Jiang, Jiaya Jia, Philip Torr, and Vladlen Koltun. 2020. ]“Point Transformer.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2012.09164. • 点群にTransfomerを適⽤した研究 • 特徴：SelfAttentionの利⽤、スキップコネクションの利⽤ • メリット： • selfAttentionを使ってある点の近傍を類似度から動的に抽出 • 局所特徴量と⼤域特徴量を学習に利⽤し⾼い精度 • 発展系：PointTransformerV2 Wu, Xiaoyang, Yixing Lao, Li Jiang, Xihui Liu, and Hengshuang Zhao. 2022. “Point Transformer V2: Grouped Vector Attention and Partition-Based Pooling.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2210.05666.
11. データオーギュメンテーション⼿法
12. PointCutMixとPointMixUP 新しい点群の計算(PointCutMix) x1とx2の最適割り当て PointCutMix-R PointCutMix-K Zhang, Jinlai, Lyujie Chen, Bo Ouyang, Binbin Liu, Jihong Zhu, Yujing Chen, Yanmei Meng, and Danfeng Wu. 2021. “PointCutMix: Regularization Strategy for Point Cloud Classification.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2101.01461. PointMixUP § 点群のデータオーグメンテーション⼿法 § モチベーション：点群はデータの⼤量取得が難しい § 課題：不均衡データを考慮した⼿法 § 例：広⼤な⼟地の測量データなどに対する⼿法 Chen, Yunlu, Vincent Tao Hu, Efstratios Gavves, Thomas Mensink, Pascal Mettes, Pengwan Yang, and Cees G. M. Snoek. 2020. “PointMixup: Augmentation for Point Clouds.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2008.06374.
13. 最後に § 最近の興味 § 不均衡なデータに対する⼿法 § LiDARなどで周辺環境を取得すると遠くにある物体はスパースになる § 点群の修正 § ノイズが多い点群データを綺麗に加⼯する技術 § 点群x⽣成系 § 点群に対して拡散モデルの適⽤ § 点群データの取得は難しいので、似たようなデータを⼤量に⽣成できないか § 不均衡への対応 § （3Dじゃないですが） ⼤規模⾔語モデルを使ったゼロショットキーポイント推定 不均衡の例:http://www.semantic-kitti.org/ Diffusion Probailistic Models for 3D Point Cloud Generation Luo, Shitong, and Wei Hu. 2021. “Diffusion Probabilistic Models for 3D Point Cloud Generation.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2103.01458. https://arxiv.org/pdf/2206.11752.pdf CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal Pose