第二回 3Dなんでも勉強会

3Dなんでも勉強会で発表したスライドです。

Transcript

1. 点群セグメンテー
   ションとデータオー
   グメンテーション
   3D何でも勉強会
   2023年5月27日
   禅AI 大下範晃
   

   View Slide

2. ⽬次
   § ⾃⼰紹介
   § 3D表現について
   § 点群セグメンテーション
   § 点群セグメンテーションとは
   § 有名なアーキテクチャー
   § PointNet/PointNet++
   § PointTransformer
   § データオーグメンテーション
   § PointCutMixとPointMixUP
   § 最後に
   

   View Slide

3. ⾃⼰紹介
   § ⼤下範晃
   § 普段は都内のMLプラットフォームを提供している会社に勤務
   § 仕事
   § プラットフォーム上のMLの機能を開発
   § 画像、動画、テキスト、点群など
   § 点群の経歴は2,3ヶ⽉くらい
   § 来⽉以降は札幌からフルリモート
   § 趣味
   § 釣り（最近はずっとボウズ）
   § 禅AI
   § 任意団体、本業とは別
   § OSS開発や勉強会（企画や参加）などをやっていく予定
   § https://zenai.club
   

   View Slide

4. 3Dの表現⽅法のおさらい
   § ボクセル
   § ボリューム（体積）＋ピクセル=ボクセル
   § X,Y,Z,⼤きさ（体積）でデータを表現
   § その他にカラー情報などを付与可能
   § 点群
   § X,Y,Zでデータを表現
   § そのほかにカラー情報などを付与可能
   § 点群óボクセル 相互に変換可能
   A Deep Learning Method for 3D Object Classification
   Using the Wave Kernel Signature and A Center Point of the 3D-Triangle Mesh
   点群 ボクセル
   

   View Slide

5. 点群セグメンテーションとは
   On point clouds Semantic Segmentation
   open3d.org
   ラベルがない点群にラベルを付与する作業
   ここは道路、ここは家、これは信号
   というように領域を分割する問題
   例：3Dセマンティックセグメンテーション
   今回は物体のクラスを推定する
   （点群の）セマンティックセグメンテーションについて解説
   

   View Slide

6. 点群のSemanticSegmentationの有名なモデル
   § PointNet/PointNet++
   § PointTransformer
   § PointCNN
   § RandLaNetなど
   

   View Slide

7. 有名なアーキテクチャー
   § PointNet/PointNet++
   § PointTransformer
   § PointCNN
   § RandLaNetなど
   今⽇はこちらをご説明します！
   

   View Slide

8. PointNet
   § 点群を直接学習に使うDeepLearningの初期的なモデル
   § 局所特徴量と⼤域特徴量で点群の構造を捉えている（しかし）
   § 課題：最後に合算するため局所特徴量を直接学習できない
   § 発展系:PointNet++（階層的ニューラルネットワーク）
   n:点群数
   k: クラス数
   Qi, Charles R., Hao Su, Kaichun Mo, and Leonidas J. Guibas. 2016.
   “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation.”
   arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1612.00593.
   局所特徴量 ⼤域特徴量
   結果
   与えられた点群をボクセルに変換、画像に変換後⽐較
   T-Netは位置合わせのためのネットワーク
   

   View Slide

9. PointNet++
   § PointNetを階層的に適応し、局所特徴量を抽出するネットワーク
   § 課題：ある点の近傍を固定サイズで取得するので情報損失している可能性
   Qi, Charles R., Li Yi, Hao Su, and Leonidas J. Guibas. 2017.
   “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space.”
   arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1706.02413.
   ModelNet40において点群としてボクセルや画像の⼿法の精度を凌駕！
   

   View Slide

10. PointTransformer
    PointTransfomerV2
    アテンションの再考
    Zhao, Hengshuang, Li Jiang, Jiaya Jia, Philip Torr, and Vladlen Koltun. 2020.
    ]“Point Transformer.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2012.09164.
    • 点群にTransfomerを適⽤した研究
    • 特徴：SelfAttentionの利⽤、スキップコネクションの利⽤
    • メリット：
    • selfAttentionを使ってある点の近傍を類似度から動的に抽出
    • 局所特徴量と⼤域特徴量を学習に利⽤し⾼い精度
    • 発展系：PointTransformerV2
    Wu, Xiaoyang, Yixing Lao, Li Jiang, Xihui Liu, and Hengshuang Zhao. 2022.
    “Point Transformer V2: Grouped Vector Attention and Partition-Based Pooling.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2210.05666.
    

    View Slide

11. データオーギュメンテーション⼿法
    

    View Slide

12. PointCutMixとPointMixUP
    新しい点群の計算(PointCutMix)
    x1とx2の最適割り当て
    PointCutMix-R
    PointCutMix-K
    Zhang, Jinlai, Lyujie Chen, Bo Ouyang, Binbin Liu, Jihong Zhu, Yujing Chen, Yanmei Meng, and Danfeng Wu. 2021.
    “PointCutMix: Regularization Strategy for Point Cloud Classification.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2101.01461.
    PointMixUP
    § 点群のデータオーグメンテーション⼿法
    § モチベーション：点群はデータの⼤量取得が難しい
    § 課題：不均衡データを考慮した⼿法
    § 例：広⼤な⼟地の測量データなどに対する⼿法
    Chen, Yunlu, Vincent Tao Hu, Efstratios Gavves, Thomas
    Mensink, Pascal Mettes, Pengwan Yang, and Cees G. M. Snoek. 2020.
    “PointMixup: Augmentation for Point Clouds.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2008.06374.
    

    View Slide

13. 最後に
    § 最近の興味
    § 不均衡なデータに対する⼿法
    § LiDARなどで周辺環境を取得すると遠くにある物体はスパースになる
    § 点群の修正
    § ノイズが多い点群データを綺麗に加⼯する技術
    § 点群x⽣成系
    § 点群に対して拡散モデルの適⽤
    § 点群データの取得は難しいので、似たようなデータを⼤量に⽣成できないか
    § 不均衡への対応
    § （3Dじゃないですが）
    ⼤規模⾔語モデルを使ったゼロショットキーポイント推定
    不均衡の例:http://www.semantic-kitti.org/
    Diffusion Probailistic Models for 3D Point Cloud Generation
    Luo, Shitong, and Wei Hu. 2021.
    “Diffusion Probabilistic Models for 3D Point Cloud Generation.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2103.01458.
    https://arxiv.org/pdf/2206.11752.pdf
    CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal Pose
    

    View Slide