Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第二回 3Dなんでも勉強会

第二回 3Dなんでも勉強会

3Dなんでも勉強会で発表したスライドです。

Oshita Noriaki

May 27, 2023
Tweet

More Decks by Oshita Noriaki

Other Decks in Research

Transcript

  1. 点群セグメンテー
    ションとデータオー
    グメンテーション
    3D何でも勉強会
    2023年5月27日
    禅AI 大下範晃

    View Slide

  2. ⽬次
    § ⾃⼰紹介
    § 3D表現について
    § 点群セグメンテーション
    § 点群セグメンテーションとは
    § 有名なアーキテクチャー
    § PointNet/PointNet++
    § PointTransformer
    § データオーグメンテーション
    § PointCutMixとPointMixUP
    § 最後に

    View Slide

  3. ⾃⼰紹介
    § ⼤下範晃
    § 普段は都内のMLプラットフォームを提供している会社に勤務
    § 仕事
    § プラットフォーム上のMLの機能を開発
    § 画像、動画、テキスト、点群など
    § 点群の経歴は2,3ヶ⽉くらい
    § 来⽉以降は札幌からフルリモート
    § 趣味
    § 釣り(最近はずっとボウズ)
    § 禅AI
    § 任意団体、本業とは別
    § OSS開発や勉強会(企画や参加)などをやっていく予定
    § https://zenai.club

    View Slide

  4. 3Dの表現⽅法のおさらい
    § ボクセル
    § ボリューム(体積)+ピクセル=ボクセル
    § X,Y,Z,⼤きさ(体積)でデータを表現
    § その他にカラー情報などを付与可能
    § 点群
    § X,Y,Zでデータを表現
    § そのほかにカラー情報などを付与可能
    § 点群óボクセル 相互に変換可能
    A Deep Learning Method for 3D Object Classification
    Using the Wave Kernel Signature and A Center Point of the 3D-Triangle Mesh
    点群 ボクセル

    View Slide

  5. 点群セグメンテーションとは
    On point clouds Semantic Segmentation
    open3d.org
    ラベルがない点群にラベルを付与する作業
    ここは道路、ここは家、これは信号
    というように領域を分割する問題
    例:3Dセマンティックセグメンテーション
    今回は物体のクラスを推定する
    (点群の)セマンティックセグメンテーションについて解説

    View Slide

  6. 点群のSemanticSegmentationの有名なモデル
    § PointNet/PointNet++
    § PointTransformer
    § PointCNN
    § RandLaNetなど

    View Slide

  7. 有名なアーキテクチャー
    § PointNet/PointNet++
    § PointTransformer
    § PointCNN
    § RandLaNetなど
    今⽇はこちらをご説明します!

    View Slide

  8. PointNet
    § 点群を直接学習に使うDeepLearningの初期的なモデル
    § 局所特徴量と⼤域特徴量で点群の構造を捉えている(しかし)
    § 課題:最後に合算するため局所特徴量を直接学習できない
    § 発展系:PointNet++(階層的ニューラルネットワーク)
    n:点群数
    k: クラス数
    Qi, Charles R., Hao Su, Kaichun Mo, and Leonidas J. Guibas. 2016.
    “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1612.00593.
    局所特徴量 ⼤域特徴量
    結果
    与えられた点群をボクセルに変換、画像に変換後⽐較
    T-Netは位置合わせのためのネットワーク

    View Slide

  9. PointNet++
    § PointNetを階層的に適応し、局所特徴量を抽出するネットワーク
    § 課題:ある点の近傍を固定サイズで取得するので情報損失している可能性
    Qi, Charles R., Li Yi, Hao Su, and Leonidas J. Guibas. 2017.
    “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1706.02413.
    ModelNet40において点群としてボクセルや画像の⼿法の精度を凌駕!

    View Slide

  10. PointTransformer
    PointTransfomerV2
    アテンションの再考
    Zhao, Hengshuang, Li Jiang, Jiaya Jia, Philip Torr, and Vladlen Koltun. 2020.
    ]“Point Transformer.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2012.09164.
    • 点群にTransfomerを適⽤した研究
    • 特徴:SelfAttentionの利⽤、スキップコネクションの利⽤
    • メリット:
    • selfAttentionを使ってある点の近傍を類似度から動的に抽出
    • 局所特徴量と⼤域特徴量を学習に利⽤し⾼い精度
    • 発展系:PointTransformerV2
    Wu, Xiaoyang, Yixing Lao, Li Jiang, Xihui Liu, and Hengshuang Zhao. 2022.
    “Point Transformer V2: Grouped Vector Attention and Partition-Based Pooling.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2210.05666.

    View Slide

  11. データオーギュメンテーション⼿法

    View Slide

  12. PointCutMixとPointMixUP
    新しい点群の計算(PointCutMix)
    x1とx2の最適割り当て
    PointCutMix-R
    PointCutMix-K
    Zhang, Jinlai, Lyujie Chen, Bo Ouyang, Binbin Liu, Jihong Zhu, Yujing Chen, Yanmei Meng, and Danfeng Wu. 2021.
    “PointCutMix: Regularization Strategy for Point Cloud Classification.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2101.01461.
    PointMixUP
    § 点群のデータオーグメンテーション⼿法
    § モチベーション:点群はデータの⼤量取得が難しい
    § 課題:不均衡データを考慮した⼿法
    § 例:広⼤な⼟地の測量データなどに対する⼿法
    Chen, Yunlu, Vincent Tao Hu, Efstratios Gavves, Thomas
    Mensink, Pascal Mettes, Pengwan Yang, and Cees G. M. Snoek. 2020.
    “PointMixup: Augmentation for Point Clouds.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2008.06374.

    View Slide

  13. 最後に
    § 最近の興味
    § 不均衡なデータに対する⼿法
    § LiDARなどで周辺環境を取得すると遠くにある物体はスパースになる
    § 点群の修正
    § ノイズが多い点群データを綺麗に加⼯する技術
    § 点群x⽣成系
    § 点群に対して拡散モデルの適⽤
    § 点群データの取得は難しいので、似たようなデータを⼤量に⽣成できないか
    § 不均衡への対応
    § (3Dじゃないですが)
    ⼤規模⾔語モデルを使ったゼロショットキーポイント推定
    不均衡の例:http://www.semantic-kitti.org/
    Diffusion Probailistic Models for 3D Point Cloud Generation
    Luo, Shitong, and Wei Hu. 2021.
    “Diffusion Probabilistic Models for 3D Point Cloud Generation.”
    arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2103.01458.
    https://arxiv.org/pdf/2206.11752.pdf
    CLAMP: Prompt-based Contrastive Learning for Connecting Language and Animal Pose

    View Slide