SIGGRAPH Asia 2019: Geometry Off the Deep End (Japanese)

SIGGRAPH 2019 Asia勉強会 (https://siggraph.xyz/s2019-sa2019/) での発表に使用したスライドです。

Transcript

1. SIGGRAPH 2019 Asia Seminar
   Geometry Off the Deep End
   Tatsuya Yatagawa
   Aug. 8th, 2020
   

   View Slide

2. Geometry Off the Deep End
   l RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud
   → 点群データに対する可動部と「モーション」の推定
   l Learning Adaptive Hierarchical Cuboid Abstractions of 3D Shape
   Collections
   → 直⽅体の組み合わせによる三次元形状の簡略化とその応⽤
   l StructureNet: Hierarchical Graph Network for 3D Shape Generation
   → 構造付き三次元形状に対する階層的オートエンコーダを⽤いた⽣成モデル
   l SDM-NET: Deep Generative Network for Structured Deformable Mesh
   → パーツ間の関係性を考慮した三次元メッシュに対する⽣成モデル
   Slide is available: http://bit.do/fHjMf
   4
   

   View Slide

3. RPM-Net: Recurrent Prediction of Motion and Parts
   from Point Cloud
   Slide is available: http://bit.do/fHjMf
   ⼀⾔で⾔うと？
   点群データに対して, 可動部分とその部分のモーションを推定する研究
   

   View Slide

4. View Slide

5. 既存研究との違い
   Shape2Motion [Wang et al. 2019]
   Slide is available: http://bit.do/fHjMf
   ( , , )
   Mobility , Motion ( )
   

   View Slide

6. RPM-Net
   Recurrent neural network (LSTM) を使って「Motion」を推定
   Slide is available: http://bit.do/fHjMf
   

   View Slide

7. Mobility-Net
   RPM-Netが出⼒した「Motion」から「Mobility」を推定
   Slide is available: http://bit.do/fHjMf
   , ( , , ) , , ( )
   

   View Slide

8. 結果
   従来法との⽐較
   Slide is available: http://bit.do/fHjMf
   ( Motion )
   

   View Slide

9. Learning Adaptive Hierarchical Cuboid
   Abstractions of 3D Shape Collections
   Slide is available: http://bit.do/fHjMf
   ⼀⾔で⾔うと？
   三次元メッシュを直⽅体の組み合わせによって抽象化するための深層学習法に関する研究
   

   View Slide

10. なぜ抽象化が必要か？
    Slide is available: http://bit.do/fHjMf
    [Fu et al., EG 2016]
    .
    .
    [Hu et al. 2018]
    .
    (
    ).
    [Mitra et al. 2014]
    .
    

    View Slide

11. 直⽅体 (cuboid) による形状の抽象化
    Slide is available: http://bit.do/fHjMf
    l 抽象度の異なる複数の抽象化結果を作成
    l それらを0, 1のマスクで合成して, 最終結果を得る
    

    View Slide

12. 提案法の概要
    Slide is available: http://bit.do/fHjMf
    ( )
    

    View Slide

13. 結果: メッシュの抽象化
    l 構造はある程度取れているように思う
    l ⾶⾏機のジェットエンジンは⽻根と横に並ぶのが良い？
    Slide is available: http://bit.do/fHjMf
    

    View Slide

14. 応⽤: 構造に注⽬した類似データ検索
    Slide is available: http://bit.do/fHjMf
    

    View Slide

15. 応⽤: ⽴⽅体を⽤いた形状の編集
    l 直⽅体を動かすと, 元の形状が編集される.
    l 単に直⽅体内部がアフィン変関する (networkは使っていない)
    Slide is available: http://bit.do/fHjMf
    

    View Slide

16. StructureNet: Hierarchical Graph Network for 3D
    Shape Generation
    ⼀⾔で⾔うと？
    階層構造のある形状データ (点群・キュボイド) をVAEで潜在ベクトル化する研究
    Slide is available: http://bit.do/fHjMf
    

    View Slide

17. VAEと潜在ベクトル
    VAE = variational autoencoder (変分オートエンコーダ)
    l 下の画像を復元するようにエンコーダ・デコーダのペアを学習
    l 対象を補間したり, 編集したりと多くの応⽤がある
    Slide is available: http://bit.do/fHjMf
    =
    Face image in CelebA
    

    View Slide

18. 研究のモチベーション
    階層構造を持つ三次元形状を潜在ベクトル化したい
    Slide is available: http://bit.do/fHjMf
    l
    l
    ,
    

    View Slide

19. パーツの表現
    ⼊⼒データのパーツは点群か直⽅体で表現
    l 点群ならPointNetにより潜在ベクトル化
    l 直⽅体は重⼼位置, サイズ, 姿勢を表す四元数でベクトル化
    Slide is available: http://bit.do/fHjMf
    

    View Slide

20. エンコーダの構成
    l
    l 2
    l
    → 以後, 階層を上がって, ルートの潜在ベ
    クトルを得る
    Slide is available: http://bit.do/fHjMf
    

    View Slide

21. デコーダの構成
    l 1
    l
    l ,
    l
    → グラフ構造⾃体を抽象化できる
    Slide is available: http://bit.do/fHjMf
    

    View Slide

22. 結果
    ⼊⼒が直⽅体なので, 出⼒形状も直⽅体表現のデータになる
    https://cs.stanford.edu/~kaichun/structurenet/
    Slide is available: http://bit.do/fHjMf
    ( )
    

    View Slide

23. SDM-NET: Deep Generative Network for Structured
    Deformable Mesh
    Slide is available: http://bit.do/fHjMf
    ⼀⾔で⾔うと？
    VAEを⽤いたパーツ同⼠の関係性を考慮するアセンブルメッシュデータの⽣成
    

    View Slide

24. View Slide

25. ２つのネットワーク: Part VAE & SP-VAE
    Structure Parts VAE (SP-VAE):
    パーツから抽出した潜在ベクトルを1
    つのベクトルにまとめる
    Slide is available: http://bit.do/fHjMf
    Part VAE:
    メッシュの各パーツを潜在ベクトル化
    

    View Slide

26. Part VAE: ⼊⼒特徴
    局所変形情報の特徴化
    テンプレート (バウンディングボックス) をas-consistent-as-possible [Gao
    et al. 2017] を利⽤してパーツにフィッティング
    Slide is available: http://bit.do/fHjMf
    9
    (2 )
    

    View Slide

27. Part VAE
    いわゆるなVAEの構造を利⽤
    Slide is available: http://bit.do/fHjMf
    

    View Slide

28. Structure Parts VAE: ⼊⼒特徴
    Part VAEで得た特徴量とメタ情報を組み合わせる
    Slide is available: http://bit.do/fHjMf
    Part VAE
    

    View Slide

29. Structure Parts VAE
    いわゆるなVAEの構造を利⽤
    l パーツが存在するかどうかが前述の特徴に含まれるため, パーツ数は可変
    Slide is available: http://bit.do/fHjMf
    

    View Slide

30. 事後処理による物理制約の付与
    VAEで出⼒される形状は必ずしも物理制約を満たさない
    l パーツ同⼠が接触しない, 上のパーツが⽀えられていない
    → 事後処理として物理制約を付与した⼆次計画問題を解く
    Slide is available: http://bit.do/fHjMf
    

    View Slide

31. 結果: 従来法との⽐較
    Slide is available: http://bit.do/fHjMf
    形状の再現度は⾮常に⾼い. Watertightに必ずなるわけではないが, 事後処
    理でwatertightにすることは可能 (陰関数を意識).
    

    View Slide

32. 結果: 形状の補間
    l 種数が変わってもよい (パーツごとの処理なので)
    l パーツの⼤変形もある程度許容される
    Slide is available: http://bit.do/fHjMf
    

    View Slide