SIGGRAPH Asia 2019: Geometry Off the Deep End (Japanese)

SIGGRAPH 2019 Asia勉強会 (https://siggraph.xyz/s2019-sa2019/) での発表に使用したスライドです。

Transcript

1. SIGGRAPH 2019 Asia Seminar Geometry Off the Deep End Tatsuya Yatagawa Aug. 8th, 2020
2. Geometry Off the Deep End l RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud → 点群データに対する可動部と「モーション」の推定 l Learning Adaptive Hierarchical Cuboid Abstractions of 3D Shape Collections → 直⽅体の組み合わせによる三次元形状の簡略化とその応⽤ l StructureNet: Hierarchical Graph Network for 3D Shape Generation → 構造付き三次元形状に対する階層的オートエンコーダを⽤いた⽣成モデル l SDM-NET: Deep Generative Network for Structured Deformable Mesh → パーツ間の関係性を考慮した三次元メッシュに対する⽣成モデル Slide is available: http://bit.do/fHjMf 4
3. RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud Slide is available: http://bit.do/fHjMf ⼀⾔で⾔うと？ 点群データに対して, 可動部分とその部分のモーションを推定する研究
5. 既存研究との違い Shape2Motion [Wang et al. 2019] Slide is available: http://bit.do/fHjMf ( , , ) Mobility , Motion ( )
6. RPM-Net Recurrent neural network (LSTM) を使って「Motion」を推定 Slide is available: http://bit.do/fHjMf
7. Mobility-Net RPM-Netが出⼒した「Motion」から「Mobility」を推定 Slide is available: http://bit.do/fHjMf , ( , , ) , , ( )
8. 結果 従来法との⽐較 Slide is available: http://bit.do/fHjMf ( Motion )
9. Learning Adaptive Hierarchical Cuboid Abstractions of 3D Shape Collections Slide is available: http://bit.do/fHjMf ⼀⾔で⾔うと？ 三次元メッシュを直⽅体の組み合わせによって抽象化するための深層学習法に関する研究
10. なぜ抽象化が必要か？ Slide is available: http://bit.do/fHjMf [Fu et al., EG 2016] . . [Hu et al. 2018] . ( ). [Mitra et al. 2014] .
11. 直⽅体 (cuboid) による形状の抽象化 Slide is available: http://bit.do/fHjMf l 抽象度の異なる複数の抽象化結果を作成 l それらを0, 1のマスクで合成して, 最終結果を得る
12. 提案法の概要 Slide is available: http://bit.do/fHjMf ( )
13. 結果: メッシュの抽象化 l 構造はある程度取れているように思う l ⾶⾏機のジェットエンジンは⽻根と横に並ぶのが良い？ Slide is available: http://bit.do/fHjMf
14. 応⽤: 構造に注⽬した類似データ検索 Slide is available: http://bit.do/fHjMf
15. 応⽤: ⽴⽅体を⽤いた形状の編集 l 直⽅体を動かすと, 元の形状が編集される. l 単に直⽅体内部がアフィン変関する (networkは使っていない) Slide is available: http://bit.do/fHjMf
16. StructureNet: Hierarchical Graph Network for 3D Shape Generation ⼀⾔で⾔うと？ 階層構造のある形状データ (点群・キュボイド) をVAEで潜在ベクトル化する研究 Slide is available: http://bit.do/fHjMf
17. VAEと潜在ベクトル VAE = variational autoencoder (変分オートエンコーダ) l 下の画像を復元するようにエンコーダ・デコーダのペアを学習 l 対象を補間したり, 編集したりと多くの応⽤がある Slide is available: http://bit.do/fHjMf = Face image in CelebA
18. 研究のモチベーション 階層構造を持つ三次元形状を潜在ベクトル化したい Slide is available: http://bit.do/fHjMf l l ,
19. パーツの表現 ⼊⼒データのパーツは点群か直⽅体で表現 l 点群ならPointNetにより潜在ベクトル化 l 直⽅体は重⼼位置, サイズ, 姿勢を表す四元数でベクトル化 Slide is available: http://bit.do/fHjMf
20. エンコーダの構成 l l 2 l → 以後, 階層を上がって, ルートの潜在ベ クトルを得る Slide is available: http://bit.do/fHjMf
21. デコーダの構成 l 1 l l , l → グラフ構造⾃体を抽象化できる Slide is available: http://bit.do/fHjMf
22. 結果 ⼊⼒が直⽅体なので, 出⼒形状も直⽅体表現のデータになる https://cs.stanford.edu/~kaichun/structurenet/ Slide is available: http://bit.do/fHjMf ( )
23. SDM-NET: Deep Generative Network for Structured Deformable Mesh Slide is available: http://bit.do/fHjMf ⼀⾔で⾔うと？ VAEを⽤いたパーツ同⼠の関係性を考慮するアセンブルメッシュデータの⽣成
25. ２つのネットワーク: Part VAE & SP-VAE Structure Parts VAE (SP-VAE): パーツから抽出した潜在ベクトルを1 つのベクトルにまとめる Slide is available: http://bit.do/fHjMf Part VAE: メッシュの各パーツを潜在ベクトル化
26. Part VAE: ⼊⼒特徴 局所変形情報の特徴化 テンプレート (バウンディングボックス) をas-consistent-as-possible [Gao et al. 2017] を利⽤してパーツにフィッティング Slide is available: http://bit.do/fHjMf 9 (2 )
27. Part VAE いわゆるなVAEの構造を利⽤ Slide is available: http://bit.do/fHjMf
28. Structure Parts VAE: ⼊⼒特徴 Part VAEで得た特徴量とメタ情報を組み合わせる Slide is available: http://bit.do/fHjMf Part VAE
29. Structure Parts VAE いわゆるなVAEの構造を利⽤ l パーツが存在するかどうかが前述の特徴に含まれるため, パーツ数は可変 Slide is available: http://bit.do/fHjMf
30. 事後処理による物理制約の付与 VAEで出⼒される形状は必ずしも物理制約を満たさない l パーツ同⼠が接触しない, 上のパーツが⽀えられていない → 事後処理として物理制約を付与した⼆次計画問題を解く Slide is available: http://bit.do/fHjMf
31. 結果: 従来法との⽐較 Slide is available: http://bit.do/fHjMf 形状の再現度は⾮常に⾼い. Watertightに必ずなるわけではないが, 事後処 理でwatertightにすることは可能 (陰関数を意識).
32. 結果: 形状の補間 l 種数が変わってもよい (パーツごとの処理なので) l パーツの⼤変形もある程度許容される Slide is available: http://bit.do/fHjMf