Shape Analysis (5 papers) l DeformSyncNet: Deformation Transfer via Synchronized Shape ... → 3D空間での⾮線形変形を潜在空間における線形変換として学習 l Discovering Pattern Structure Using Differentiable Composting → パターン画像の分解と合成のための教師なし深層学習技術 l MeshWalker: Deep Mesh Understanding by Random Walks → ランダム・ウォークに基づいた新しいメッシュ深層学習法 l MapTree: Recovering Multiple Solutions in the Space of Maps → 関数マップによる複数の対称モードを考慮した形状間の対応関係づけ l Chordal Decomposition for Spectral Coarsening → 弦グラフに基づく, スペクトル特徴を保った形状演算⼦の簡略化 Slide is available: http://bit.do/fN7sm 3 , 2 . 1, 4
従来法: Deformation Transfer [Sumner and Popovic 2004] Slide is available: http://bit.do/fN7sm (図は[Summer & Popovic 2004]より引⽤) Sourceに対して変形が与えられている → Targetにも同じ変形を施したい l S ↔ T間, Sの変形で三⾓形ごとに対応がついている前提 (上図のB) l Sの変形をTにそのまま適⽤, その変形を保ちつつ, 接続関係を修正 (上図のC)
AutoencoderのDeformation Transferへの利⽤ Point Cloudに対するAutoencoder [Achlioptas et al. 2017] l 潜在空間での平⾏移動料をそのままS’に適⽤する Slide is available: http://bit.do/fN7sm l 形状同⼠の対応は不要 l 元形状の特徴が保たれない
考察: どんな変形が学習されている？ パーツ毎の有意な変形が学習されている印象 (下図は辞書の基底ベクトル) l パーツが離れる変形を含み, それが結果に現れる可能性もある l 学習データに変形が依存するので, 汎⽤性の程度には議論の余地あり Slide is available: http://bit.do/fN7sm
応⽤: パターンを⽤いた画像合成 Slide is available: http://bit.do/fN7sm パターンの拡張 l Style Transferのスタイル特徴を⽤いる l ⼊出⼒でスタイル特徴が近づくように パターン配置 モザイク画像 l あえてパターンを含まない画像との誤差が 最⼩になるようにする
三⾓形メッシュを扱うニューラルネット ボクセルや点群, 陰関数などの他表現に⽐べると発展途上 l 従来法はConv, Poolなどニューラルネットの操作をメッシュ上で定義 Slide is available: http://bit.do/fN7sm MeshNet [Feng et al. 2019] l Conv: 三⾓形が常に3隣接 l Pool: 未定義 MeshCNN [Feng et al. 2019] l Conv: ⼆⾯⾓を構成するエッジは4本 l Poolingは未定義
MeshWalkerの利点 その1: データセットが⼩規模でも良い l ランダム・ウォークにより複数の無相関点列を得られるため (が, Limitationを⾒るとデータ数が少ないと問題と⾔っている...) その2: データセット内の三⾓化の違いに影響を受けづらい l 点列の⻑さが⼗分なら三⾓化の違いをRNNで吸収できる その3: ⼊⼒メッシュが⾮多様体や⽳あきでもいい l 点列は⾮多様体や⽳あきのメッシュでも得られるため (MeshCNNなどの複雑さを考えると⾮常に⼤事に思える) Slide is available: http://bit.do/fN7sm
実験結果: MeshCNNとの⽐較 細かな違いではあるものの, 全体的にMeshCNNより良い結果 l MeshWalkerは局所的な特徴の取得に有利 l MeshCNNは⼤域的な特徴の取得に有利 (Poolingがあるため) という印象 Slide is available: http://bit.do/fN7sm
個⼈的な感想 ⼊⼒メッシュが不正メッシュであっても良いのは嬉しい l MeshCNNはPooling途中で不正メッシュが出る可能性がある l しかも, 実装が複雑で著者⾃⾝も解決しきれていない Walkの⻑さが結果に依存することが, どのくらい問題か？ l デフォルト値は与えられているが, ⽬的ごとのチューニングが難しそう l メッシュが⼤きくなるとWalkも⻑くならないと⾏けない (論⽂でも⾔及) l この際, 点列の分散も⼤きくなるので, より学習は難しくなる可能性 l まだ未開拓ではあるが, Poolingがないので⽣成モデルには不利？ Slide is available: http://bit.do/fN7sm
やりたいこと l Functional map (後述)による形状対応付け⾏列を求めたい l 荒く計算した対応付け⾏列を段階的に⾼解像度化したい → 同著者グループの従来法(ZoomOut [Melzi et al. 2019])を繰り返し適⽤ Slide is available: http://bit.do/fN7sm ZoomOut [Melzi et al. 2019]による Functional mapの⾼解像度化 (図は[Melzi et al. 2019]より引⽤)
Functional Mapの⾼解像度化 l M vs N: 密な点同⼠の対応があるわけではないので近傍探索が難しい → 基底関数を𝐶!"によりM上で⽐較する (データ構造が利⽤可能) l 元論⽂[Ovsjanikov et al. 2012]ではICPで対応を更新する Slide is available: http://bit.do/fN7sm Φ% Φ' Φ% ≈ 𝐶)*Φ' M上で基底関数を⽐較して対応を更新
やりたいこと メッシュ上で定義される演算⼦を簡略化メッシュ上で表す l 従来法 [Liu et al. 2019]のスペクトル保存型の簡略化を使⽤ → 演算⼦の固有値, 固有ベクトルをなるべく保存 (PCAのような感じ) Slide is available: http://bit.do/fN7sm (図は[Liu et al. 2019]より引⽤)
全体のまとめ l DeformSyncNet: Deformation Transfer via Synchronized Shape ... → 3D空間での⾮線形変形を潜在空間における線形変換として学習 l Discovering Pattern Structure Using Differentiable Composting → パターン画像の分解と合成のための教師なし深層学習技術 l MeshWalker: Deep Mesh Understanding by Random Walks → ランダム・ウォークに基づいた新しいメッシュ深層学習法 l MapTree: Recovering Multiple Solutions in the Space of Maps → 関数マップによる複数の対称モードを考慮した形状間の対応関係づけ l Chordal Decomposition for Spectral Coarsening → 弦グラフに基づく, スペクトル特徴を保った形状演算⼦の簡略化 Slide is available: http://bit.do/fN7sm n (GCN ) n CNN
tatsy
bonjiri_niwa
nikkei_engineer_recruiting
daina0321
line_developers
tatematsu_san
ad5jp
safie_recruit
aiji42
shimashima35
cybozuinsideout
aramaki
yusukeshimizu
geoffreycrofte
soudai
scottboms
carmenintech
deanohume
jponch
zakiwarfel
lara
morganepeng
marcelosomers
aarron
orderedlist