Human Mesh Modeling for Anny Body + α

- 様々な人体形状に対応可能なスキャンフリーの人体メッシュモデルAnnyを提案
- スキャンに基づかない手法でありながらSMPLと同等以上の表現力を持ち、直感的なパラメータ操作で人体のモデリングが可能
- 微分可能なモデルとして実装されており、Apache 2.0ライセンスで公開されている
- +αとして実際に3DGSと組み合わせた簡易的な実験を実施

Transcript

1. Human Mesh Modeling for Anny Body NAVER LABS Europe (Brégier+, 2025) +α Turing株式会社 荒居 秀尚 2025/11/25 Spatial AI勉強会
2. 論⽂情報 論⽂：https://arxiv.org/abs/2511.03589 GitHub：https://github.com/naver/anny Demo：https://anny-demo.europe.naverlabs.com/ ※特に注釈のない場合、図表は論⽂/Demoページ/GitHubレポからの引⽤か、Nano Banana Proによる ⽣成です 2
3. 概要 スキャンデータに依存しない、完全に微分可能な⼈体モデルとデータセットの提案 3
4. 背景 ⼈体モデルはSMPL派⽣のものが有名だが様々な問題があった 4
5. Annyの特徴 AnnyはSMPL派⽣モデルなどが抱える問題を解決しているという主張 5
6. スキャンに依存しない SMPLの問題の多くはスキャンに依存していること→スキャン不要の仕組みで解決 6
7. MakeHuman 25年の歴史があるOSSの⼈体モデル作成ツール https://static.makehumancommunity.org/makehuman.html 7
8. 専⾨家により作成された564個のBlendshapesを⽤いて様々な形状を表現 Annyの⼿法 ベースモデル Blendshape: 頂点変位ベクトルで 表現された変形 (例)「腕を太くする変位」 8
9. 区分的多重線形補間を⽤いて形状を補間する 形状⽣成のメカニズム 9
10. 統計データに基づき、⼊⼒値と出⼒形状の関係を校正している WHO統計データによるキャリブレーション 10
11. 統⼀されたトポロジー 従来は「⼤⼈モデル」と「⼦供モデル」でメッシュ構造が異なり扱いづらかった 13,380頂点、163ボーンのリグに対応 11
12. Phenotypes “age”, “gender”などや “head fat”のように細かい変更をするものもある 体全体に影響を及ぼす phenotype 体の⼀部に影響を及ぼす phenotype ※パラメータは多様性の表現に有⽤だが、⼈種や性別を厳密に定義するものではな く、主観的解釈を含むという但し書きがあります 12
13. 微分可能な表現 Annyは学習可能パラメータのないPyTorchモデルとして定義されている Phenotypeによる形状の変更は区分線形補間のため微分可 能演算で実装できる。 Boneの動きに合わせて形状を変更する演算もLBS (Linear Blend Skinning)という⼿法で実現されており、微分可能な 演算のみで構成されている。 13
14. Annyの⼈体形状の表現⼒ Annyはスキャンに依存しないルールベースではあるが⾼い表現⼒を持つ 勾配ベースの⼿法でパラメータを調整することで 様々な⼈体形状に誤差少なくフィットさせること ができている 14
15. 応⽤例: Human-Mesh-Recovery (HMR) 画像や動画から⼈体のメッシュを復元するタスク Goel, Shubham, et al. "Humans in 4d: Reconstructing and tracking humans with transformers." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023. 15
16. Anny-One Dataset HMRモデルの学習や評価に使える800,000枚の画像からなる合成データセット Blenderを使い、Annyの⼈体メッシュを元に 様々な室内環境の映像をレンダリングしたもの ※2025/11/24現在では未公開 「2026年までは公開できないと思う」という issueコメントあり 16
17. 実験1: Anny vs SMPL-X HMRモデルの⼈体モデルだけをSMPL-Xに変えて同じデータセットで学習し⽐較 MPJPE: Mean Per Joint Prediction Error (ジョイントの予測誤差) PVE: Per Vertex Error   (共通トポロジーにおける正解データとの頂点間距離) PA-*: Procrutes-Aligned * (剛体変換により姿勢合わせをした後での評価) 17
18. 評価を⼦どもを含むAGORAにし、学習データの組み合わせを変えて検証 実験2: データセットを切り替えて検証 学習データセットをBEDLAM / Anny-One で変えながら、⼈体モデルも変えて⽐較 学習はAGORAデータセットで⾏い、⼈体 モデルを切り替えたパターン 学習はBEDLAM / Anny-Oneで⾏い、 AGORAでファインチューンしたパターン SMIL-X : SMPL派⽣の⼀つで⼦どもを表現 するモデル 18
19. 実験3: 多様なデータでSoTA⼿法と⽐較 Multi-HMRの⼈体モデルをAnnyに切り替えて様々なデータで学習して検証 ⼦どもに対応できるのが強み 19
20. 感想 • Apache 2.0ライセンスで⼈体モデルを提供してくれているのはありがたい • データドリブンがもてはやされる時代において、あえてドメイン知識に基づい たルールベースで取り組むのは⾯⽩いと思った ◦ ⼈体という、プライバシーが強く絡む領域だからこそ？ • HMRモデルの学習データとして合成データを提供するというのもありがたい • ⼀つのモデルで様々な⼈体形状をカバーできるのは強そう ◦ ⼈体モデル素⼈なので⽉並みな感想‧‧‧ 20
21. +α 実際に使ってみた！ 21
22. AnnyのAPI 全⾝モデルを作る関数 (顔のみ、⼿のみを作る関数もある) bone形状を表現するパラメータ メッシュ構造を表現するパラメータ 基本のphenotypeはこの6つ poseはboneの各節の変形を表現したTransformation Matrixを与える 22
23. AnnyのAPI 出⼒はメッシュの頂点を含む辞書 23
24. 姿勢をいじる 姿勢はboneのラベルごとに変形を⼊れた辞書形式でもいい 24
25. 異なるRigタイプ より詳しくは： https://naver.github.io/anny/build/alternative_models.html defaultリグ + defaultトポロジー 163ボーン, 13718頂点 default-notoes-nohands-noexpression-nobreastsリグ + notes_collapse5pcトポロジー 36ボーン, 615頂点 25
26. 3DGSで使ってみる OmniRe[Chen+, 2025] を参考に歩⾏者をAnnyの⼈体モデルで表現してみる Chen, Ziyu, et al. "OmniRe: Omni Urban Scene Reconstruction." The Thirteenth International Conference on Learning Representations. Anny Anny 26
27. 3DGS + Annyの設定 27
28. AnnyGaussian(仮)の設計 28
29. 3DGS+Annyの結果 (※ n=1) Anny Gaussianを使った場合 他の移動体(⾃転⾞など)と同じ⽅式で歩⾏者を表現した場合 29
30. Annyを使った⽅が動きの再現は早い 学習初期(5000ステップ)の再構成動画 Anny Gaussianを使った場合 他の移動体(⾃転⾞など)と同じ⽅式で歩⾏者を表現した場合 30
31. Annyのパラメータ推定の結果は‧‧‧？ 31
32. 感想2 • リュックサックや⼿荷物などのアタッチメントや⾃転⾞などにも対応できると 強い‧‧‧が流⽯に難しそう • 学習されたbone poseをみてみると結構適当なので、正攻法でやるならHMRを 使って初期化してあげたほうがいいかも？ ◦ OmniReはどうなっているんだろう‧‧‧？ 32