論文紹介 See-through: Single-image Layer Decomposition for Anime Characters

DeNA+GO CV輪講用資料。See-through: Single-image Layer Decomposition for Anime Characters [Jian Lin+, SIGGRAPH 2026] について紹介しています。

Transcript

1. 論文紹介 See-through: Single-image Layer Decomposition for Anime Characters 進矢 陽介 プラットフォーム事業部 プロダクト開発部 株式会社 IRIAM
2. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 はじめに 2 • 本資料は、第三者による論文紹介資料です。 • IRIAMの機能を説明するものではありません。 • 特記なき限り、図は https://arxiv.org/abs/2602.03749 からの引用です。
3. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 See-throughの概要 1枚のアニメイラストをレイヤー分解し、 アニメーション可能な2.5Dモデルに自動変換するフレームワーク 3 入力画像 19枚のRGBAレイヤー 疑似深度 別ポーズでの再構成結果
4. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 定性評価結果・応用例 動画参照 https://github.com/shitagaki-lab/see-through 全自動でない例を含むため注意 4
5. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 書誌情報 See-through: Single-image Layer Decomposition for Anime Characters • 著者：Jian Lin, Chengze Li, Haoyun Qin, Kwun Wang Chan, Yanghua Jin, Hanyuan Liu, Stephen Chun Wang Choy, Xueting Liu • 論文： https://arxiv.org/abs/2602.03749 • コード： https://github.com/shitagaki-lab/see-through • 発表予定：SIGGRAPH 2026 Technical Papers 5
6. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 背景 VTuber・ゲーム用に、キャラクターの静止画1枚を動かせるよう変換したい 3Dモデリングは元絵の維持に非現実的・不向きなことが多い → Live2Dのような2.5Dアプローチが採用される 2.5Dモデルの課題：膨大な作業が必要 ①キャラクターイラストを数十～数百レイヤーに手動で分割 ②全レイヤーの遮蔽領域をもっともらしい見た目にする ③正確な配置順序を決定 See-throughはそれぞれを自動化 ①意味的レイヤー分解 ②補完 ③疑似深度を用いた描画順序推定 6 課題④データセットが無い 対策④データエンジンの提案
7. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 データセット • 著者らはLive2Dデータの使用を選択 • アーティスト・プロジェクトによってバラバラで、そのままでは使えない → 固定の19クラスにラベル付け • 人力アノテーションは大変 → データセット作成を自動化したい 7
8. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 データエンジン 8 粗いクラス情報を計算 （次ページ） パーツ素片の領域情報 Live2Dデータの アートメッシュの可視領域情報 パーツ素片内の平均を 元に疑似ラベル生成 疑似ラベルでのSAM fine-tuningを 繰り返し、ラベルを改善していく SAM-HQを19クラス用に改変して使用
9. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 データエンジン • マルチラベル画像分類器を使用 • 各クラスのGrad-CAM++の応答から初期マスクを生成 9 髪関連タグの Grad-CAM++応答 トップス関連タグの Grad-CAM++応答 そのままでは使えない品質だが、 パーツ素片の領域情報や 後段処理（前ページ）で補正される
10. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 分解：やりたいこと • 機能1：意味的レイヤー分解 • 機能2：遮蔽領域の補完（インペインティング） • 入力：RGB画像（1枚） • 出力：RGBA画像群（複数） 10
11. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 分解：準備 • RGBA画像を出力可能にする • LayerDiffuse [Lvmin Zhang+, TOG 2024] をfine-tuning • RGB用のSDXL VAEを活かしつつ、 透明度デコーダーを追加することで、αチャンネルも出力 11 α=0でRGB値は未定義 反復ガウスぼかしで透明領域を埋める 学習可能な透明度デコーダー RGB RGBA αチャンネル
12. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 分解：学習方法 12 SDXL [Dustin Podell+, ICLR 2024] を2段階でfine-tuning Stage 1：単一パーツ抽出 • 通常のSDXLとのドメインギャップを減らす • 一度に1つの対象パーツを抽出するよう学習 • 入力イラストとターゲットクラス c k が与えられ、 クラス指定のRGBAボディパーツを抽出 Stage 2：全パーツ同時抽出 • 個別にパーツ抽出するだけでは不十分 ◦ 例：空になる、別パーツに割り当てられる • 全パーツの潜在変数を結合 • Body Part Consistency Moduleを追加 Body Part Consistency Module • パーツ間で情報交換 • パーツの次元に沿ってアテンションを実行
13. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 描画順序推定：疑似深度推定 • 各パーツの画素レベルの疑似深度マップを推定する • Marigold [Bingxin Ke+, TPAMI 2025] をfine-tuning 相対深度推定用だが、アニメ合成における描画順序推定にも有効 • 学習方法：分解同様に2段階学習 ◦ Stage 1：単一パーツ深度推定 ◦ Stage 2：パーツ間を考慮した深度推定 　　　　 Body Part Consistency Module使用 13
14. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 描画順序推定：後処理 • 深度推定結果を元に各パーツの描画順序を決定する • 単純な方法：各意味パーツの深度値を1つの値で代表させる • 課題：サンドイッチ構造（例：前髪・顔・後ろ髪）を表現できない ◦ 同一意味クラスが前後両方に現れる構造 • 対策：クラス内でも深度によって複数に分ける 1. 対象クラス（Hair, Handwear, Topwear, Bottomwear）のαマスク内の疑似深度に対し、 2. K-Meansクラスタリング（K=2）で前と後ろに分割 3. 追加の分割であらわになった領域をLaMaでインペインティング 14
15. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 関連研究：レイヤー分解、アモーダル補完 髪が顔を挟み込むような複雑な遮蔽関係への対応が困難 15 LayerD [Tomoyuki Suzuki+, ICCV 2025] Qwen-Image-Layered [Shengming Yin+, CVPR 2026] アモーダル補完サーベイ論文解説資料： https://www.slideshare.net/slideshow/image-amodal-completion-a-survey-cviu/271372872 PCNet [Xiaohang Zhan+, CVPR 2020]
16. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 結果：定性評価 16 入力画像 分解されたRGBAレイヤー 疑似深度 再構成画像 ワイングラスが 2つのレイヤーで重複
17. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 結果：他手法との定性比較 17 See-through SAM3 (2D) 　欠落・重複あり 　遮蔽領域補完できない Qwen-Image- Layered (2.5D) 　各意味パーツへの 　分解に失敗 再構成誤差は小さい LayerDiffusion（LayerDの誤記？）は比較対象から除外 　同等レイヤー数の訓練への拡張が困難と主張
18. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 結果：Body Part Consistency Moduleの効果 18 一貫性モジュールあり 一貫性モジュール無し • 再構成指標と疑似深度推定誤差が改善 意味的レイヤー分解にも 描画順序推定にも有効 • FID悪化：大域一貫性の強制により出力の多様性が低下 欠落
19. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 今後の課題 Limitations • 体の外側領域でレイヤー間に重複（例：ワイングラス） レイヤーエディタで簡単に修正可能 • 疑似深度が確実な離散境界を生成するとは限らない 複数の安定したサブレイヤーに分割することは困難 Future Work • 上記課題の解決 • 分解結果からアニメーションのタイミングを自動推定 19
20. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 まとめ • イラスト1枚を2.5Dモデルへ自動変換 ◦ 19パーツのレイヤー分解 ＋ 補完 ◦ 疑似深度を用いた描画順序推定 ◦ データエンジン 所感 • 提案手法にかなり気合いが入っている • 他手法との比較には気合いが足りない ◦ 現実的な労力で可能な実験はしている ◦ どのような設計が良いかは分からない • CV技術・ドメイン知識でデータセットを自動作成できないか考えていきたい • 今後の技術発展、気軽にキャラクターになれる世界に期待！ 20
21. See-through [Jian Lin+, SIGGRAPH 2026] 論文紹介 補足：推論時間・訓練時間 21 項目 推論時間 GPU レイヤー分解 74秒 1× RTX 4090 深度推定 10秒 1× RTX 4090 項目 訓練時間 GPU SAM 68時間 4× RTX 4090 レイヤー分解 Stage 1 24時間 8× H200 レイヤー分解 Stage 2 129時間 8× H200 深度推定 Stage 1 16時間 8× H200 深度推定 Stage 2 115時間 8× H200