SAM 3D とは？検証

Transcript

1. SAM 3D: Generative Possibilities CREATIVE TECH REPORT Meta発・単眼3D生成モデルのクリエイティブ検証 Copyright © 2025 Droga5. All rights reserved.
2. Executive Summary Overview Metaの「Segment Anywhere Model 3」をベースにした、単眼画像からの高速3D生成モデル Opportunity 商用利用可能なライセンス（SAM License）により、ゲーム・映像のプロトタイピングに即戦力 Core Value Speed & Intuition 2Dイメージから数秒で立体化・空間検証 が可能 Generative Fill 見えない部分をAIが大胆かつ賢く補完 Dual Models 汎用オブジェクトと人体に特化した2モ デル展開 Verdict 高精度な最終出力より、シーンのブロッキングやアイデアの具現化ツールとして極めて優秀 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL 2
3. 01 MODEL ARCHITECTURE Two Approaches for 3D Generation 「モノ」と「ヒト」 、それぞれの特性に最適化された2つのアプローチ Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL 3
4. SAM 3D Objects & Body SAM 3D Objects 汎用的な物体・シーン生成 形状、テクスチャ、レイアウトを一括推定 複数オブジェクトの同時生成が可能 込み入った室内シーンなどが得意 Use Case: プロップ配置、空間構成の検証 SAM 3D Body 人体特化の形状・ポーズ推定 ボーン付きメッシュを生成（テクスチャなし） 複雑なポーズや遮蔽に強い 単眼画像から高精度な姿勢推定 Use Case: 群衆配置、ポージングダミー Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Two Approaches for 3D Generation 4
5. 02 VISUAL CASE STUDY Creative Reconstruction Limit Testing 意地悪な入力画像に対する、AIの「想像力」と「補完能力」の検証 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL 5
6. SAM 3D Objects: Scene Layout 複雑な室内シーンの再構築 Geminiで生成した子供部屋の画像をテスト。 高速な推論: オブジェクト追加と同時に3D化 空間整合性: 配置やサイズ感が妥当 隠蔽部の補完: 死角も違和感なく立体化 Insight: 入力画像にない情報も、学習データに基づき「それらしく」補 完する能力が高い。 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Creative Reconstruction 6
7. The Power of "Hallucination" 見えない部分をどのように「想像」して補完しているか Input: Fragmented Mask 机の大部分が他の物体で隠れ、マスク情報は断片的でノイズだ らけの状態。 Output: Reconstructed Desk 欠損部分が大胆に補完され、完全な「机」の形状として再構築 されている。 Structure: Plausible Geometry 裏側や側面など、画像に全く存在しない面も整合性を保って生 成。 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Creative Reconstruction 7
8. SAM 3D Body: Pose Estimation 破綻した人体表現からの構造抽出 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Creative Reconstruction INPUT 低解像度・崩れた生成画像 OUTPUT 整合性のある3Dボーン 構造的に矛盾したポーズ □ 指先などの微細な情報欠損 □ 複数人の重なり □ → 人体として成立する姿勢に補正 □ 指先まで認識したメッシュ生成 □ 個別の人物として分離 □ 8
9. Action Scene Analysis OBSERVATION "ダイナミックな格闘シーンの推定精度" キックの瞬間を捉えた画像。被写体の重なり、激しい動き、画面外へのフレ ームアウトが含まれる。 Result 手足の位置関係、隠れているレフェリー、背景の観客まで、空間的な配置は概ね 正確。ただし、蹴り足の接触点など「関係性」の理解には課題が残る。 Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Creative Reconstruction 9
10. CREATIVE WORKFLOW How We Use It? PHASE 1 Rapid Scene Blocking PHASE 2 Animation Reference PHASE 3 Asset Prototyping Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL SAM 3D: Generative Possibilities｜Strategic Application 2Dコンセプトアートから即座に3Dレイ アウトを起こし、カメラワークや照明 の検証用ダミーとして活用。 実写や生成画像からポーズを抽出し、ア ニメーターへのリファレンスや、群衆シ ーンのベースとして利用。 ゲームや映像背景のアセット量産に向 けた、形状・テクスチャの初期案（ド ラフト）生成。 10
11. SAM 3D: Generative Possibilities License & Policy SAM 3Dのコードとモデルウェイトは、独自の「SAM License」の下で公開されています。特筆すべきは、 原則として商用利用が可能 である点です。 ゲーム開発におけるアセット生成や、映像制作のプリプロダ クションなど、実際の商用プロジェクトのワークフローに組 み込むことが公式に認められています。 主な制限事項> 軍事目的など特定の用途での利用禁止 SAMの派生物には同ライセンスの適用が必要 研究利用時の謝辞表記 これらの基本的な条件を守れば、クリエイティブな実験から 実制作まで、自由度の高い活用が可能です。まずはローカル 環境での検証をお勧めします。 Open for Business Copyright © 2025 Kenta Kuzuhara. All rights reserved.
12. Let's build the environment. Copyright © 2025 Kenta Kuzuhara. All rights reserved. HIGHLY CONFIDENTIAL 12 NEXT STEP