空間コンピューティングの表現力を解き放つ、visionOS開発入門：『マテリアル』を見渡す

by Nao-RandD

Embed

Start on current slide

Slide 1

Slide 1 text

空間コンピューティングの表現力を解き放つ、 visionOS開発入門：『マテリアル』を見渡す LODGE XR “Tech” Talk - visionOS

Slide 2

Slide 2 text

SPEAKER Nao_RandD ᯅ / ナオランド @Nao_RandD ● ⽇頃は iOS エンジニアとして働く ● R&D 領域の取り組みで Apple Vision Pro 向けの開発に携わる ● 3Dモデリングは visionOS 開発をキッカケに初めて触れる

Slide 3

Slide 3 text

󰢐 話すこと本日お話しする内容 ● 3Dモデリングにおけるマテリアルの入門的な解説 ● RealityKit で扱えるマテリアルの種類 󰢄 話さないこと ● Shader Graph などについて踏み込んだ解説 ● Blender や Unity, Unreal Engine など RealityKit 以外を利用したケースの解説

Slide 4

Slide 4 text

iOSエンジニアの自分は思った

Slide 5

Slide 5 text

3Dモデリングに出てくる用語多すぎ rrrrrrrr 🙃

Slide 6

Slide 6 text

PBR Material Metalness Diffuse Color Rendering Normal Map Roughness Glossiness Specular Base Color Mesh Bump/Relief Emission Luminescence Texture Shader Lighting UV Refraction Iridescence IOR Fresnel Effect Collision 3D Modeling 😇

Slide 7

Slide 7 text

マテリアルから攻略してみる

Slide 8

Slide 8 text

マテリアルとは 3Dモデルの外観を定義してその表面が光とどのように相互作用するかを定義する（Apple のドキュメントより抜粋）

Slide 9

Slide 9 text

マテリアルとは 3Dモデルの外観を定義してその表面が光とどのように相互作用するかを定義する（Apple のドキュメントより抜粋） → 単に色だけではなく、質感など物質が持つ情報を付与する色, 光沢, 粗さ, 金属度, 透明度, 発光など

Slide 10

Slide 10 text

マテリアルとは用語と物理的な表現との対応も知っておくと 󰢐 マテリアルの要素キーワード表現していること色（アルベド） Albedo, Base Color, Diffuse Color 物体の基本的な色を表現する。拡散反射。光沢（スペキュラ） Specular, Reflection 表面の光沢の強さや色を表現する。鏡面反射。粗さ（ラフネス） Roughness 表面の滑らかさやザラザラ感を表現する。金属度（メタリック） Metallic 金属・非金属を表現する。特有の光沢や色合い。透明度（オパシティ） Opacity, Alpha, Transparency 物体の透明度を表現する。光の透過。発光（エミッシブ） Emissive, Glow, Luminance 自ら光を放つ部分を表現する。凹凸（法線） Normal, Bump 表面の細かな凹凸を視覚的に表現する。

Slide 11

Slide 11 text

RealityKit にあるマテリアルを用途と合わせて丸っと把握する

Slide 12

Slide 12 text

RealityKit で提供されるマテリアル 1. SimpleMaterial 2. UnlitMaterial 3. PhysicallyBasedMaterial 4. PortalMaterial 5. VideoMaterial 6. OcculusionMaterial 7. CustomMaterial 8. ShaderGraphMaterial RealityKit / Material, textures, and shaders： https://developer.apple.com/documentation/realitykit/scene-content- materials-and-shaders

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

1. SimpleMaterial RealityKit で提供されるマテリアル概要: ● 基本的なマテリアルで、色やテクスチャ、ライティングに対応用途: ● シンプルなオブジェクトの表現や、パフォーマンスを重視したい時 ● デバッグで位置を調整したい時 SimpleMaterial：https://developer.apple.com/documentation/realitykit/simplematerial

Slide 16

Slide 16 text

1. SimpleMaterial RealityKit で提供されるマテリアル SimpleMaterial：https://developer.apple.com/documentation/realitykit/simplematerial

Slide 17

Slide 17 text

Slide 18

Slide 18 text

2. UnlitMaterial RealityKit で提供されるマテリアル概要: ● ライティングの影響を受けないマテリアルで常に一定の外観を保つ ● アンリット：陰影をつけない、光を処理しない用途: ● UI要素やアイコンなどライティングの影響を受けたくないオブジェクトの表現したい時 UnlitMaterial：https://developer.apple.com/documentation/realitykit/unlitmaterial

Slide 19

Slide 19 text

2. UnlitMaterial RealityKit で提供されるマテリアル UnlitMaterial：https://developer.apple.com/documentation/realitykit/unlitmaterial

Slide 20

Slide 20 text

Slide 21

Slide 21 text

3. PhysicallyBasedMaterial RealityKit で提供されるマテリアル概要: ● 物理ベースレンダリング（ PBR）に基づいたマテリアルで現実的な外観を再現 ● 現実世界の物体に光が反射する様子を忠実に再現するマテリアルの一種用途: ● 金属、プラスチック、木材などの質感を持つオブジェクトを作成したい時ノーマルマップを取り込んで凹凸による陰影を表現するなど（_norとか名前に入ってるやつ。法線情報） PhysicallyBasedMaterial：https://developer.apple.com/documentation/ realitykit/physicallybasedmaterial

Slide 22

Slide 22 text

3. PhysicallyBasedMaterial RealityKit で提供されるマテリアル PhysicallyBasedMaterial：https://developer.apple.com/documentation/ realitykit/physicallybasedmaterial

Slide 23

Slide 23 text

Slide 24

Slide 24 text

4. PortalMaterial RealityKit で提供されるマテリアル概要: ● ポータルエフェクトを実現するためのマテリアルでの空間への入り口を表現 ● ポータル：入り口。玄関用途: ● ユーザーが別のシーンや空間に移動するためのポータル（入り口）を表現したい時 PortalMaterial：https://developer.apple.com/documentation/realitykit/portalmaterial

Slide 25

Slide 25 text

4. PortalMaterial RealityKit で提供されるマテリアル PortalMaterial：https://developer.apple.com/documentation/realitykit/portalmaterial

Slide 26

Slide 26 text

Slide 27

Slide 27 text

5. VideoMaterial RealityKit で提供されるマテリアル概要: ● ビデオをテクスチャとして使用するマテリアルで AVPlayerと連携して動画を再生用途: ● 仮想スクリーンでの動画再生や動的な背景の作成 VideoMaterial：https://developer.apple.com/documentation/realitykit/videomaterial

Slide 28

Slide 28 text

5. VideoMaterial RealityKit で提供されるマテリアル VideoMaterial：https://developer.apple.com/documentation/realitykit/videomaterial

Slide 29

Slide 29 text

Slide 30

Slide 30 text

6. OcculusionMaterial RealityKit で提供されるマテリアル概要: ● 視覚的には表示されず他のオブジェクトを隠すために使用 ● オクルージョン: 遮蔽、覆い隠し用途: ● 仮想オブジェクトが現実世界のオブジェクトの背後に隠れるような表現をしたい時 OcclusionMaterial：https://developer.apple.com/documentation/realityki t/occlusionmaterial

Slide 31

Slide 31 text

6. OcculusionMaterial RealityKit で提供されるマテリアル OcclusionMaterial：https://developer.apple.com/documentation/realityki t/occlusionmaterial

Slide 32

Slide 32 text

Slide 33

Slide 33 text

概要: ● Metal シェーダーを使用してマテリアルの外観や動作をカスタマイズできる用途: ● iOS で高度なマテリアルのカスタマイズが必要とする時（例：特殊な視覚効果や独自のライティングモデル） 7. CustomMaterial RealityKit で提供されるマテリアル CustomMaterial：https://developer.apple.com/documentation/realitykit/custommaterial

Slide 34

Slide 34 text

7. CustomMaterial RealityKit で提供されるマテリアル CustomMaterial：https://developer.apple.com/documentation/realitykit/custommaterial カスタムシェーダー（.metal ファイル）

Slide 35

Slide 35 text

7. CustomMaterial RealityKit で提供されるマテリアル CustomMaterial：https://developer.apple.com/documentation/realitykit/custommaterial

Slide 36

Slide 36 text

🚨 注意: ● visionOS では使用できない ● ShaderGraphMaterial（ + LowLevelMesh, LowLevelTexture ）を使う 7. CustomMaterial RealityKit で提供されるマテリアル

Slide 37

Slide 37 text

Slide 38

Slide 38 text

8. ShaderGraphMaterial RealityKit で提供されるマテリアル概要: ● Material X のフォーマットに基づきノードベースでカスタマイズする方法 ● Reality Composer Pro の Shader Graph を使用して作成するカスタムマテリアル用途: ● アニメーションのような時間変化する波の表現やノイズなどのテクスチャを表現したい時 ○ Swift コードから制御するパラメータからインタラクション性のある表現もできる ShaderGraphMaterial：https://developer.apple.com/documentation/realitykit /shadergraphmaterial

Slide 39

Slide 39 text

8. ShaderGraphMaterial RealityKit で提供されるマテリアル Implementing adjustable material：https://developer.apple.com/documentation/visionOS/implementing-adjustable-material-in-vi

Slide 40

Slide 40 text

8. ShaderGraphMaterial RealityKit で提供されるマテリアル Implementing adjustable material：https://developer.apple.com/documentation/visionOS/implementing-adjustable-material-in-vi

Slide 41

Slide 41 text

まとめ iOS エンジニアが visionOS 開発を始めることをきっかけにマテリアルから理解を進めてみたお話したこと ● マテリアルに関連する用語ごとにどの物理表現と対応するか整理した ● RealityKit にあるマテリアル全体を把握できるように用途と合わせて紹介した

Slide 42

Slide 42 text

ご清聴ありがとうございました良い visionOS 開発を！ 🥽