RoomPlan for iOSDCJapan2024

iOSDCでルーキーズLTとして発表した資料をスライドにしました。
短いセッションですが、
RoomPlanのデモ、サンプルコードの利用、エクスポートされるUSDZとはなんなのか？といったお話をしています。

#RoomPlan
#ARKit
#Swift
#USDZ

Transcript

1. iOSDC Japan 2024 ルーキーズ LT 5分で話し切る RoomPlan おだやか (X : alt9800) 1
2. 目次 RoomPlanとは？ デモンストレーション 導入方法 3Dオブジェクトの取り扱い 利活用例の紹介 2
3. RoomPlan WWDC2022において発表された、 LiDAR搭載のデバイスより利用可能なスキャンシステム (Swift API , for iOS 16 +) https://developer.apple.com/jp/videos/play/wwdc2022/10127/ 3
4. デモ 4
6. 類似技術 Object Captureによるフォトグラメトリ https://www.youtube.com/watch?v=L8GaPaMfmLM 6
7. それぞれの用途 RoomPlan (LiDARを用いてセンシングを行う ) ➔ 同階層における見取り図の作成 Object Capture (フォトグラメトリ ) ➔ ある物体を写真や動画から立体化 7
8. 開発の始め方 8
9. ドキュメントのページより https://developer.apple.com/documentation/roomplan/create_a_3d_model_of_an_interior _room_by_guiding_the_user_through_an_ar_experience サンプルプロジェクト CreateA3DModelOfAnInteriorRoomByGuidingTheUserThroughAnARExperience をダウンロードし、 Xcodeでプロジェクトとして読み込み 9
10. ├── Configuration │ └── SampleCode.xcconfig ├── LICENSE │ └── LICENSE.txt ├── README.md ├── RoomPlanExampleApp │ ├── AppDelegate.swift │ ├── Assets.xcassets │ ├── Base.lproj │ ├── Info.plist │ ├── OnboardingViewController.swift │ ├── RoomCaptureViewController.swift │ └── SceneDelegate.swift └── RoomPlanExampleApp.xcodeproj ├── project.pbxproj ├── project.xcworkspace └── xcshareddata 10
11. APIの利用方法 import RoomPlan 11
12. UIKitから使う場合 (サンプルの方法 ) RoomCaptureViewController を呼び出して各種エンドポイントを利用する SwiftUIから使う場合 RoomCaptureView が SwiftUIビューとして提供されているので、 RoomCaptureSessionをオブジェクトとして利用することができる。 12
13. スキャンしたオブジェクトを利用する 13
14. 構成されたオブジェクトは USDZ形式でエクスポートすることができる。 USD : Universal Scene Description 14
15. 補足 : このあたり @IBAction func exportResults(_ sender: UIButton) { let destinationURL = FileManager.default.temporaryDirectory.appending(path: "Room.usdz") ~略~ } 15
16. USDZの簡単な構造 Room.usdz ├── Room.usda └── assets └── Parametric ├── Chair │ ├── Chair0.usda │ ├── Chair1.usda │ ├── Chair2.usda │ ├── Chair3.usda │ ├── Chair4.usda │ ├── Chair5.usda │ └── Chair6.usda ├── Floors │ └── Floor0.usda ├── Table │ ├── Table0.usda │ └── Table1.usda └── Walls └── Wall0 └── Wall0.usda 16
17. USDAとは？ USDA: ASCII文字列として USD構造体を利用できるように定義したテキストフォーマッ ト ⇔ USDC (GLTFと GLBの関係に似てるかも ) 17
18. USDAの構造 #usda 1.0 ( defaultPrim = "Wall0" metersPerUnit = 1 upAxis = "Y" ) def Xform "Wall0" ( assetInfo = { asset identifier = @./Wall0.usda@ string name = "Wall0" } customData = { string Category = "Wall" string UUID = "81048711-BBA3-4BE4-90CA-942061F2C13E" } kind = "component" ) { def Cube "Wall0" { rel material:binding = </Wall0/Wall0_color> double size = 1 double3 xformOp:scale = (7.546441078186035, 2.549999952316284, 0.00009999999747378752) matrix4d xformOp:transform = ( (-0.41756635904312134, 0, -0.9086464643478394, 0), (0, 1.0000001192092896, 0, 0), (0.9086465239524841, 0, -0.4175664484500885, 0), (-1.1913783550262451, 0.3747645616531372, 0.13431057333946228, 1) ) uniform token[] xformOpOrder = ["xformOp:transform", "xformOp:scale"] } def Material "Wall0_color" { token outputs:surface.connect = </Wall0/Wall0_color/surfaceShader.outputs:surface> def Shader "surfaceShader" { uniform token info:id = "UsdPreviewSurface" color3f inputs:diffuseColor = (1, 1, 1) color3f inputs:emissiveColor = (0, 0, 0) normal3f inputs:normal = (1, 1, 1) float inputs:occlusion = 1 float inputs:opacity = 1 token outputs:surface } } } 18
19. 座標系 左手系 Y軸 UP : Unity , Cinema 4D 右手系 Z軸 UP : Blender USDは右手系 #usda 1.0 ( defaultPrim = "Room" metersPerUnit = 1 upAxis = "Y" ) と軸を指定できる (何も指定しないとデフォルトで Y-UP) ➔ Unityなどへの読み込み時には X軸に対しての反転が必要。 19
20. オブジェクトのサイズなどの記録 20
21. 読み込みと形式変換 https://developer.apple.com/jp/augmented-reality/tools/ 21
22. 読み込み例 1 22
23. 読み込み例 2 23
24. Blenderでのインポート例 24
25. リリースされているプロダクトの例 25
26. リモデラメジャー https://lp-measure.remodela.jp/ (公式サイトより引用 ) 26
27. PolyCam FreeTierのあるスキャンソフトで、フォトグラメトリ、 LiDARによるメッシュ作成がで きるソフトウェア。 気軽に RoomPlanを利用して 3Dモデルを作成することもできる。 27
29. IndoorMappingの広がり 29
30. iOSDC Japan 2024 ルーキーズ LT 5分で話し切る RoomPlan おだやか (X : alt9800) 30
31. 時間が余ったときの補足用 31
32. LiDARセンサーは 5mくらいが限界？ 解析結果を調べて見る限りは、 iPhone15 Proでは、 iPhone12(-14) Proに搭載されたセン サーに比べてスイートスポットが伸びている ? https://reameizu.com/iphone-15-pro-camera-sensor-revealed/ 32
33. 3Dプリントしてみた 階段などを取得させるようなアレンジも可能 (次スライド ) 33