SwiftでARKit3を使うには

Transcript

1. xR Tech Tokyo #18 @ ソフトバンク
   Drama(@1901drama)
   Swiftで
   ARKit3 を 使うには
   

   View Slide

2. View Slide

3. 機能 対象
   Coaching UI ・環境データ取得用のアニメーションを表示させる A9 以上
   (iPhone 6s/SE)
   People Occlusion 2D/3D ・ユーザーの身体を、 3Dオブジェクトの手前に表示させる
   ・ユーザーの身体と 3Dオブジェクトの前後関係を、反映し表示させる
   A12 Bionic以上
   (iPhone xR/xS)
   Motion Capture 2D/3D ・ユーザーの身体 /関節の位置を画面上の位置座標で取得出来る
   ・ユーザーの身体 /関節の位置を空間座標で取得出来る
   A12 Bionic以上
   (iPhone xR/xS)
   Multiple Face Tracking ・３人までの顔の場所と表情を同時追跡する A12 Bionic以上
   (iPhone xR/xS)
   Simultaneous
   Front and Back Camera
   ・手前側のカメラと背面側のカメラで同時に ARを利用出来る A12 Bionic以上
   (iPhone xR/xS)
   Collaborative Sessions ・他のユーザーとの AR体験の共有を補助する A9 以上
   (iPhone 6s/SE)
   ARKit3で追加されたメイン機能
   

   View Slide

4. Coaching UI People Occlusion 2D/3D Motion Capture 2D/3D
   

   View Slide

5. Multiple Face Tracking
   Simultaneous
   Front and Back Camera Collaborative Sessions
   

   View Slide

6. 
   
   Swiftで開発するときのメリット・デメリット
   ● iOS固有の機能を複合して組み込み出来る
   (UIKit, Depth等のセンサー, 認証系...)
   ● Buildが早い
   ● Appleのドキュメントを直接解釈出来る
   ● iOS全般の知識が必要
   ● 3Dの理解が難しい
   ● Androidへの移行が困難（開発工数がかかる）
   ● エンジニアが少ない（転職や情報共有が難しい）
   　今日はこちらの人向け
   

   View Slide

7. ARConfiguration
   

   View Slide

8. ARWorldTrackingConfiguration
   ARBodyTrackingConfiguration
   ARImageTrackingConfiguration
   AROrientationTrackingConfiguration
   ARPositionalTrackingConfiguration
   ARObjectScanningConfiguration
   ARFaceTrackingConfiguration
   ● Plane Detect
   ● Human Detect
   ● Motion Capture
   ● Face Detect
   ● Image Detect
   ● Image Tracking
   ● Face tracking
   ● Position Tracking
   ● Object Detect
   ● Object Scan
   ARKit3で検知するモードと対象
   ● Orientation Tracking
   ● WorldMap Export/Import
   ● Collaborative Session
   ● Simultaneous Front and Back Camera
   ● People Occlusion
   

   View Slide

9. Depth
   

   View Slide

10. Depth取得条件に制限がある
    ②Simultaneous
    　Front and Back Camera
    ＋
    ①RearCameraのDepthで自分を3D化
    ＝
    ③depthデータを相手に送れば
    　3Dでコミュニケーションが
    　出来るのでは？
    

    View Slide

11. Depth取得条件に制限がある
    Simultaneous Front and Back Camera
    でも、depthは取得出来ない。
    （FaceTrackingだけの場合は、従来通り取得出
    来る）
    Appleさんに改善依頼しました！
    

    View Slide

12. その他
    

    View Slide

13. ● Coaching UIは普通のUIView扱いなので、そのままでは表示がズレます。
    ● People Occlusion 3DとPlane Objectを併用するとまれにバグります。
    ● Collaborative Sessionsは、同時5台くらいが限界かもしれません。
    ● RealityKitの出来ることに制限があり、 SceneKitから移行出来ない
    など...
    その他
    

    View Slide

14. ARKit 3.0のサンプルコード集
    『ARKit-Invader』
    ソースコード（GitHub/Qiita）
    サンプルコードあります！
    

    View Slide

15. ご清聴
    ありがとう御座いました。
    xR Tech Tokyo #18 @ ソフトバンク
    Drama(@1901drama)
    

    View Slide