What's new in ARCore at Google IO 2019

2019-05-13 Google I/O 2019 わいわい報告会
https://mercaridev.connpass.com/event/129551/

Transcript

1. 2019-05-13 Google I/O 2019 わいわい報告会 @ikkou #io19jp
   

   View Slide

2. チームマネージャー
   開発者コミュニティ 運営責任者。
   日本バーチャルリアリティ学会認定 技術者。
   めぐるーまーで雛乃木神社氏子。
   メルカリでは とか とか のアレコレを推進す
   るお仕事をしています。
   諸星 一行
   

   View Slide

3. Table of Contents
   1. AR at Keynote
   2. What's new in ARCore w/ AR Sandbox
   3. web component
   4. Appendix
   5. Resources
   

   View Slide

4. View Slide

5. AR at Keynote
   Google Keynote (Google I/O'19)
   https://www.youtube.com/watch?v=lyRPyRKHO8M
   ● 00:01:25　Google I/O 2019 公式アプリに AR 機能 ref. Twitter
   ○ 今年の Keynote は最初の話題が AR !!
   ● 00:06:59　Google 検索の検索結果に 3D モデルを表示、現実世界に AR 表示
   ○ Scene Viewer
   ● 00:12:07　Google Lens の超進化、翻訳精度の向上や動画が表示されるように
   ● 01:23:20　Google Maps の AR 機能が全 Pixel ユーザーに順次開放へ ref. Twitter
   

   View Slide

6. View Slide

7. Augmented Faces
   ● Augmented Faces は ARCore 1.7 で実装された Depth カメラ無しで 468 点
   の 3D メッシュを生成して AR フェイスマスクを実現するもの
   ● 今夏、iOS でも ARCore 同様にDepth カメラ無しで 468 点の 3D メッシュを生
   成できるようになる
   ○ iOS の場合、インカメラに Depth センサーのついた iPhone X 以降の端末
   が必要だったが、今後は Augmented Faces の iOS ラッパーを用いること
   でその制限が無くなる
   

   View Slide

8. Augmented Faces
   

   View Slide

9. Augmented Images
   ● トラッキングの精度が 30% 向上 Update
   ● 認識精度が 15% 向上 Update
   ● 複数画像のトラッキングが可能になった New!!
   ● 動いている画像のトラッキングが可能になった New!!
   

   View Slide

10. environmental HDR lighting
    ● TensorFlow-lite を用いた物凄い環境光推定
    

    View Slide

11. Scene Viewer
    ● Google 検索の検索結果に AR をもたらすもの
    ● iOS における AR Quick Look 同等のことを ARCore で実現する
    

    View Slide

12. View Slide

13. 
    ● TL;DR
    ○ Try NASA Mars - Curiosity Rover
    ● を用いることで iOS 12 以降で実装された
    AR Quick Look 同等のことを “Web” で実現できる
    ● 1 source で iOS の AR Quick Look、Magic Leap の Helio にも対応可能
    ● Android は ARCore 1.9+ で AR モードで動作、iOS は iOS 12+ で動作する
    ○ ARCore 1.9 が入っていない場合は全画面表示になるだけ
    ○ ARCore 1.9 の OTA アップデートは始まっている模様
    ○ OTA を待てない場合は直接ダウンロードして adb でインストール可能
    ■ https://github.com/google-ar/arcore-android-sdk/releases/tag/v1.9.0
    

    View Slide

14. Source code
    

    View Slide

15. Difference between AR Quick Look and Scene Viewer
    AR Quick Look Scene Viewer
    File format support USDZ from OBJ, ABC, USD glTF 2.0/glb
    Animation ●Animations always loop
    ●Animations can be a mix of skeletal animation
    and transform animation
    ●Looping skeletal animation
    ●Looping rigid animation
    ●Looping transform animation
    ※複数のアニメーションが仕込まれている場合は最初のアニメーション
    のみ再生する
    Recommended limits ●Number of vertices: 100,000
    ●Number of materials: ?
    ●Max texture resolution: 2048 × 2048
    ●Bone (including non-weighted joints): ?
    ●Bone weights per vertex limit: ?
    ●UV: ?
    ●Model size: ?
    ●animation length: 10 sec
    ●Number of vertices: 30,000
    ●Number of materials: 10
    ●Max texture resolution: 2048 × 2048
    ●Bone (including non-weighted joints): 254 (hard limit)
    ●Bone weights per vertex limit: 4 (hard limit)
    ●UV: 1 UV per mesh (hard limit)
    ●Model size: 10 MB (bigger models may result in poor user
    experience)
    ●animation length: ?
    Texture support ●Any image format supported by iOS
    ●Albedo (RGB/RGBA), Metallic (Grayscale),
    Roughness (Grayscale), Normal (RGB), Ambient
    occlusion (Grayscale), Emissive (RGB)
    ●PNG format: PNG-24, indexed PNG-8. JPGs are preferred
    when there is no transparency to reduce for size.
    ●Color space: sRGB
    

    View Slide

16. View Slide

17. by the way, what’s new in Daydream?
    ● Google I/O 2019 において VR 関連セッションはなし
    ○ あっても良さそうな Daydream 6DoF 化の話は無し
    ○ あっても良さそうな Mirage Solo シースルーモードの話は無し
    ○ そもそも 2016: VR, 2017: VR, 2018: AR & VR, 2019: Augmented Reality
    ● Pixel 3a は Google の VR 向けプラットフォーム Daydream に対応しない
    ○ Pixel 3a は安価に抑えるために SoC が Snapdragon 670
    ○ 動作させるには 800 番台が必要
    ○ Pixel 3 XL と Galaxy S10 は大きさの関係で対応していない
    ● Daydream view を用いた VR コンテンツの展示はあったが……。 ref. Twitter
    言明はしていないが VR への注力をやめて AR 推しを強めていることは明らか
    

    View Slide

18. ARcade
    

    View Slide

19. 
    ● Ticket ¥131,026
    ● Flight ✈ ≒ ¥200,000
    ● Hotel ≒ ¥100,000 ( 直前確保1泊25,000円 )
    ● Food 0 !!
    ● Drink 0 !!
    ● Goods 人それぞれ、自分はなんだかんだ $400 程度
    

    View Slide

20. View Slide

21. AR at Google I/O 2019
    AR 関連セッションは AR at Google I/O 2019 というプレイリストにまとめられています。
    1. What’s New in ARCore detail YouTube
    2. Designing AR Applications detail YouTube
    3. Increasing AR Realism with Lighting detail YouTube
    4. Developing the First AR Experience for Google Maps detail YouTube
    5. Augmenting Faces and Images detail YouTube
    6. AR as a Feature: How to Supercharge Products Using Augmented Reality detail YouTube
    

    View Slide

22. AR at Google Design
    Designing AR Applications セッションの内容は AR at Google Design 内の Augmented Reality
    Design Guidelines にまとまっています。
    

    View Slide

23. AR at Google Codelabs
    Google Codelabs に今回の Update を含む ARCore の資料がまとまっています。
    1. ARCore Cloud Anchors New
    2. Add 3D Models to The Web with New
    3. Augmented Faces New
    4. Introduction to ARCore in Unity
    5. Introduction to Sceneform
    6. ARCore Augmented Images New
    

    View Slide

24. AR at Google Developers Blog
    Updates to ARCore Help You Build More Interactive & Realistic AR Experiences に今回の
    Update を含む ARCore の記事が書かれています。
    

    View Slide