Upgrade to Pro — share decks privately, control downloads, hide ads and more …

What's new in ARCore at Google IO 2019

ikkou
May 13, 2019

What's new in ARCore at Google IO 2019

2019-05-13 Google I/O 2019 わいわい報告会
https://mercaridev.connpass.com/event/129551/

ikkou

May 13, 2019
Tweet

More Decks by ikkou

Other Decks in Technology

Transcript

  1. 2019-05-13 Google I/O 2019 わいわい報告会 @ikkou #io19jp

    View Slide

  2. チームマネージャー
    開発者コミュニティ 運営責任者。
    日本バーチャルリアリティ学会認定 技術者。
    めぐるーまーで雛乃木神社氏子。
    メルカリでは とか とか のアレコレを推進す
    るお仕事をしています。
    諸星 一行

    View Slide

  3. Table of Contents
    1. AR at Keynote
    2. What's new in ARCore w/ AR Sandbox
    3. web component
    4. Appendix
    5. Resources

    View Slide

  4. 4

    View Slide

  5. AR at Keynote
    Google Keynote (Google I/O'19)
    https://www.youtube.com/watch?v=lyRPyRKHO8M
    ● 00:01:25 Google I/O 2019 公式アプリに AR 機能 ref. Twitter
    ○ 今年の Keynote は最初の話題が AR !!
    ● 00:06:59 Google 検索の検索結果に 3D モデルを表示、現実世界に AR 表示
    ○ Scene Viewer
    ● 00:12:07 Google Lens の超進化、翻訳精度の向上や動画が表示されるように
    ● 01:23:20 Google Maps の AR 機能が全 Pixel ユーザーに順次開放へ ref. Twitter

    View Slide

  6. 6

    View Slide

  7. Augmented Faces
    ● Augmented Faces は ARCore 1.7 で実装された Depth カメラ無しで 468 点
    の 3D メッシュを生成して AR フェイスマスクを実現するもの
    ● 今夏、iOS でも ARCore 同様にDepth カメラ無しで 468 点の 3D メッシュを生
    成できるようになる
    ○ iOS の場合、インカメラに Depth センサーのついた iPhone X 以降の端末
    が必要だったが、今後は Augmented Faces の iOS ラッパーを用いること
    でその制限が無くなる

    View Slide

  8. Augmented Faces

    View Slide

  9. Augmented Images
    ● トラッキングの精度が 30% 向上 Update
    ● 認識精度が 15% 向上 Update
    ● 複数画像のトラッキングが可能になった New!!
    ● 動いている画像のトラッキングが可能になった New!!

    View Slide

  10. environmental HDR lighting
    ● TensorFlow-lite を用いた物凄い環境光推定

    View Slide

  11. Scene Viewer
    ● Google 検索の検索結果に AR をもたらすもの
    ● iOS における AR Quick Look 同等のことを ARCore で実現する

    View Slide

  12. 12

    View Slide


  13. ● TL;DR
    ○ Try NASA Mars - Curiosity Rover
    ● を用いることで iOS 12 以降で実装された
    AR Quick Look 同等のことを “Web” で実現できる
    ● 1 source で iOS の AR Quick Look、Magic Leap の Helio にも対応可能
    ● Android は ARCore 1.9+ で AR モードで動作、iOS は iOS 12+ で動作する
    ○ ARCore 1.9 が入っていない場合は全画面表示になるだけ
    ○ ARCore 1.9 の OTA アップデートは始まっている模様
    ○ OTA を待てない場合は直接ダウンロードして adb でインストール可能
    ■ https://github.com/google-ar/arcore-android-sdk/releases/tag/v1.9.0

    View Slide

  14. Source code

    View Slide

  15. Difference between AR Quick Look and Scene Viewer
    AR Quick Look Scene Viewer
    File format support USDZ from OBJ, ABC, USD glTF 2.0/glb
    Animation ●Animations always loop
    ●Animations can be a mix of skeletal animation
    and transform animation
    ●Looping skeletal animation
    ●Looping rigid animation
    ●Looping transform animation
    ※複数のアニメーションが仕込まれている場合は最初のアニメーション
    のみ再生する
    Recommended limits ●Number of vertices: 100,000
    ●Number of materials: ?
    ●Max texture resolution: 2048 × 2048
    ●Bone (including non-weighted joints): ?
    ●Bone weights per vertex limit: ?
    ●UV: ?
    ●Model size: ?
    ●animation length: 10 sec
    ●Number of vertices: 30,000
    ●Number of materials: 10
    ●Max texture resolution: 2048 × 2048
    ●Bone (including non-weighted joints): 254 (hard limit)
    ●Bone weights per vertex limit: 4 (hard limit)
    ●UV: 1 UV per mesh (hard limit)
    ●Model size: 10 MB (bigger models may result in poor user
    experience)
    ●animation length: ?
    Texture support ●Any image format supported by iOS
    ●Albedo (RGB/RGBA), Metallic (Grayscale),
    Roughness (Grayscale), Normal (RGB), Ambient
    occlusion (Grayscale), Emissive (RGB)
    ●PNG format: PNG-24, indexed PNG-8. JPGs are preferred
    when there is no transparency to reduce for size.
    ●Color space: sRGB

    View Slide

  16. 16

    View Slide

  17. by the way, what’s new in Daydream?
    ● Google I/O 2019 において VR 関連セッションはなし
    ○ あっても良さそうな Daydream 6DoF 化の話は無し
    ○ あっても良さそうな Mirage Solo シースルーモードの話は無し
    ○ そもそも 2016: VR, 2017: VR, 2018: AR & VR, 2019: Augmented Reality
    ● Pixel 3a は Google の VR 向けプラットフォーム Daydream に対応しない
    ○ Pixel 3a は安価に抑えるために SoC が Snapdragon 670
    ○ 動作させるには 800 番台が必要
    ○ Pixel 3 XL と Galaxy S10 は大きさの関係で対応していない
    ● Daydream view を用いた VR コンテンツの展示はあったが……。 ref. Twitter
    言明はしていないが VR への注力をやめて AR 推しを強めていることは明らか

    View Slide

  18. ARcade

    View Slide


  19. ● Ticket ¥131,026
    ● Flight ✈ ≒ ¥200,000
    ● Hotel ≒ ¥100,000 ( 直前確保1泊25,000円 )
    ● Food 0 !!
    ● Drink 0 !!
    ● Goods 人それぞれ、自分はなんだかんだ $400 程度

    View Slide

  20. 20

    View Slide

  21. AR at Google I/O 2019
    AR 関連セッションは AR at Google I/O 2019 というプレイリストにまとめられています。
    1. What’s New in ARCore detail YouTube
    2. Designing AR Applications detail YouTube
    3. Increasing AR Realism with Lighting detail YouTube
    4. Developing the First AR Experience for Google Maps detail YouTube
    5. Augmenting Faces and Images detail YouTube
    6. AR as a Feature: How to Supercharge Products Using Augmented Reality detail YouTube

    View Slide

  22. AR at Google Design
    Designing AR Applications セッションの内容は AR at Google Design 内の Augmented Reality
    Design Guidelines にまとまっています。

    View Slide

  23. AR at Google Codelabs
    Google Codelabs に今回の Update を含む ARCore の資料がまとまっています。
    1. ARCore Cloud Anchors New
    2. Add 3D Models to The Web with New
    3. Augmented Faces New
    4. Introduction to ARCore in Unity
    5. Introduction to Sceneform
    6. ARCore Augmented Images New

    View Slide

  24. AR at Google Developers Blog
    Updates to ARCore Help You Build More Interactive & Realistic AR Experiences に今回の
    Update を含む ARCore の記事が書かれています。

    View Slide