What's new in ARCore at Google IO 2019

2019-05-13 Google I/O 2019 わいわい報告会
https://mercaridev.connpass.com/event/129551/

Transcript

1. 2019-05-13 Google I/O 2019 わいわい報告会 @ikkou #io19jp
2. チームマネージャー 開発者コミュニティ 運営責任者。 日本バーチャルリアリティ学会認定 技術者。 めぐるーまーで雛乃木神社氏子。 メルカリでは とか とか のアレコレを推進す るお仕事をしています。 諸星 一行
3. Table of Contents 1. AR at Keynote 2. What's new in ARCore w/ AR Sandbox 3. <model-viewer> web component 4. Appendix 5. Resources
5. AR at Keynote Google Keynote (Google I/O'19) https://www.youtube.com/watch?v=lyRPyRKHO8M • 00:01:25　Google I/O 2019 公式アプリに AR 機能 ref. Twitter ◦ 今年の Keynote は最初の話題が AR !! • 00:06:59　Google 検索の検索結果に 3D モデルを表示、現実世界に AR 表示 ◦ Scene Viewer • 00:12:07　Google Lens の超進化、翻訳精度の向上や動画が表示されるように • 01:23:20　Google Maps の AR 機能が全 Pixel ユーザーに順次開放へ ref. Twitter
7. Augmented Faces • Augmented Faces は ARCore 1.7 で実装された Depth カメラ無しで 468 点 の 3D メッシュを生成して AR フェイスマスクを実現するもの • 今夏、iOS でも ARCore 同様にDepth カメラ無しで 468 点の 3D メッシュを生 成できるようになる ◦ iOS の場合、インカメラに Depth センサーのついた iPhone X 以降の端末 が必要だったが、今後は Augmented Faces の iOS ラッパーを用いること でその制限が無くなる
8. Augmented Faces
9. Augmented Images • トラッキングの精度が 30% 向上 Update • 認識精度が 15% 向上 Update • 複数画像のトラッキングが可能になった New!! • 動いている画像のトラッキングが可能になった New!!
10. environmental HDR lighting • TensorFlow-lite を用いた物凄い環境光推定
11. Scene Viewer • Google 検索の検索結果に AR をもたらすもの • iOS における AR Quick Look 同等のことを ARCore で実現する
13. <model-viewer> • TL;DR ◦ Try NASA Mars - Curiosity Rover • <model-viewer> を用いることで iOS 12 以降で実装された AR Quick Look 同等のことを “Web” で実現できる • 1 source で iOS の AR Quick Look、Magic Leap の Helio にも対応可能 • Android は ARCore 1.9+ で AR モードで動作、iOS は iOS 12+ で動作する ◦ ARCore 1.9 が入っていない場合は全画面表示になるだけ ◦ ARCore 1.9 の OTA アップデートは始まっている模様 ◦ OTA を待てない場合は直接ダウンロードして adb でインストール可能 ▪ https://github.com/google-ar/arcore-android-sdk/releases/tag/v1.9.0
14. Source code
15. Difference between AR Quick Look and Scene Viewer AR Quick Look Scene Viewer File format support USDZ from OBJ, ABC, USD glTF 2.0/glb Animation •Animations always loop •Animations can be a mix of skeletal animation and transform animation •Looping skeletal animation •Looping rigid animation •Looping transform animation ※複数のアニメーションが仕込まれている場合は最初のアニメーション のみ再生する Recommended limits •Number of vertices: 100,000 •Number of materials: ? •Max texture resolution: 2048 × 2048 •Bone (including non-weighted joints): ? •Bone weights per vertex limit: ? •UV: ? •Model size: ? •animation length: 10 sec •Number of vertices: 30,000 •Number of materials: 10 •Max texture resolution: 2048 × 2048 •Bone (including non-weighted joints): 254 (hard limit) •Bone weights per vertex limit: 4 (hard limit) •UV: 1 UV per mesh (hard limit) •Model size: 10 MB (bigger models may result in poor user experience) •animation length: ? Texture support •Any image format supported by iOS •Albedo (RGB/RGBA), Metallic (Grayscale), Roughness (Grayscale), Normal (RGB), Ambient occlusion (Grayscale), Emissive (RGB) •PNG format: PNG-24, indexed PNG-8. JPGs are preferred when there is no transparency to reduce for size. •Color space: sRGB
17. by the way, what’s new in Daydream? • Google I/O 2019 において VR 関連セッションはなし ◦ あっても良さそうな Daydream 6DoF 化の話は無し ◦ あっても良さそうな Mirage Solo シースルーモードの話は無し ◦ そもそも 2016: VR, 2017: VR, 2018: AR & VR, 2019: Augmented Reality • Pixel 3a は Google の VR 向けプラットフォーム Daydream に対応しない ◦ Pixel 3a は安価に抑えるために SoC が Snapdragon 670 ◦ 動作させるには 800 番台が必要 ◦ Pixel 3 XL と Galaxy S10 は大きさの関係で対応していない • Daydream view を用いた VR コンテンツの展示はあったが……。 ref. Twitter 言明はしていないが VR への注力をやめて AR 推しを強めていることは明らか
18. ARcade
19. • Ticket ¥131,026 • Flight ✈ ≒ ¥200,000 • Hotel ≒ ¥100,000 ( 直前確保1泊25,000円 ) • Food 0 !! • Drink 0 !! • Goods 人それぞれ、自分はなんだかんだ $400 程度
21. AR at Google I/O 2019 AR 関連セッションは AR at Google I/O 2019 というプレイリストにまとめられています。 1. What’s New in ARCore detail YouTube 2. Designing AR Applications detail YouTube 3. Increasing AR Realism with Lighting detail YouTube 4. Developing the First AR Experience for Google Maps detail YouTube 5. Augmenting Faces and Images detail YouTube 6. AR as a Feature: How to Supercharge Products Using Augmented Reality detail YouTube
22. AR at Google Design Designing AR Applications セッションの内容は AR at Google Design 内の Augmented Reality Design Guidelines にまとまっています。
23. AR at Google Codelabs Google Codelabs に今回の Update を含む ARCore の資料がまとまっています。 1. ARCore Cloud Anchors New 2. Add 3D Models to The Web with <model-viewer> New 3. Augmented Faces New 4. Introduction to ARCore in Unity 5. Introduction to Sceneform 6. ARCore Augmented Images New
24. AR at Google Developers Blog Updates to ARCore Help You Build More Interactive & Realistic AR Experiences に今回の Update を含む ARCore の記事が書かれています。