Slide 1

Slide 1 text

2019-05-13 Google I/O 2019 わいわい報告会 @ikkou #io19jp

Slide 2

Slide 2 text

チームマネージャー 開発者コミュニティ 運営責任者。 日本バーチャルリアリティ学会認定 技術者。 めぐるーまーで雛乃木神社氏子。 メルカリでは とか とか のアレコレを推進す るお仕事をしています。 諸星 一行

Slide 3

Slide 3 text

Table of Contents 1. AR at Keynote 2. What's new in ARCore w/ AR Sandbox 3. web component 4. Appendix 5. Resources

Slide 4

Slide 4 text

4

Slide 5

Slide 5 text

AR at Keynote Google Keynote (Google I/O'19) https://www.youtube.com/watch?v=lyRPyRKHO8M ● 00:01:25 Google I/O 2019 公式アプリに AR 機能 ref. Twitter ○ 今年の Keynote は最初の話題が AR !! ● 00:06:59 Google 検索の検索結果に 3D モデルを表示、現実世界に AR 表示 ○ Scene Viewer ● 00:12:07 Google Lens の超進化、翻訳精度の向上や動画が表示されるように ● 01:23:20 Google Maps の AR 機能が全 Pixel ユーザーに順次開放へ ref. Twitter

Slide 6

Slide 6 text

6

Slide 7

Slide 7 text

Augmented Faces ● Augmented Faces は ARCore 1.7 で実装された Depth カメラ無しで 468 点 の 3D メッシュを生成して AR フェイスマスクを実現するもの ● 今夏、iOS でも ARCore 同様にDepth カメラ無しで 468 点の 3D メッシュを生 成できるようになる ○ iOS の場合、インカメラに Depth センサーのついた iPhone X 以降の端末 が必要だったが、今後は Augmented Faces の iOS ラッパーを用いること でその制限が無くなる

Slide 8

Slide 8 text

Augmented Faces

Slide 9

Slide 9 text

Augmented Images ● トラッキングの精度が 30% 向上 Update ● 認識精度が 15% 向上 Update ● 複数画像のトラッキングが可能になった New!! ● 動いている画像のトラッキングが可能になった New!!

Slide 10

Slide 10 text

environmental HDR lighting ● TensorFlow-lite を用いた物凄い環境光推定

Slide 11

Slide 11 text

Scene Viewer ● Google 検索の検索結果に AR をもたらすもの ● iOS における AR Quick Look 同等のことを ARCore で実現する

Slide 12

Slide 12 text

12

Slide 13

Slide 13 text

● TL;DR ○ Try NASA Mars - Curiosity Rover ● を用いることで iOS 12 以降で実装された AR Quick Look 同等のことを “Web” で実現できる ● 1 source で iOS の AR Quick Look、Magic Leap の Helio にも対応可能 ● Android は ARCore 1.9+ で AR モードで動作、iOS は iOS 12+ で動作する ○ ARCore 1.9 が入っていない場合は全画面表示になるだけ ○ ARCore 1.9 の OTA アップデートは始まっている模様 ○ OTA を待てない場合は直接ダウンロードして adb でインストール可能 ■ https://github.com/google-ar/arcore-android-sdk/releases/tag/v1.9.0

Slide 14

Slide 14 text

Source code

Slide 15

Slide 15 text

Difference between AR Quick Look and Scene Viewer AR Quick Look Scene Viewer File format support USDZ from OBJ, ABC, USD glTF 2.0/glb Animation ●Animations always loop ●Animations can be a mix of skeletal animation and transform animation ●Looping skeletal animation ●Looping rigid animation ●Looping transform animation ※複数のアニメーションが仕込まれている場合は最初のアニメーション のみ再生する Recommended limits ●Number of vertices: 100,000 ●Number of materials: ? ●Max texture resolution: 2048 × 2048 ●Bone (including non-weighted joints): ? ●Bone weights per vertex limit: ? ●UV: ? ●Model size: ? ●animation length: 10 sec ●Number of vertices: 30,000 ●Number of materials: 10 ●Max texture resolution: 2048 × 2048 ●Bone (including non-weighted joints): 254 (hard limit) ●Bone weights per vertex limit: 4 (hard limit) ●UV: 1 UV per mesh (hard limit) ●Model size: 10 MB (bigger models may result in poor user experience) ●animation length: ? Texture support ●Any image format supported by iOS ●Albedo (RGB/RGBA), Metallic (Grayscale), Roughness (Grayscale), Normal (RGB), Ambient occlusion (Grayscale), Emissive (RGB) ●PNG format: PNG-24, indexed PNG-8. JPGs are preferred when there is no transparency to reduce for size. ●Color space: sRGB

Slide 16

Slide 16 text

16

Slide 17

Slide 17 text

by the way, what’s new in Daydream? ● Google I/O 2019 において VR 関連セッションはなし ○ あっても良さそうな Daydream 6DoF 化の話は無し ○ あっても良さそうな Mirage Solo シースルーモードの話は無し ○ そもそも 2016: VR, 2017: VR, 2018: AR & VR, 2019: Augmented Reality ● Pixel 3a は Google の VR 向けプラットフォーム Daydream に対応しない ○ Pixel 3a は安価に抑えるために SoC が Snapdragon 670 ○ 動作させるには 800 番台が必要 ○ Pixel 3 XL と Galaxy S10 は大きさの関係で対応していない ● Daydream view を用いた VR コンテンツの展示はあったが……。 ref. Twitter 言明はしていないが VR への注力をやめて AR 推しを強めていることは明らか

Slide 18

Slide 18 text

ARcade

Slide 19

Slide 19 text

● Ticket ¥131,026 ● Flight ✈ ≒ ¥200,000 ● Hotel ≒ ¥100,000 ( 直前確保1泊25,000円 ) ● Food 0 !! ● Drink 0 !! ● Goods 人それぞれ、自分はなんだかんだ $400 程度

Slide 20

Slide 20 text

20

Slide 21

Slide 21 text

AR at Google I/O 2019 AR 関連セッションは AR at Google I/O 2019 というプレイリストにまとめられています。 1. What’s New in ARCore detail YouTube 2. Designing AR Applications detail YouTube 3. Increasing AR Realism with Lighting detail YouTube 4. Developing the First AR Experience for Google Maps detail YouTube 5. Augmenting Faces and Images detail YouTube 6. AR as a Feature: How to Supercharge Products Using Augmented Reality detail YouTube

Slide 22

Slide 22 text

AR at Google Design Designing AR Applications セッションの内容は AR at Google Design 内の Augmented Reality Design Guidelines にまとまっています。

Slide 23

Slide 23 text

AR at Google Codelabs Google Codelabs に今回の Update を含む ARCore の資料がまとまっています。 1. ARCore Cloud Anchors New 2. Add 3D Models to The Web with New 3. Augmented Faces New 4. Introduction to ARCore in Unity 5. Introduction to Sceneform 6. ARCore Augmented Images New

Slide 24

Slide 24 text

AR at Google Developers Blog Updates to ARCore Help You Build More Interactive & Realistic AR Experiences に今回の Update を含む ARCore の記事が書かれています。