未来のショッピング体験と 個人的注目デバイス Future Shopping Experience & Focused Devices AWE USA 2019 Recap at Mercari 1

Introduction Nakaji Kohki / Lyrica-chan Mercari, Inc. R4D XR Engineer Game Creator from Nagoya Virtual Reality Specialist Books: 技術評論社『VRエンジニア養成読本』 Works: 『Crevasse』『至近距離ガールVR』 Twitter: @nkjzm

未来のショッピング体験を出展した話 Story exhibited future shopping experience 3 Today’s topics 01 個人的注目デバイス Focused Devices 02

未来のショッピング体験を出展した話 Story exhibited future shopping experience

Contents 5 Looking Glassを使用し、メルカリ アプリと連携して商品を3Dで観るこ とができるサービスのPoC A PoC service that allows you to watch products in 3D by using the Looking Glass and in conjunction with the Mercari App.

Background 6 メルカリの商品情報は「2D画像 + テ キスト」だが、ユーザーが3Dデータ を生成できれば靴の裏側や汚れ具 合などを詳細に確認出来るようにな る Mercari product information is "2D image + text", but if users can generate 3D data, they will be able to check the back side of the shoe and the degree of dirt etc. in detail → Looking Glassを採用 We Selected the Looking Glass

What’s the Looking Glass? 裸眼立体視ができる”3Dディスプレイ” This is a “3D DISPLAY” that can perform autostereoscopic viewing 7 Ref: https://lookingglassfactory.com/

Transparent screen (NOT Hologram) 8 Ref: http://blog.mobilehackerz.jp/2016/10/899volume.html 2D画像は透明なスクリーンに表示されるため、表示される画像は平面 2D image is displayed on a transparent screen. So, the displayed image is planar.

2D画像は空中で結像される ため、空中に表示される画像 は平面 2D image is imaged in the air. Again, the image displayed in the air is a plane. Pepper's ghost using Half Mirror 9 Ref: http://blog.mobilehackerz.jp/2016/10/899volume.html

The Looking Glass is “3D DISPLAY” 10 Ref: http://www.naruhodo3d.jp/a_page02.html Looking Glassは両眼視差を生み出すことができる Because the Looking Glass can make Binocular Disparity.

Binocular Disparity using “Lenticular” 11 Ref: http://www.yosey.co.jp/service/lenti/lenti_mechanism/ 視点により異なる見え方になる Different places visible from the viewpoint.

Concept for exhibition 12 ”実在感のある3Dビューワー” 3D Viewer with presence 商品の3Dデータを見る時、どういっ た形でみられるのが最適化を考え、 実装した When looking at 3D data of a product, what kind of form is seen in consideration of optimization and implemented

Architecture 13 Mercari App Viewer GCP Server Looking Glass PC Mercari API Leap Motion

How to improve the experience 14 メルカリアプリとの連携感を重視 Emphasis on the sense of cooperation with the Melkari App ハンドジェスチャーが無くても商品を 詳細に見られるように I was able to see the product in detail without the hand gesture Viewer単体でも快適な操作性 Comfortable operation even with Viewer alone

Reaction & impressions 15 1. Looking Glassの展示と勘違いされた It was mistaken for the exhibition of the Looking Glass 2. 見せ方に関する評価は高かった Evaluation about how to show was high 3. 3D Scanに関する質問が多かった Many questions about 3D scan 本日展示します!!! This is on view today.

個人的注目デバイス Focused devices

Focals by North 17 度付き・度なしレンズに対応したホロ グラフィックスマートグラス smart glasses with a holographic display - available with Prescription and Non-prescription lenses

Focals by North 18 - スマートグラス - 圧倒的自然な見た目 - 軽量 (61.6～66g) - Oculus Goが468g - 平均的なメガネが35g - 網膜投影型 - 自分以外から見えない - 視力に寄らず見える - 視線をずらすと見えない - 輝度が高い - $599 (+ taxで$650くらい)

Loop 19 - Focals専用コントローラー - ジョイスティック入力が可能 - 左右上下の4方向 - 押し込み - サイズ展開 (10種くらい?) - IP66 - Ingress Protectionという工業規格 - 防塵性能最高 - 防水性能は水没以外は大丈夫

Fitting 20 - 特設スタジオで フィッティングが必 要 - 頭部3Dスキャン - つるを曲げて、視 線位置の調整

Connection with Alexa 21 - Amazonの音声認識エンジン Alexatとの連携が可能 - Skill(機能)を追加することで出 来ることが増えていく - 移動中にも使えるので相性◎

Varjo VR-1 22 - 「人間の目の解像度」を謳う VRHMD - 片目毎に2枚のディスプレイの 固定中心窩レンダリング Fixed Foveated Rendering - 背面はVive Pro相当 - 60PPD - 60以上で区別が困難 - Oculus Goが15PPD - Lighthouse(Valve)を利用 - $6,000 (約66万円)

Varjo XR-1 23 - VR-1の後継機 - 基本的な部分は同じ - ビデオシースルー機能が追加 - 「被った瞬間に被ってないと思っ た」 - スマホの文字が読めた - 遅延は動かなければ気が付か ないレベル - 奥行きのズレも気にならなかっ た https://twitter.com/varjodotcom/status/1134067252402237442

まとめ Summary

まとめ 25 - 未来のショッピング体験を出展した話 - Looking Glassで3Dアイテムビューワーを作った - 初めての海外出展でリアルな反応が見られた - 個人的注目デバイス - Focals by North - 見た目の自然さが最強 - 網膜投影式、音声インターフェースが強力 - Varjo XR-1 - ビデオシースルーの最終形を感じた - AR/MR/VRの境界が曖昧な感じが最高だった

26

27