スマホアプリで次世代ARを実現する ～ARKit/ARCoreの活用 2018/12/15 株式会社Cygames Cygames Research 朝日田 卓哉 1

自己紹介 株式会社 Cygames Cygames Research所属 Entertainment Engineer 朝日田 卓哉 大手広告代理店グループのデジタル系製作会社から、2018年7月にCygamesに 入社。イベントにおけるUnityを使用したアプリ開発から、AWSで動作する大 規模コンテナシステム等の開発まで幅広く行う。 大きい画像欲しい 2

アジェンダ ・Cygames Researchについて ・次世代のARと現在のAR技術について ・ARKit・ARCoreを使い次世代のARを実現する方法 3

Cygames Researchについて 基礎技術研究所 世界にインパクトを与える技術、 ユーザが感動する技術を生み出す 研究 国内外への積極的な対外発表 4 最新の 理論確立 研究の 実用化 優秀な人材 の確保

5

研究内容 Sensing-by-Overlaying 2016年に国際学会にて発表 6 S. Kurabayashi, H. Ishiyama, M. Kanai, "Sensing-by-Overlaying: A Practical Implementation of a Multiplayer Mixed-Reality Gaming System by Integrating a Dense Point Cloud and a Real- Time Camera," 2016 IEEE International Symposium on Multimedia (ISM), pp. 636-639, 2016.

7 © UTJ/UCL

次世代のARとは 現実のオブジェクトに 完璧に対応するAR キャラクターを完全に 現実空間に溶け込ませる 8 © UTJ/UCL

既存のARとの違い • 平面検出はできるが完璧ではない • 遠すぎる物体は検出できない • 均一な壁は検知できない • 位置がずれる 9 © UTJ/UCL

次世代ARに必要なこと 自分がどこにいるか 物体がどこにあるか https://developers.google.com/ar/images/reference-hero.jpg CGを現実に溶け込ませる https://developers.google.com/ar/images/LightEstimation.jpg 10 https://developers.google.com/ar/images/EnvUnderstanding.jpg Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

次世代ARに必要なこと 自分がどこにいるか 物体がどこにあるか https://developers.google.com/ar/images/reference-hero.jpg https://developers.google.com/ar/images/EnvUnderstanding.jpg CGを現実に溶け込ませる https://developers.google.com/ar/images/LightEstimation.jpg 11 Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

自分がどこにいるか認識する OSが提供する機能を使用する 対応OS ARKit iOS11.0〜 ARCore Android7.0〜 12 https://developers.google.com/ar/images/reference-hero.jpg Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

自分がどこにいるか https://developers.google.com/ar/images/reference-hero.jpg 次世代ARに必要なこと 物体がどこにあるか https://developers.google.com/ar/images/EnvUnderstanding.jpg CGを現実に溶け込ませる https://developers.google.com/ar/images/LightEstimation.jpg 13 Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

物体がどこにあるかを認識する 認識したい物体にマーカーを取り付け認識する 14 Francisco J. Romero-Ramirez, Rafael Muñoz-Salinas, Rafael Medina-Carnicer, “Speeded up detection of squared fiducial markers,” Image and Vision Computing, Volume 76, 2018, Pages 38-47, ISSN 0262- 8856, DOI: 10.1016/j.imavis.2018.05.004.

物体がどこにあるかを認識する マーカーを認識している様子 15 [1,0,0,0] [0,1,0,0] [0,0,1,0] [0,0,0,1] [-1,2,0,1] [7,0,-5,1] [1,1,2,-3] [0,0,0,1]

実際に物体を認識するには 認識させたい物体にマーカーを複数設置 16 求められた位置に移動させる

次世代ARに必要なこと 自分がどこにいるか 物体がどこにあるか https://developers.google.com/ar/images/reference-hero.jpg https://developers.google.com/ar/images/EnvUnderstanding.jpg CGを現実に溶け込ませる https://developers.google.com/ar/images/LightEstimation.jpg 17 Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

CGを現実世界に溶け込ませる 位置関係を一致させる 物の手前にいれば手前に 奥にいれば隠れて見える 18

現実と一致するCGを被せるとどうなるか 普通のAR 19 © UTJ/UCL

現実と一致するCGを被せるとどうなるか 普通のAR 現実と一致したCG 20 © UTJ/UCL

現実と一致するCGを被せるとどうなるか 普通のAR 現実と一致したCG 重複箇所を透過 21 © UTJ/UCL

まとめ Cygames Researchは、最高のコンテンツを作るため、 日々研究を行っています 実用化した次世代ARは現実に溶け込むAR 次世代ARは、ARKit・ARCoreを使用し、 OpenCVを組み合わせることで実現できます 22