Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スマホアプリで次世代ARを実現する ~ARKit/ARCoreの活用~

Cygames
January 09, 2019

スマホアプリで次世代ARを実現する ~ARKit/ARCoreの活用~

2018/12/15 Developers Boost

Cygames

January 09, 2019
Tweet

More Decks by Cygames

Other Decks in Technology

Transcript

  1. スマホアプリで次世代ARを実現する
    ~ARKit/ARCoreの活用
    2018/12/15
    株式会社Cygames
    Cygames Research 朝日田 卓哉
    1

    View full-size slide

  2. 自己紹介
    株式会社 Cygames
    Cygames Research所属
    Entertainment Engineer
    朝日田 卓哉
    大手広告代理店グループのデジタル系製作会社から、2018年7月にCygamesに
    入社。イベントにおけるUnityを使用したアプリ開発から、AWSで動作する大
    規模コンテナシステム等の開発まで幅広く行う。
    大きい画像欲しい
    2

    View full-size slide

  3. アジェンダ
    ・Cygames Researchについて
    ・次世代のARと現在のAR技術について
    ・ARKit・ARCoreを使い次世代のARを実現する方法
    3

    View full-size slide

  4. Cygames Researchについて
    基礎技術研究所
    世界にインパクトを与える技術、
    ユーザが感動する技術を生み出す
    研究
    国内外への積極的な対外発表
    4
    最新の
    理論確立
    研究の
    実用化
    優秀な人材
    の確保

    View full-size slide

  5. 研究内容
    Sensing-by-Overlaying 2016年に国際学会にて発表
    6
    S. Kurabayashi, H. Ishiyama, M. Kanai, "Sensing-by-Overlaying: A Practical Implementation of
    a Multiplayer Mixed-Reality Gaming System by Integrating a Dense Point Cloud and a Real-
    Time Camera," 2016 IEEE International Symposium on Multimedia (ISM), pp. 636-639, 2016.

    View full-size slide

  6. 次世代のARとは
    現実のオブジェクトに
    完璧に対応するAR
    キャラクターを完全に
    現実空間に溶け込ませる
    8
    © UTJ/UCL

    View full-size slide

  7. 既存のARとの違い
    • 平面検出はできるが完璧ではない
    • 遠すぎる物体は検出できない
    • 均一な壁は検知できない
    • 位置がずれる
    9
    © UTJ/UCL

    View full-size slide

  8. 次世代ARに必要なこと
    自分がどこにいるか
    物体がどこにあるか
    https://developers.google.com/ar/images/reference-hero.jpg
    CGを現実に溶け込ませる
    https://developers.google.com/ar/images/LightEstimation.jpg
    10
    https://developers.google.com/ar/images/EnvUnderstanding.jpg
    Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

    View full-size slide

  9. 次世代ARに必要なこと
    自分がどこにいるか
    物体がどこにあるか
    https://developers.google.com/ar/images/reference-hero.jpg
    https://developers.google.com/ar/images/EnvUnderstanding.jpg
    CGを現実に溶け込ませる
    https://developers.google.com/ar/images/LightEstimation.jpg
    11
    Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

    View full-size slide

  10. 自分がどこにいるか認識する
    OSが提供する機能を使用する
    対応OS
    ARKit iOS11.0〜
    ARCore Android7.0〜
    12
    https://developers.google.com/ar/images/reference-hero.jpg
    Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

    View full-size slide

  11. 自分がどこにいるか
    https://developers.google.com/ar/images/reference-hero.jpg
    次世代ARに必要なこと
    物体がどこにあるか
    https://developers.google.com/ar/images/EnvUnderstanding.jpg
    CGを現実に溶け込ませる
    https://developers.google.com/ar/images/LightEstimation.jpg
    13
    Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

    View full-size slide

  12. 物体がどこにあるかを認識する
    認識したい物体にマーカーを取り付け認識する
    14
    Francisco J. Romero-Ramirez, Rafael Muñoz-Salinas, Rafael Medina-Carnicer, “Speeded up detection of
    squared fiducial markers,” Image and Vision Computing, Volume 76, 2018, Pages 38-47, ISSN 0262-
    8856, DOI: 10.1016/j.imavis.2018.05.004.

    View full-size slide

  13. 物体がどこにあるかを認識する
    マーカーを認識している様子
    15
    [1,0,0,0]
    [0,1,0,0]
    [0,0,1,0]
    [0,0,0,1]
    [-1,2,0,1]
    [7,0,-5,1]
    [1,1,2,-3]
    [0,0,0,1]

    View full-size slide

  14. 実際に物体を認識するには
    認識させたい物体にマーカーを複数設置
    16
    求められた位置に移動させる

    View full-size slide

  15. 次世代ARに必要なこと
    自分がどこにいるか
    物体がどこにあるか
    https://developers.google.com/ar/images/reference-hero.jpg
    https://developers.google.com/ar/images/EnvUnderstanding.jpg
    CGを現実に溶け込ませる
    https://developers.google.com/ar/images/LightEstimation.jpg
    17
    Portions of this page are reproduced from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

    View full-size slide

  16. CGを現実世界に溶け込ませる
    位置関係を一致させる
    物の手前にいれば手前に
    奥にいれば隠れて見える
    18

    View full-size slide

  17. 現実と一致するCGを被せるとどうなるか
    普通のAR
    19
    © UTJ/UCL

    View full-size slide

  18. 現実と一致するCGを被せるとどうなるか
    普通のAR 現実と一致したCG
    20
    © UTJ/UCL

    View full-size slide

  19. 現実と一致するCGを被せるとどうなるか
    普通のAR 現実と一致したCG 重複箇所を透過
    21
    © UTJ/UCL

    View full-size slide

  20. まとめ
    Cygames Researchは、最高のコンテンツを作るため、
    日々研究を行っています
    実用化した次世代ARは現実に溶け込むAR
    次世代ARは、ARKit・ARCoreを使用し、
    OpenCVを組み合わせることで実現できます
    22

    View full-size slide