Upgrade to Pro — share decks privately, control downloads, hide ads and more …

プリキュア番組連動スマートフォンアプリにおけるUnityや認識技術の活用

 プリキュア番組連動スマートフォンアプリにおけるUnityや認識技術の活用

テレビアニメ「プリキュアシリーズ」の番組連動スマートフォンアプリを、ゲームエンジン「Unity」を用いて自社開発した。Unityを用いることで、プリキュアの3Dモデルを仮想空間上に自由に配置して一緒に写真を撮ることができるなど、複雑で多彩な表現や演出が可能となった。また、UXの改善や視聴者動向の分析のために、音声認識や画像認識、来店判定を行うiBeacon認識機能など、様々な認識機能を搭載した。

Eiji KOMINAMI / 小南英司

November 17, 2017
Tweet

More Decks by Eiji KOMINAMI / 小南英司

Other Decks in Technology

Transcript

  1. 3 プリキュア応援アプリ画⾯ イベント連動 番組連動応援 新着情報 動画撮影投稿 写真撮影 映画, ストアとの連携 番組を⾒ながら応援

    エンディングダンス 3Dモデルと写真撮影 次回予告など 3Dモデル選択 カメラ撮影 アプリTOP カメラ撮影
  2. 5 本アプリの技術ポイント •  ゲームエンジンUnityの利⽤ –  ⼈気ゲームの開発にも⽤いられているゲームエンジン (例 ドラゴンクエスト, 魔法使いと⿊猫のウィズ –  3DやARなど多彩な表現を⾏うことが可能

    •  ⼀般的なアプリでは、テキストと画像による表現のみ •  多くの認識技術を活⽤ –  ⾳声認識による視聴判定 –  iBeacon(Bluetooth)を⽤いたチェックイン機能 –  画像認識によるチェックイン機能
  3. 6 ゲームエンジンUnity •  仮想空間(x, y, z)にObjectを配置 –  3Dモデル, 光源, カメラなど

    •  Scriptに動作を記述し各Objectを制御 –  対象ObjectとScriptを紐付け
  4. 7 本アプリにおけるUnity構成 ARカメラ 3D空間の無限遠に カメラ映像を投影する 特殊なカメラ キラキラ 3Dモデル出現時に キラキラ光る CoreBehaviourClass

    ・3Dモデルのダウンロード, 保存 ・3Dモデルの表⽰制御 ・タッチイベント検知 KiraKiraBehaviourClass ・キラキラの表⽰制御 ModelActionListennerClass ・3Dモデルの向き, 位置, ⼤きさの変更 ・写真撮影 3Dモデル ユーザが選択した プリキュア3Dモデル カメラ映像 ARカメラが投影
  5. 11 認識技術の活⽤ •  ユーザビリティの改善 –  ユーザに難しい操作を⾏わせる必要がない •  「かざすだけ」で認識 •  従来のキーワード⼊⼒やQRコードの読み込みは、

    ボタンクリックや読み込みに多くの⼿間が掛かる •  放送/Webと実世界との連携が可能に –  リアルタイム視聴判定 –  チェックイン, イベント参加判定 •  複雑な制御が可能に
  6. •  アプリプログラムに⾳声認識SDKを組み込み –  リアルタイムフィンガープリント認識技術 •  本アプリにおける活⽤ 1.  CMSから⽣成された制御ファイルを元にオンエア時のみ認識画⾯が開く 2.  ⾳声認識を⾏い、局識別コードがEXであれば視聴OK

    3.  新規プリキュアモデルがアプリにダウンロードされる 12 ⾳声認識による視聴判定 オンエア ⾳声 ⾳声認識 サーバ 局識別コード ⾳声認識SDK オンエア⾳声 特徴点マッチング ⾳声特徴点データ
  7. 13 iBeaconを⽤いたチェックイン機能 •  iBeacon/BLEとは –  Bluetooth Low Enegy •  低電⼒で通信可能なBluetooth規格

    –  パケット内に含まれるID情報を取得して信号を判別することが可能 –  最近発売のスマートフォンの⼤部分がBLE対応 •  本アプリにおけるiBeaconチェックイン機能 1.  プリティストア梅⽥本店にiBeacon発信機(⾃社開発)を設置 2.  iBeacon信号をアプリで受信すると、来店ポイントを加算 ⾶距離:50m程度 プリティストア ⼤阪梅⽥本店 iBeacon発信機 (⾃社開発) [iBeacon信号] proximity UUID major version minor version UUIDマッチング
  8. 画像認識を⽤いたチェックイン機能 •  Vuforia SDK –  ライセンス不要で使⽤可能なARエンジン –  Unityプラグインが提供されており、Unity上で動作可能 –  画像の特徴点データを⽣成し、カメラ画像とマッチング

    •  本アプリにおける画像認識 –  認識⽤画像(ポスター)の特徴点データを⽣成 –  認識⽤画像(ポスター)を店内に掲⽰ –  ポスターにアプリをかざすと特徴点データとマッチング, 来店ポイントを加算 特徴点データ 画像認識SDK 特徴点マッチング 変換 dat xml カメラ 撮影
  9. 16 まとめ •  バーチャルリアリティ分野へ⾼まる注⽬ –  VR(仮想現実), AR(拡張技術)の進展 –  ヘッドマウントディスプレイの普及 • 

    Oculus Rift, Google Glassなど •  センシング技術の発達 –  カメラ, マイク, GPS, 加速度センサ, ⼼拍センサ, ジャイロセンサ –  IoT(Internet of Things), ウェアラブルデバイスの普及 16 Unity+Vuforia のノウハウ, 知⾒を蓄積 センサを通じて視聴者と繋がる アプリや番組演出で利⽤する価値⼤