プリキュア番組連動スマートフォンアプリにおけるUnityや認識技術の活用

テレビアニメ「プリキュアシリーズ」の番組連動スマートフォンアプリを、ゲームエンジン「Unity」を用いて自社開発した。Unityを用いることで、プリキュアの3Dモデルを仮想空間上に自由に配置して一緒に写真を撮ることができるなど、複雑で多彩な表現や演出が可能となった。また、UXの改善や視聴者動向の分析のために、音声認識や画像認識、来店判定を行うiBeacon認識機能など、様々な認識機能を搭載した。

Transcript

1. プリキュア番組連動アプリにおける Unityや認識技術の活⽤ 朝⽇放送株式会社 技術局開発部 ⼩南英司
2. 2 プリキュア応援アプリ •  放送と通信の連携を⽬指し、2013年にスタート •  リアルタイム視聴を促すために、 「オンエアを⾒ないと」動かない機能を実装 •  iOS, Android共に社員による⾃社開発（2014年） 累計36万ダウンロード 毎週⽇曜朝に1万⼈前後の連動企画参加者
3. 3 プリキュア応援アプリ画⾯ イベント連動 番組連動応援 新着情報 動画撮影投稿 写真撮影 映画, ストアとの連携 番組を⾒ながら応援 エンディングダンス 3Dモデルと写真撮影 次回予告など 3Dモデル選択 カメラ撮影 アプリTOP カメラ撮影
4. 4 プリキュア応援アプリ画⾯ 写真保存 SNS連携 ライブラリに保存 写真をSNSで公開 撮影した写真 写真保存投稿 イベント参加 店舗連動 来店ポイントの獲得
5. 5 本アプリの技術ポイント •  ゲームエンジンUnityの利⽤ –  ⼈気ゲームの開発にも⽤いられているゲームエンジン （例 ドラゴンクエスト, 魔法使いと⿊猫のウィズ –  3DやARなど多彩な表現を⾏うことが可能 •  ⼀般的なアプリでは、テキストと画像による表現のみ •  多くの認識技術を活⽤ –  ⾳声認識による視聴判定 –  iBeacon（Bluetooth）を⽤いたチェックイン機能 –  画像認識によるチェックイン機能
6. 6 ゲームエンジンUnity •  仮想空間（x, y, z）にObjectを配置 –  3Dモデル, 光源, カメラなど •  Scriptに動作を記述し各Objectを制御 –  対象ObjectとScriptを紐付け
7. 7 本アプリにおけるUnity構成 ARカメラ 3D空間の無限遠に カメラ映像を投影する 特殊なカメラ キラキラ 3Dモデル出現時に キラキラ光る CoreBehaviourClass ・3Dモデルのダウンロード, 保存 ・3Dモデルの表⽰制御 ・タッチイベント検知 KiraKiraBehaviourClass ・キラキラの表⽰制御 ModelActionListennerClass ・3Dモデルの向き, 位置, ⼤きさの変更 ・写真撮影 3Dモデル ユーザが選択した プリキュア3Dモデル カメラ映像 ARカメラが投影
8. 8 本アプリにおけるUnity構成 プリキュア3Dモデル ⾃⼰発光（Self-SelfIllum） タッチイベントに沿って拡⼤縮⼩, 回転 キラキラ ARカメラ 平⾯オブジェクト（Plane） 無限遠にカメラ映像を投影 3Dモデルの⼤きさ, 位置, 向きを画⾯タッチで変更可能
9. 9 本アプリにおけるUnity構成 3Dモデル カメラ映像 ＋ 完成した写真 ➡︎ 3Dモデルの⼤きさ, 位置, 向きを画⾯タッチで変更可能
10. 10 AssetBundleの利⽤とダウンロード •  AssetBundle –  サーバ上のUnityアーカイブファイルをダウンロードすることで、 Unityの機能やオブジェクトを拡張する仕組み 番組を視聴したユーザにのみ プリキュア3Dモデルを配布することが可能 App Store Google Play 申請 アップロード AssetBundle ダウンロード AssetBundle形式 fbx形式 [3Dモデル] [アプリ本体] ※3Dモデル内蔵せず フォーマット変換 3Dモデル
11. 11 認識技術の活⽤ •  ユーザビリティの改善 –  ユーザに難しい操作を⾏わせる必要がない •  「かざすだけ」で認識 •  従来のキーワード⼊⼒やQRコードの読み込みは、 ボタンクリックや読み込みに多くの⼿間が掛かる •  放送/Webと実世界との連携が可能に –  リアルタイム視聴判定 –  チェックイン, イベント参加判定 •  複雑な制御が可能に
12. •  アプリプログラムに⾳声認識SDKを組み込み –  リアルタイムフィンガープリント認識技術 •  本アプリにおける活⽤ 1.  CMSから⽣成された制御ファイルを元にオンエア時のみ認識画⾯が開く 2.  ⾳声認識を⾏い、局識別コードがEXであれば視聴OK 3.  新規プリキュアモデルがアプリにダウンロードされる 12 ⾳声認識による視聴判定 オンエア ⾳声 ⾳声認識 サーバ 局識別コード ⾳声認識SDK オンエア⾳声 特徴点マッチング ⾳声特徴点データ
13. 13 iBeaconを⽤いたチェックイン機能 •  iBeacon/BLEとは –  Bluetooth Low Enegy •  低電⼒で通信可能なBluetooth規格 –  パケット内に含まれるID情報を取得して信号を判別することが可能 –  最近発売のスマートフォンの⼤部分がBLE対応 •  本アプリにおけるiBeaconチェックイン機能 1.  プリティストア梅⽥本店にiBeacon発信機（⾃社開発）を設置 2.  iBeacon信号をアプリで受信すると、来店ポイントを加算 ⾶距離:50m程度 プリティストア ⼤阪梅⽥本店 iBeacon発信機 (⾃社開発) [iBeacon信号] proximity UUID major version minor version UUIDマッチング
14. 画像認識を⽤いたチェックイン機能 •  Vuforia SDK –  ライセンス不要で使⽤可能なARエンジン –  Unityプラグインが提供されており、Unity上で動作可能 –  画像の特徴点データを⽣成し、カメラ画像とマッチング •  本アプリにおける画像認識 –  認識⽤画像（ポスター）の特徴点データを⽣成 –  認識⽤画像（ポスター）を店内に掲⽰ –  ポスターにアプリをかざすと特徴点データとマッチング, 来店ポイントを加算 特徴点データ 画像認識SDK 特徴点マッチング 変換 dat xml カメラ 撮影
15. 画像認識を⽤いたチェックイン機能
16. 16 まとめ •  バーチャルリアリティ分野へ⾼まる注⽬ –  VR（仮想現実）, AR（拡張技術）の進展 –  ヘッドマウントディスプレイの普及 •  Oculus Rift, Google Glassなど •  センシング技術の発達 –  カメラ, マイク, GPS, 加速度センサ, ⼼拍センサ, ジャイロセンサ –  IoT（Internet of Things）, ウェアラブルデバイスの普及 16 Unity+Vuforia のノウハウ, 知⾒を蓄積 センサを通じて視聴者と繋がる アプリや番組演出で利⽤する価値⼤
17. 17 Go！プリンセスプリキュア 応援アプリ