テレビアニメ「プリキュアシリーズ」の番組連動スマートフォンアプリを、ゲームエンジン「Unity」を用いて自社開発した。Unityを用いることで、プリキュアの3Dモデルを仮想空間上に自由に配置して一緒に写真を撮ることができるなど、複雑で多彩な表現や演出が可能となった。また、UXの改善や視聴者動向の分析のために、音声認識や画像認識、来店判定を行うiBeacon認識機能など、様々な認識機能を搭載した。
プリキュア番組連動アプリにおけるUnityや認識技術の活⽤朝⽇放送株式会社 技術局開発部 ⼩南英司
View Slide
2プリキュア応援アプリ• 放送と通信の連携を⽬指し、2013年にスタート• リアルタイム視聴を促すために、「オンエアを⾒ないと」動かない機能を実装• iOS, Android共に社員による⾃社開発（2014年）累計36万ダウンロード毎週⽇曜朝に1万⼈前後の連動企画参加者
3プリキュア応援アプリ画⾯イベント連動番組連動応援新着情報動画撮影投稿写真撮影映画, ストアとの連携番組を⾒ながら応援エンディングダンス3Dモデルと写真撮影次回予告など3Dモデル選択カメラ撮影アプリTOP カメラ撮影
4プリキュア応援アプリ画⾯写真保存SNS連携ライブラリに保存写真をSNSで公開撮影した写真写真保存投稿 イベント参加店舗連動来店ポイントの獲得
5本アプリの技術ポイント• ゲームエンジンUnityの利⽤– ⼈気ゲームの開発にも⽤いられているゲームエンジン（例 ドラゴンクエスト, 魔法使いと⿊猫のウィズ– 3DやARなど多彩な表現を⾏うことが可能• ⼀般的なアプリでは、テキストと画像による表現のみ• 多くの認識技術を活⽤– ⾳声認識による視聴判定– iBeacon（Bluetooth）を⽤いたチェックイン機能– 画像認識によるチェックイン機能
6ゲームエンジンUnity• 仮想空間（x, y, z）にObjectを配置– 3Dモデル, 光源, カメラなど• Scriptに動作を記述し各Objectを制御– 対象ObjectとScriptを紐付け
7本アプリにおけるUnity構成ARカメラ3D空間の無限遠にカメラ映像を投影する特殊なカメラキラキラ3Dモデル出現時にキラキラ光るCoreBehaviourClass・3Dモデルのダウンロード, 保存・3Dモデルの表⽰制御・タッチイベント検知KiraKiraBehaviourClass・キラキラの表⽰制御ModelActionListennerClass・3Dモデルの向き, 位置, ⼤きさの変更・写真撮影3Dモデルユーザが選択したプリキュア3Dモデルカメラ映像ARカメラが投影
8本アプリにおけるUnity構成プリキュア3Dモデル⾃⼰発光（Self-SelfIllum）タッチイベントに沿って拡⼤縮⼩, 回転キラキラARカメラ平⾯オブジェクト（Plane）無限遠にカメラ映像を投影3Dモデルの⼤きさ, 位置, 向きを画⾯タッチで変更可能
9本アプリにおけるUnity構成3Dモデルカメラ映像＋完成した写真➡︎3Dモデルの⼤きさ, 位置, 向きを画⾯タッチで変更可能
10AssetBundleの利⽤とダウンロード• AssetBundle– サーバ上のUnityアーカイブファイルをダウンロードすることで、Unityの機能やオブジェクトを拡張する仕組み番組を視聴したユーザにのみプリキュア3Dモデルを配布することが可能App StoreGoogle Play申請アップロードAssetBundleダウンロードAssetBundle形式 fbx形式[3Dモデル][アプリ本体]※3Dモデル内蔵せずフォーマット変換3Dモデル
11認識技術の活⽤• ユーザビリティの改善– ユーザに難しい操作を⾏わせる必要がない• 「かざすだけ」で認識• 従来のキーワード⼊⼒やQRコードの読み込みは、ボタンクリックや読み込みに多くの⼿間が掛かる• 放送/Webと実世界との連携が可能に– リアルタイム視聴判定– チェックイン, イベント参加判定• 複雑な制御が可能に
• アプリプログラムに⾳声認識SDKを組み込み– リアルタイムフィンガープリント認識技術• 本アプリにおける活⽤1. CMSから⽣成された制御ファイルを元にオンエア時のみ認識画⾯が開く2. ⾳声認識を⾏い、局識別コードがEXであれば視聴OK3. 新規プリキュアモデルがアプリにダウンロードされる12⾳声認識による視聴判定オンエア⾳声⾳声認識サーバ局識別コード⾳声認識SDKオンエア⾳声特徴点マッチング⾳声特徴点データ
13iBeaconを⽤いたチェックイン機能• iBeacon/BLEとは– Bluetooth Low Enegy• 低電⼒で通信可能なBluetooth規格– パケット内に含まれるID情報を取得して信号を判別することが可能– 最近発売のスマートフォンの⼤部分がBLE対応• 本アプリにおけるiBeaconチェックイン機能1. プリティストア梅⽥本店にiBeacon発信機（⾃社開発）を設置2. iBeacon信号をアプリで受信すると、来店ポイントを加算⾶距離:50m程度プリティストア⼤阪梅⽥本店iBeacon発信機(⾃社開発)[iBeacon信号]proximity UUIDmajor versionminor versionUUIDマッチング
画像認識を⽤いたチェックイン機能• Vuforia SDK– ライセンス不要で使⽤可能なARエンジン– Unityプラグインが提供されており、Unity上で動作可能– 画像の特徴点データを⽣成し、カメラ画像とマッチング• 本アプリにおける画像認識– 認識⽤画像（ポスター）の特徴点データを⽣成– 認識⽤画像（ポスター）を店内に掲⽰– ポスターにアプリをかざすと特徴点データとマッチング, 来店ポイントを加算特徴点データ画像認識SDK特徴点マッチング変換datxmlカメラ撮影
画像認識を⽤いたチェックイン機能
16まとめ• バーチャルリアリティ分野へ⾼まる注⽬– VR（仮想現実）, AR（拡張技術）の進展– ヘッドマウントディスプレイの普及• Oculus Rift, Google Glassなど• センシング技術の発達– カメラ, マイク, GPS, 加速度センサ, ⼼拍センサ, ジャイロセンサ– IoT（Internet of Things）, ウェアラブルデバイスの普及16Unity+Vuforia のノウハウ, 知⾒を蓄積センサを通じて視聴者と繋がるアプリや番組演出で利⽤する価値⼤
17Go！プリンセスプリキュア 応援アプリ
eijikominami
taketakekaho
sbtechnight
kazumax55
nishiuma
1ftseabass
visional_engineering_and_design
fixstars
sakaitakeshi
stefafafan
takakuni
amarelo_n24
destraynor
moore
frogandcode
maggiecrowley
bkeepers
quramy
eitanlees
kneath
keavy
mojombo
brad_frost
lara