Unityで作るパフォーマーのための モバイルARフィルター/Unity-AR-Filter

2021/09/22 開催のGotanda.unity #20にて発表した資料です。

Twitter: https://twitter.com/fusikky

埋め込まれている動画のURLはこちらです。
https://twitter.com/xr_japan/status/1404743109024489472?s=21

Gotanda.unity #20
配信URLはこちら
https://www.youtube.com/watch?v=ohlsJIZWetc

Transcript

1. Unityで作るパフォーマーのための モバイルARフィルター XR JAPAN 株式会社サイバーエージェント 株式会社CyberHuman Productions ふしっきー@fusikky 2021/09/22 Gotanda.unity #20
2. ←ARフィルターで制作 趣味: ブレイクダンス / アニメ ふしっきー（伏木秀樹） @fusikky エンジニア（Unity / UnrealEngine / Web） 個人過去作品(Unity) Profile カービィと ヘッドスピンしてみた コスプレAR コスプレイヤーさんと コラボ AirPods Proでヘッドスピン 株式会社CyberHumanProductions XR JAPAN
3. 今日話すこと パフォーマーのための モバイルARフィルター制作 取り組みについて 使用技術の紹介（Unity・ARKit）
4. UnityとARを使ってパフォーマーをより魅力的にみせる映像を作りたい パフォーマーのためのモバイルARフィルター スマートフォンのみで撮影可能なパフォーマー向けARフィルター
5. XR JAPAN 結成 XR × パフォーマンス。 "表現の限界を超える"クリエイティブレーベル Dance withARハッカソンをきっかけにメンバーが集まる Ibuki FreeStyle Football アジアチャンピオン jackal プロダンサー Performer Engineer & Creator ふしっきー Engineer Leader 今泉滉平 @xgarden Producer YP Director
6. XR JAPANでの 取り組み プロダンサーリアルタイム合成配信 (プロダンスチームKoRocK Taichiさん) 生パフォーマンスにiPhoneのみでARエフェクトを 合成しリアルタイム配信 毎週定例 + エフェクト制作 技術検証結果を 定期的に発信 Youtube Live 配信
7. Legend Tokyo CHRONICLE 決勝進出 一般の大規模ダンス映像コンテスト 30秒クリエイター部門 予選・準決勝・決勝それぞれで動画投稿 決勝動画 予選 準決勝 https://twitter.com/xr_japan/status/1404743109024489472?s=21
8. AR空間認識（Unity AR Foundation） 人物・空間認識（iOS ARKit) Unityを使ったモバイルARフィルターの基礎技術（検出編） People Segmentation 人物領域 BodyTracking 関節位置 LiDAR 空間のMesh
9. Shader（画面全体 / 人物のみ / 背景のみ / それぞれ別） Trail, Particle System, VFX Graph, (URP) Unityを使ったモバイルARフィルターの基礎技術（エフェクト編） LiDAR People Segmentation ×Shader BodyTracking ×Trail BodyTracking ×ParticleSystem ×Shader BodyTracking ×Trail ×Shader
10. 空間スキャン演出 （LiDAR） Legend Tokyo CHRONICLEで使用した技術 Timelineを使ってこれらを再生、Shaderのパラメータ変更 人物の縁から出る粒子表現 DepthTexture (RenderTexture) ARKitから取得 ComputeShader カメラ位置とDepthTextureから 3次元位置を復元 PositionMap (x,y,z,w) VFX Graph PositionMapから粒子を生成
11. モバイルARフィルター撮影の良いところ •スマートフォンを向けるだけで誰でも簡単にエフェクト合成できる •映像編集のように時間をかけずにリアルタイムに体験できる •リアルタイムトラッキングの偶発的な面白さ
12. モバイルARフィルター撮影の大変なところ •映像編集作品は撮影後作り込みができる。リアルタイム撮影だと難しい •モバイルなので修正後の動作確認に毎回ビルドが必要 •トラッキング技術難易度が高い ◦SegmentationとBodyTrackingは同時使用ができない（ARKitの場合） ◦トラッキングの偶発的な面白さと誤検出はトレードオフ（誤検出した場合は撮り直し） ◦物体検出をするにはDeepLearningなどの専門知識が必要 パフォーマーが使いやすいように試行錯誤中
13. まとめ Unityを使ったパフォーマーのためのモバイルARフィルターについて 制作事例と使用している技術についてまとめました • スマートフォンだけで撮影できるので手軽だが難易度が高い 大変だけど楽しい！
14. 今後について •今後も技術検証を継続 •XR JAPANのエフェクトをまとめたアプリを 一般公開できるよう開発中です。 comming soon..
15. ご清聴ありがとうございました