coinsLT#101資料 バーチャルアバターによるAR(ryの進捗

情報特別演習Ⅱの進捗報告をcoinsLT#101(https://atnd.org/events/106745)にて行ったときの資料

Transcript

1. バーチャルアバターに よるARライブ(ryの進 捗 にー兄さん(@ninisan_drumath) in coinsLT
2. Agenda 自己紹介 概要など WIP
3. 自己紹介
4. Who am I ? にー兄さん coins18。 普段はVR/AR、3DCG、Web系などいじる ただのVTuberオタク 情報特別演習Ⅱの演習テーマの紹介とかします！
5. 「バーチャルアバターによるARライブ配 信システムの構築」 概要
6. 演習テーマ： バーチャルアバターによるARライブ配信システムの構築 昨今のVTuberブームから着想を得た バーチャルアバターをまとって、かつ現実に投影できる バーチャルアバターとARの親和性が高いことに注目 ⇒将来的にVTuberならぬATuberとかでてくるんじゃないか...？
7. 動作のイメージ
8. 開発の要件(基本機能) 1. モーションキャプチャデバイスからモーションデータを取得 2. モーションデータのジョイントからアバターのボーンのトランス フォームを計算 3. リアルタイム鯖を介して視聴者クライアントにブロードキャス ト 4. クライアントでARレンダリング
9. 開発の要件(発展) • 配信者へのコメント、投げ銭、フォロー • 配信者：視聴者＝ｎ：ｎの対応 • 声質変換(ボイチェン)
10. WIPと今後の展望
11. 関門：Kinectでのモーショントラッキング • IPLAB(ユビ研)からKinect v2借用 • KinectとUnityによって ◦ モーションデータの取得 ◦ ビジュアライズ ◦ リアルタイムデータ送信 • Kinectの文献少なくない...？ ⇒サポートが終了してるのでそれはそう
12. 解決の糸口 • 公式ドキュメントを熟読する • Twitterで助けを求める ⇒MSのQAサイトで興味深い文献を発見できた • 自分でビジュアライザを作る
13. 自作ビジュアライザ
14. 関門：KinectのJointデータをVRMのボーンに適用 • 取得したJointデータと反映するボーンデータは違う • 自分の環境だと、JointType.LeftShoulderが右肩のデータを返す謎 挙動 • 対応表などは有志で開発している人のGitHubがあった ↑の挙動やローカル回転の実装方法の違いにより破綻 • 自作の対応表が必要だ ⇒作った
15. とりあえず辞書を定義した
16. 気づいたらビジュアライザがLiveHostに化 けていた 1. アバターボーンの適用結果を反 映 2. さらにソケット通信まで実装した (もうビジュアライザではない)
17. 関門：腕がプルプルする(は?) • リアルタイムでモーションデータを適用する ⇒腕がスライムみたいになった • 先生「プルプルしてるねぇ」 自分「プルプルしてますねぇ」 ⇒先生からの提案でフィルターとIKの開発を始める • いまここ
18. HumanoidのBoneに対応するIKを作成中
19. 関門：リアルタイム通信 • クライアントにブロードキャストするSocket鯖を立てた • 辞書を作っておいたので割と楽に実装できた • なんかラグい…？→改善の余地あり
20. 関門：AR対応 • まぁすぐできるやろ→今日の3限で爆死 • ARCoreのアップデートで実装(正確にはプレファブの対応関係)の 仕様が違った • コード読み直して今週末には実装完了を目指す
21. 結論： 関門いっぱい！でも楽しい！ （）
22. ご清聴ありがとうございまし た！