ピアノが弾けない私が自分の為に"VRピアノ練習ソフト"を作る話

2019/9/23 [非公式] Unite Tokyo 2019 Eve2 LT Fes
LT#14「ピアノが弾けない私が自分の為に"VRピアノ練習ソフト"を作る話」

一部スライドを編集しております。

Transcript

1. (略) "VRピアノ練習ソフト“ を作る話 2019年9月23日 Unite Eve 2
2. 自己紹介 Twitter @Koniro_Iris ・紺色 こんいろ 千葉工業大学 Vtuberエンジニア ゲーム制作
3. 楽譜が読めてもピアノは弾けない キャラクターにピアノを演奏させる 目次 今後 AR化 経緯 方法 ピアノ練習ソフト Midiファイル ピアノモーション まとめ 運指
4. 楽譜が読めても分からない！ 練習ソフトを作ろう 経緯 ピアノを弾きたい！
5. どの指で鍵盤を弾くのか（運指） 弾く強さや長さ ・楽譜からでは分からない事がある 楽譜が読めてもピアノは弾けない
6. ARグラスをかけて 仮想の手を表示しよう 方法
7. 完成 キャラクターにピアノを演奏させる ・モーションキャプチャー ・楽譜ファイル読み込みによる自動作成 演奏アニメーション作成 ・HTC Vive AR化
8. 演奏アニメーション 完成 ・Perception Neuron 2.0 ベースアニメーション アニメーション修正 ・Very Animation・Umotion ・FinalIK キャラクターにピアノを演奏させる
9. ・Perception Neuron 2.0 ベースアニメーション概要 撮影環境 ピアノが弾ける人 必須項目 使用機器 キャラクターにピアノを演奏させる
10. キャラクターにピアノを演奏させる
11. キャラクターにピアノを演奏させる
12. キャラクターにピアノを演奏させる
13. キャラクターにピアノを演奏させる
14. 演奏アニメーション 完成 ・Perception Neuron 2.0 ベースアニメーション アニメーション修正 ・Very Animation・Umotion ・FinalIK キャラクターにピアノを演奏させる
15. コスト 必須項目 アニメーション修正概要 ・Very Animation ・Umotion ・FinalIK 使用アセット 演奏知識 時間 キャラクターにピアノを演奏させる
16. 演奏アニメーション 完成 キャラクターにピアノを演奏させる ・Perception Neuron 2.0 ベースアニメーション アニメーション修正 ・Very Animation・Umotion ・FinalIK
17. キャラクターにピアノを演奏させる
18. AR化 ・HTC Vive フロントカメラを使用 リアルとVRを重ねて見れる
19. AR化
20. 今後 システムの変更 演奏アニメーション 完成 モーションキャプチャー アニメーション修正 アニメーションの完成 アニメーション作成 Midiファイルの解析 アニメーション修正
21. 動指の決定 １ ２ ３ ４ ４ ね こ ふん じゃっ た １ ２ ３ ４ ４ １ ２ ３ ４ ４ ね こ ふん じゃっ た １ ２ ３ ４ ４ １ ２ ３ ４ ４ 今後
22. 動指の決定 １ ２ ３ ４ ４ わ る い ー ー １ ２ ３ ４ ４ １ ２ ４ ４ ３ わ る い ー ー １ ２ ３ ４ ４ １ ２ ４ ４ ３ 今後
23. AR化
24. ピアノ練習ソフト ・モーションキャプチャーで ピアノ演奏モーションを作成した。 ・モーションを ARで見れるようにした。 ・楽譜からは分からない ピアノの運指を練習できるようになった。 まとめ
25. 今後 ・Midiファイルから精度の高い運指推定 ・他モデル(VRM等)対応 ・別楽器の対応 まとめ
26. (略) "VRピアノ練習ソフト“ を作る話 Twitter @Koniro_Iris