VRMアバターでギターの弾き語りがしたい！！ 『Vフレット』の開発で考えたこと

xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/

1. 『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい！！
2. Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC） ・日本VR学会認定 上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
3. 今日お話する内容 開発している『 』というアプリの話
4. 今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
5. きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
6. 僕も弾き語り配信をしたりします
7. 準備するのが 面倒くさい時がある
8. アバターを使えばいいってこと？！
9. アバターでも 弾き語りがしたい！！ …と思ったのがきっかけ
10. アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ → アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
11. どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ → コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
12. いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに！
13. ギターの弾き方 左手：フレットを抑えて鳴らす音を決める 右手：弦をストロークして音を鳴らす
14. 右手と左手をギターに沿って動かせば それっぽくなるかも！？
15. Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい！！！
16. コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
17. 色々考えてできたものを実演してみます 注目してほしいこと：コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します！ 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか 成功したらリアクション機能で👏をお願いします！ （もし失敗してもぜひお願いします！ｗ）
18. デモ
19. ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存（OBSなどで） → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える！ → 音源があればギターが弾けない人でも使える！
20. 個人開発している『Vフレット』の紹介
21. Vフレットの今後について 年内にベータ版を配布予定です！ VフレットのTwitterアカウント（@vfret_app）や、 Discordコミュニティ内で告知等をする予定なので是非ﾌｫﾛｰしてください！ 公式サイトに情報がまとまっています！ https://nkjzm.jp/vfret
22. 作ってて思ったこと • アバターで色々できるの楽しい！ https://nkjzm.jp/vfret
23. 作ってて思ったこと • アバターで色々できるの楽しい！
24. 開発に協力してくれている人の紹介
25. ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app