Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
Search
Nakaji Kohki
November 12, 2022
Technology
0
460
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/
Nakaji Kohki
November 12, 2022
Tweet
Share
More Decks by Nakaji Kohki
See All by Nakaji Kohki
アバター配信アプリ『Vフレット』 でVRM 1.0対応をしてみる
nkjzm
1
200
『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos
nkjzm
0
340
『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応 / Support for multi-platform controllers in "ALTDEUS: Beyond Chronos
nkjzm
0
410
Unityで使える汎用的な ハンバーガーメニューの実装 / UniHamburger
nkjzm
3
1.3k
20時間超の物語をVRで!『ALTDEUS: Beyond Chronos』の制作を支えた”Uranus”の制作過程と機能紹介 [CEDEC2021] / Introduction of ALTDEUS' VR ADV tool "Uranus", CEDEC2021
nkjzm
1
2.4k
withコロナに見るXR業界のイマ! [CEDEC2021] / XR NOW CEDEC2021
nkjzm
3
1.8k
VRプロダクト開発ラウンドテーブル2021
nkjzm
0
1.4k
Unityでチャットに使えるモバイルキーボードの実現
nkjzm
2
5.3k
Notionで人生を公開している話
nkjzm
0
1k
Other Decks in Technology
See All in Technology
AI技術トレンド勉強会 #1MCPの基礎と実務での応用
nisei_k
1
210
エンジニア採用から始まる技術広報と組織づくり/202506lt
nishiuma
8
1.7k
今からでも間に合う! 生成AI「RAG」再入門 / Re-introduction to RAG in Generative AI
hideakiaoyagi
1
180
型システムを知りたい人のための型検査器作成入門
mame
15
3.8k
Amazon Q Developer for GitHubとAmplify Hosting でサクッとデジタル名刺を作ってみた
kmiya84377
0
3.5k
活きてなかったデータを活かしてみた話 / Shirokane Kougyou vol 19
sansan_randd
1
340
RubyOnRailsOnDevin+α / DevinMeetupJapan#2
ginkouno
0
450
Create a Rails8 responsive app with Gemini and RubyLLM
palladius
0
120
菸酒生在 LINE Taiwan 的後端雙刀流
line_developers_tw
PRO
0
210
(新URLに移行しました)FASTと向き合うことで見えた、大規模アジャイルの難しさと楽しさ
wooootack
0
730
doda開発 生成AI元年宣言!自家製AIエージェントから始める生産性改革 / doda Development Declaration of the First Year of Generated AI! Productivity Reforms Starting with Home-grown AI Agents
techtekt
0
160
IIWレポートからみるID業界で話題のMCP
fujie
0
380
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Making the Leap to Tech Lead
cromwellryan
134
9.3k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Statistics for Hackers
jakevdp
799
220k
What's in a price? How to price your products and services
michaelherold
245
12k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Done Done
chrislema
184
16k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい!!
Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC) ・日本VR学会認定
上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
今日お話する内容 開発している『 』というアプリの話
今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
僕も弾き語り配信をしたりします
準備するのが 面倒くさい時がある
アバターを使えばいいってこと?!
アバターでも 弾き語りがしたい!! …と思ったのがきっかけ
アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ →
アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ →
コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに!
ギターの弾き方 左手:フレットを抑えて鳴らす音を決める 右手:弦をストロークして音を鳴らす
右手と左手をギターに沿って動かせば それっぽくなるかも!?
Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい!!!
コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
色々考えてできたものを実演してみます 注目してほしいこと:コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します! 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか
成功したらリアクション機能で👏をお願いします! (もし失敗してもぜひお願いします!w)
デモ
ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存(OBSなどで) → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える!
→ 音源があればギターが弾けない人でも使える!
個人開発している『Vフレット』の紹介
Vフレットの今後について 年内にベータ版を配布予定です! VフレットのTwitterアカウント(@vfret_app)や、 Discordコミュニティ内で告知等をする予定なので是非フォローしてください! 公式サイトに情報がまとまっています! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい!
開発に協力してくれている人の紹介
ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app
None