VTuberコトハジメ モデル制作から運用まで

2020年11⽉25⽇（水）に行われた「VIVEビジ ネス・デー #VIVEBizDay」にて発表させていただいた登壇資料になります。
https://www.youtube.com/watch?v=7TE5h5NHPuc

Transcript

2. VTuberに関する研究開発を行うエンジニア。 主にVR、モーションキャプチャ、Unity C# を扱う。 活動の傍らOSS活動や勉強会への展示、 発表活動なども行っている。 Unity デザイナーズ・バイブル 「Animation Riggingで簡易的な 自己紹介 @karukaru808 @_karukaru_ cifertech.booth.pm karukaru Senior Virtual Reality Specialist Part4 Section4 アニメーション作成」執筆。
3. 今日話す内容 　3, 予算感と難易度 　2, どうやって制作する？ 　1, 2D？ 3D？ 1, モデル制作について 　3, 予算感と難易度 　2, 光学式？ 慣性式？ 　1, モーションキャプチャってなに？ 2, 運用について この話は、 ・VTuberを始めたい！けどどういう手法があるのかわからない ・モデルを用意したけど運用方法がわからない という企業様向けの内容です。
4. モデル制作について
5. 2D？ 3D？ VTuberには2通りのモデル表現方法がある。 　　月ノ美兎、ニー子、 　　クックパッドたん 　代表的なVTuber（敬称略） 　全身運動や高度な表現は難しい。 　パソコン&カメラやスマートフォンがあれば運用可能。 　表情をカメラ等でキャプチャしてキャラクタに反映。 　イラストを元にモデリングされたキャラクタ。 1, 2Dモデル 引用：https://www.youtube.com/watch?v=6xnGonuSmRM 引用：https://www.youtube.com/watch?v=6xnGonuSmRM 引用：https://www.youtube.com/watch?v=dzsIAzVVkdE 引用：https://www.youtube.com/watch?v=dzsIAzVVkdE
6. 　　キズナアイ、燦鳥ノム、 　　ウェザーロイド Airi（ポン子） 　代表的なVTuber（敬称略） 　なんでもできるけど専門知識を持ったエンジニアが必要。 　Unity等のCGエンジンとモーションキャプチャを組み 　合わせて運用。 　パソコン&カメラやスマートフォンで運用する方法もあ 　るが表現力が落ちる。 　モーションキャプチャ装置を使用してキャラクタに 　動作を反映。 　3DCGやゲームで使用されるキャラクタ。 2, 3Dモデル 2D？ 3D？ VTuberには2通りのモデル表現方法がある。 引用：https://www.youtube.com/watch?v=BshXJ7hxcn8 引用：https://www.youtube.com/watch?v=BshXJ7hxcn8 引用：https://www.youtube.com/watch?v=ZygXkU3pusk 引用：https://www.youtube.com/watch?v=ZygXkU3pusk
7. どうやって制作する？ 　・声優 　・配信業に慣れた人 ・中の人 　・VTuber動作アプリ 　・マイク／ヘッドフォン 　・配信ソフト 　・背景 ・配信アセット 　・立ち絵 　・イメージ 　・バックグラウンド 　・名前 ・キャラクタ設定 2D／3D問わず以下のアセットが必要。 2Dモデルの場合 　→ Live2D など 　各パーツごとに分かれたイラストを 　動作アプリで使用できる形式へ。 ・イラストを元にしたモデル 3Dモデルの場合 　モデル制作の参考に使用。 ・三面図 　→ FBX, VRM など 　相性の良い形式。 　CGエンジンとモーションキャプチャに ・3DCG目的のモデル これに加えて以下が必要。
8. どうやって制作する？ 専用エディタ「Cubism Editor」でモデルを 制作する。 2D VTuberのほとんどがこの方式を採用。 Live2Dとは、株式会社Live2Dが開発している2Dの立体表現を可能にし た表現形式。 1, パーツ分けされたイラストを用意 　　特殊表情を設定 　　揺れ・柔らかさを設定 　　腕・首の可動域を設定 2, Cubism Editorでモデリング 3, VTuber動作アプリへインポート 引用：https://www.live2d.com/about/ 引用：https://www.live2d.com/about/
9. どうやって制作する？ 　　オリジナリティは下がる。 　　極力コストを抑えたい場合に多い。 3, アセット販売サイトで購入 　　コストパフォーマンス良し。 　　個人がVTuberを始める場合に多い。 2, キャラクリエイトツールでパラメータを調整して制作 　　企業がVTuberを始める場合に多い。 1, 3DCGモデリングソフトでゼロから制作 3Dモデルを制作する方法は3パターンある。
10. どうやって制作する？ 　製作期間は4～6ヶ月ほど必要。 　専門知識を持ったデザイナ／モデラが必要。 　三面図を元にMayaやBlenderなどの3D 　CGソフトでモデリングをする。 1, 3DCGモデリングソフトでゼロから制作 　製作期間は1～3カ月ほど必要。 　デザイナ／イラストレータでも扱える。 　3DCGモデリングソフトに詳しくない 　ような感覚で手軽に制作できる。 　VRoid Studioなどを使用して絵を描く 2, キャラクリエイトツールでパラメータを調整して制作
11. どうやって制作する？ 　商用利用や法人利用を禁止しているモデルもある 　ため利用規約に注意。 　これらを購入して利用する。 　Unity AssetStoreやBoothなどで3Dモデルが 　販売されている。 3, アセット販売サイトで購入 引用：https://assetstore.unity.com/?q=suriyun 引用：https://assetstore.unity.com/?q=suriyun 引用：https://booth.pm/topics/3d_avatar 引用：https://booth.pm/topics/3d_avatar
12. 予算感と難易度 稟議通すのに かかる時間 1～3ヶ月 4～6ヶ月 1ヶ月 製作期間 事例数 少 多 少 なし？ 低 中 高 中 難易度 1万円前後 10～20万 50万～ 10～20万 予算感 3D／ アセット購入 3D／ キャラクリエイトツール制作 3D／ ゼロから制作 2D 制作方法
13. 運用について
14. モーキャプってなに？ 　　カメラやスマートフォンさえあれば可能。 3, 光学式（通常カメラ） 　　高精度な代わりに各種制約が強い。 　　ゲームや映画で使用される手法。 1, 光学式（特殊カメラ） 　　特殊カメラを使用するよりも制約が緩い。 2, 光学式（VR） 方法は大まかに分けて以下の4パターン。 　カメラやセンサを使用して、顔や体の動きをセンシングする技術。 ・モーションキャプチャとは VTuberを運用するにはモーションキャプチャをする必要がある。 　　場所に縛られず自由な運用が可能。 4, 慣性式
15. 光学式？ 慣性式？ 引用：http://techblog.sega.jp/entry/2019/11/28/100000 引用：http://techblog.sega.jp/entry/2019/11/28/100000 　VICON, OptiTrack 　代表的なシステム 　動きが激しいダンスや格闘モー 　ションなどに向いている。 　高精度な代わりに各種制約が強い。 　キャラクタがどこにいるのか、 　どこを向いているのか、などの 　情報を正確に取得可能。 　専用のボディスーツにマーカを 　取り付けて特殊なカメラで監視。 1, 光学式（特殊カメラ） 引用：https://www.mocap.jp/optitrack/products/flex-13/ 引用：https://www.mocap.jp/optitrack/products/flex-13/
16. 引用：http://zeroc7.jp/products/manuspolygon/ 引用：http://zeroc7.jp/products/manuspolygon/ 引用：https://www.ask-corp.jp/products/manus-vr/vr-device/manus-polygon.html 引用：https://www.ask-corp.jp/products/manus-vr/vr-device/manus-polygon.html 　MANUS Polygon 　代表的なシステム 　精度はほぼ変わらず10万円程度までコストダウン。 　VIVE Trackerを用いたシステムも開発されている。 2, 光学式（VR） 光学式？ 慣性式？
17. 　体に何も着けなくてよい、ストレスフリーな状態 　で運用可能。 　カメラで体を読み取って動作を検出。 　上半身のトラッキング程度なら簡単に動作。 　全身運動や細かい動作は難しい。 　2D VTuberのほとんどがこの方式を採用。 3, 光学式（通常カメラ） 引用：https://docs.microsoft.com/ja-jp/ 　　　azure/kinect-dk/body-sdk-setup 引用：https://docs.microsoft.com/ja-jp/ 　　　azure/kinect-dk/body-sdk-setup 引用：https://luppet.appspot.com/easytouse/ 引用：https://luppet.appspot.com/easytouse/ 　FaceRig, Luppet, Azure Kinect DK 　代表的なシステム 光学式？ 慣性式？
18. 引用：https://www.aiuto-jp.co.jp/products/product_2939.php 引用：https://www.aiuto-jp.co.jp/products/product_2939.php 引用：http://zeroc7.jp/products/mvn3/ 引用：http://zeroc7.jp/products/mvn3/ 4, 慣性式 　磁力や慣性が強くかかる場所だと 　正確にキャプチャできない。 　センサだけで完結するため場所に 　縛られない。 　専用スーツを着なくてもバンドで取り付け可能な機材も。 　磁気センサを体に取りつけて関節がどのくらい曲がったか計測。 　Xsens MVN, 　Perception Neuron 　代表的なシステム 光学式？ 慣性式？
19. 予算感と難易度 場所制限 超高 中 低 低 表現力 高 高 低 中 高 低 低 超高 難易度 25万～ 数万円程度 10～30万 1000万～ 予算感 慣性式 光学式（通常カメラ） 光学式（VR） 光学式（特殊カメラ） 運用方法
20. まとめ 3Dモデル制作方法は3パターンある。 　　極力コストを抑えたい場合に多い。オリジナリティは下がる。 3, アセット販売サイトで購入 　　個人がVTuberを始める場合に多い。コストパフォーマンス良し。 2, キャラクリエイトツールでパラメータを調整して制作 　　企業がVTuberを始める場合に多い。 1, 3DCGモデリングソフトでゼロから制作 モデル表現方法は2パターンある。 1, 2Dモデル 2, 3Dモデル 　イラストを元にモデリングされたキャラクタ。 　3DCGやゲームで使用されるキャラクタ。
21. 運用方法は4パターンある。 まとめ 　　カメラやスマートフォンさえあれば可能。 3, 光学式（通常カメラ） 　　高精度な代わりに各種制約が強い。 　　ゲームや映画で使用される手法。 1, 光学式（特殊カメラ） 　　特殊カメラを使用するよりも制約が緩い。 2, 光学式（VR） 　　場所に縛られず自由な運用が可能。 4, 慣性式
22. ご清聴ありがとうございました。