20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる

https://omoshiroai.connpass.com/event/326638/

Transcript

1. Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
2. 前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
3. 補⾜：⾳のフォーマット２種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。 • 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
4. Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」 は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
5. 歌声と演奏の２ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば ) ⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
6. せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
7. 完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
8. 今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・？ ) • メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
9. Enjoy..!!
10. 補⾜資料
11. 参考：MV作成の作業⼿順メモ
12. 参考：MV作成の作業⼿順メモ
13. 参考：MV作成の作業⼿順メモ
14. 参考：MV作成の作業⼿順メモ
15. 参考：MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
16. MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/