Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
Search
NobuakiOshiro
PRO
August 16, 2024
Technology
0
140
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
https://omoshiroai.connpass.com/event/326638/
NobuakiOshiro
PRO
August 16, 2024
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
第3回ポチポチゲームの会_o3-mini-hihgで出来ること
doradora09
PRO
0
28
20250208_OpenAIDeepResearchがやばいという話
doradora09
PRO
0
180
20250207_第5回_データサイエンティストの応援団_ゲスト我妻さん
doradora09
PRO
0
16
20250127_チャットだけじゃない_生成AIでタスクの5合目まで5分で登る方法(50min版)_v1.00
doradora09
PRO
0
30
20250118_LT_3D風ゲームを作ろうとして苦戦している話(作りかけ)
doradora09
PRO
0
33
20250111_ChatGPT部第58回_オープニングトークand年始のご挨拶
doradora09
PRO
0
60
20241228_ChatGPT部第57回_オープニングトークand振り返り
doradora09
PRO
0
81
20241224_第3回_データサイエンティストの応援団_ゲスト光安さん_公開用
doradora09
PRO
0
37
20241220_引き継ぎLT_後を託せるメンバーや参加者がいる技術系コミュニティは立ち上げ冥利に尽きると思う話
doradora09
PRO
0
80
Other Decks in Technology
See All in Technology
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
240
モノレポ開発のエラー、誰が見る?Datadog で実現する適切なトリアージとエスカレーション
biwashi
6
800
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
13
3.3k
Goで作って学ぶWebSocket
ryuichi1208
0
160
データマネジメントのトレードオフに立ち向かう
ikkimiyazaki
6
960
2/18/25: Java meets AI: Build LLM-Powered Apps with LangChain4j
edeandrea
PRO
0
110
地方拠点で エンジニアリングマネージャーってできるの? 〜地方という制約を楽しむオーナーシップとコミュニティ作り〜
1coin
1
230
バックエンドエンジニアのためのフロントエンド入門 #devsumiC
panda_program
18
7.5k
株式会社EventHub・エンジニア採用資料
eventhub
0
4.3k
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
260
N=1から解き明かすAWS ソリューションアーキテクトの魅力
kiiwami
0
130
ハッキングの世界に迫る~攻撃者の思考で考えるセキュリティ~
nomizone
13
5.2k
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
32
6.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Building Adaptive Systems
keathley
40
2.4k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Designing Experiences People Love
moore
140
23k
Side Projects
sachag
452
42k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
GitHub's CSS Performance
jonrohan
1030
460k
A better future with KSS
kneath
238
17k
GraphQLとの向き合い方2022年版
quramy
44
13k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Transcript
Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。
• 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」
は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )
⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える
し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •
メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
Enjoy..!!
補⾜資料
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/