Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
Search
NobuakiOshiro
PRO
August 16, 2024
Technology
0
140
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
https://omoshiroai.connpass.com/event/326638/
NobuakiOshiro
PRO
August 16, 2024
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
第3回ポチポチゲームの会_o3-mini-hihgで出来ること
doradora09
PRO
0
28
20250208_OpenAIDeepResearchがやばいという話
doradora09
PRO
0
180
20250207_第5回_データサイエンティストの応援団_ゲスト我妻さん
doradora09
PRO
0
16
20250127_チャットだけじゃない_生成AIでタスクの5合目まで5分で登る方法(50min版)_v1.00
doradora09
PRO
0
30
20250118_LT_3D風ゲームを作ろうとして苦戦している話(作りかけ)
doradora09
PRO
0
33
20250111_ChatGPT部第58回_オープニングトークand年始のご挨拶
doradora09
PRO
0
60
20241228_ChatGPT部第57回_オープニングトークand振り返り
doradora09
PRO
0
81
20241224_第3回_データサイエンティストの応援団_ゲスト光安さん_公開用
doradora09
PRO
0
37
20241220_引き継ぎLT_後を託せるメンバーや参加者がいる技術系コミュニティは立ち上げ冥利に尽きると思う話
doradora09
PRO
0
81
Other Decks in Technology
See All in Technology
Windows の新しい管理者保護モード
murachiakira
0
100
人はなぜISUCONに夢中になるのか
kakehashi
PRO
6
1.7k
速くて安いWebサイトを作る
nishiharatsubasa
13
14k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
560
オブザーバビリティの観点でみるAWS / AWS from observability perspective
ymotongpoo
8
1.5k
組織貢献をするフリーランスエンジニアという生き方
n_takehata
2
1.3k
表現を育てる
kiyou77
1
220
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
6.3k
RECRUIT TECH CONFERENCE 2025 プレイベント【高橋】
recruitengineers
PRO
0
160
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
140
開発スピードは上がっている…品質はどうする? スピードと品質を両立させるためのプロダクト開発の進め方とは #DevSumi #DevSumiB / Agile And Quality
nihonbuson
2
3.1k
全文検索+セマンティックランカー+LLMの自然文検索サ−ビスで得られた知見
segavvy
2
120
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Fireside Chat
paigeccino
34
3.2k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Mobile First: as difficult as doing things right
swwweet
223
9.3k
Speed Design
sergeychernyshev
27
790
Designing for Performance
lara
604
68k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Why Our Code Smells
bkeepers
PRO
336
57k
Navigating Team Friction
lara
183
15k
Gamification - CAS2011
davidbonilla
80
5.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Designing for humans not robots
tammielis
250
25k
Transcript
Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。
• 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」
は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )
⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える
し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •
メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
Enjoy..!!
補⾜資料
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/