Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Demucsを用いた音源分離
Search
shuto goya
October 28, 2023
Science
0
190
Demucsを用いた音源分離
Music×Analytics Meetup Vol.11での発表内容です。
shuto goya
October 28, 2023
Tweet
Share
Other Decks in Science
See All in Science
汎用原子シミュレータMatlantis のご紹介
matlantis
0
130
「国と音楽」 ~spotifyrを用いて~ #muana
bob3bob3
2
330
Pandas 2 vs Polars vs Dask (PyDataGlobal 2023 December)
ianozsvald
0
460
研究・教育・産学連携の循環の実践
sshimizu2006
0
230
名古屋市立大学データサイエンス学部 夏のオープンキャンパス模擬授業20230818
ncu_ds
0
1.2k
Spark_Task_Optimization_Journey_How_I_Increased_10x_Speed_by_Performance_Tuning
tlyu0419
0
200
DEIM2024 チュートリアル ~AWSで生成AIのRAGを使ったチャットボットを作ってみよう~
yamahiro
3
670
東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)
hayataka88
0
180
Xpenologyなるアングラプロジェクト周りについて語るやつ
sushi514
0
670
マルチモーダルモデルと自動運転 車載モデルのコスト・スループット・レイテンシ / LLM in Production Meetup #2 20231023
yuyamaguchi
1
1.1k
HAS Dark Site Orientation
astronomyhouston
0
5k
Machine Learning for Materials (Lecture 1)
aronwalsh
1
1.5k
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
Building Effective Engineering Teams - LeadDev
addyosmani
31
1.9k
How to name files
jennybc
65
93k
Designing for humans not robots
tammielis
247
25k
The Pragmatic Product Professional
lauravandoore
26
5.8k
How to Ace a Technical Interview
jacobian
273
22k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.2k
Product Roadmaps are Hard
iamctodd
45
9.7k
Building an army of robots
kneath
300
41k
A designer walks into a library…
pauljervisheath
201
23k
Fireside Chat
paigeccino
22
2.6k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
Transcript
Demucsを用いた音源分離 2023/10/28 Music×Analytics Meetup Vol.11 合谷秋人
自己紹介 https://github.com/ch-shin/awesome-nilm 仕事 音楽遍歴 NILM(機器分離)技術の開発 中学 高校 大学以降 • ロキノン系(死語?)からマスロック・エモ寄りも好き
• 15~20歳までバンド活動(ギター) • 今はもっぱら聞くだけ(音楽活動したい) その他 • X: @shuto508 • 最近の取り組んでいる・やりたいこと ◦ Kaggleとか興味ある(が、ほぼやっていない) ◦ 引き続き機械学習の勉強(PRMLを頑張って解読中) • 趣味:ビール
よくある悩み:耳コピができない…! 聞きたいパートだけ聞けたらいいのになぁ … • そもそもフレーズが複雑 • 音が埋もれている • etc…
音源分離:合成波形(元音源)を個別要素に分解する 代表的なDeep Learning手法 主な応用先 • AIスピーカー • テレビ会議システム • 補聴器
• etc… • U-Net • Deep clustering • Conv-TasNet • etc… 全体から個別パートに分解
Demucs: Metaが開発した音源分離ライブラリ 元となる技術:Wave U-Net Vocal/Bass/Drums/Othersに分離 Wave U-Net: U-Netを1次元にしたもの
Google Colab上で簡単に分離結果を得ることが可能 Notebook例 ディレクトリ構成 分離結果 元音源 ノートブックを実行するだけで手軽に音源分離が可能
やってみた①:Demo編 波形やメルスペクトログラムではどこで何が鳴っているのか不明 元音源
やってみた①:分離結果 Drums Vocal Bass Others 各成分に音源分離できた!!
やってみた①:メルスペクトログラム分析 Drums Vocal Bass Others ボーカル/ピアノ 金物/倍音 ベース/ドラム
やってみた②:バンド音楽編
感想 - 手軽に分離できるわりに結構綺麗に分離される - パートごとの楽曲構成を調べることもできそう - ボーカルなどは一部違和感のある箇所もあった - 正解データ作りもできそう…? -
リード/バッキングは分けられない(主目的が…) - 音数が減った事自体で聞き取りやすくはなっている! - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定
ご清聴ありがとうございました!
Appendix
- https://github.com/facebookresearch/demucs - https://github.com/f90/Wave-U-Net 参考