$30 off During Our Annual Pro Sale. View Details »

Demucsを用いた音源分離

shuto goya
October 28, 2023

 Demucsを用いた音源分離

Music×Analytics Meetup Vol.11での発表内容です。

shuto goya

October 28, 2023
Tweet

Other Decks in Science

Transcript

  1. Demucsを用いた音源分離
    2023/10/28
    Music×Analytics Meetup Vol.11
    合谷秋人

    View Slide

  2. 自己紹介
    https://github.com/ch-shin/awesome-nilm
    仕事
    音楽遍歴
    NILM(機器分離)技術の開発
    中学
    高校
    大学以降
    ● ロキノン系(死語?)からマスロック・エモ寄りも好き
    ● 15~20歳までバンド活動(ギター)
    ● 今はもっぱら聞くだけ(音楽活動したい)
    その他
    ● X: @shuto508
    ● 最近の取り組んでいる・やりたいこと
    ○ Kaggleとか興味ある(が、ほぼやっていない)
    ○ 引き続き機械学習の勉強(PRMLを頑張って解読中)
    ● 趣味:ビール

    View Slide

  3. よくある悩み:耳コピができない…!
    聞きたいパートだけ聞けたらいいのになぁ …
    ● そもそもフレーズが複雑
    ● 音が埋もれている
    ● etc…

    View Slide

  4. 音源分離:合成波形(元音源)を個別要素に分解する
    代表的なDeep Learning手法
    主な応用先
    ● AIスピーカー
    ● テレビ会議システム
    ● 補聴器
    ● etc…
    ● U-Net
    ● Deep clustering
    ● Conv-TasNet
    ● etc…
    全体から個別パートに分解

    View Slide

  5. Demucs: Metaが開発した音源分離ライブラリ
    元となる技術:Wave U-Net Vocal/Bass/Drums/Othersに分離
    Wave U-Net: U-Netを1次元にしたもの

    View Slide

  6. Google Colab上で簡単に分離結果を得ることが可能
    Notebook例 ディレクトリ構成 分離結果
    元音源
    ノートブックを実行するだけで手軽に音源分離が可能

    View Slide

  7. やってみた①:Demo編
    波形やメルスペクトログラムではどこで何が鳴っているのか不明
    元音源

    View Slide

  8. やってみた①:分離結果
    Drums
    Vocal
    Bass
    Others
    各成分に音源分離できた!!

    View Slide

  9. やってみた①:メルスペクトログラム分析
    Drums
    Vocal
    Bass
    Others
    ボーカル/ピアノ
    金物/倍音
    ベース/ドラム

    View Slide

  10. やってみた②:バンド音楽編

    View Slide

  11. 感想
    - 手軽に分離できるわりに結構綺麗に分離される
    - パートごとの楽曲構成を調べることもできそう
    - ボーカルなどは一部違和感のある箇所もあった
    - 正解データ作りもできそう…?
    - リード/バッキングは分けられない(主目的が…)
    - 音数が減った事自体で聞き取りやすくはなっている!
    - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定

    View Slide

  12. ご清聴ありがとうございました!

    View Slide

  13. Appendix

    View Slide

  14. - https://github.com/facebookresearch/demucs
    - https://github.com/f90/Wave-U-Net
    参考

    View Slide