Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LSPC deep-people for music processing #01 導入

LSPC deep-people for music processing #01 導入

筑波大学人と音の情報学研究室で行われた,
深層学習×音楽データの勉強会の資料を公開しています.
誤りなどがあるかもしれません.その場合,ご指摘お願いします.

#01 音楽×深層学習の導入

Ae87a6075a4bc957a6775c6d70c8be90?s=128

Yuya Yamamoto

May 05, 2022
Tweet

More Decks by Yuya Yamamoto

Other Decks in Research

Transcript

  1. Իָʹ͓͚Δਂ૚ֶश ~ಋೖ~ Deep-people #1

  2. ͜ͷษڧձͷ໨త 2 • Ұॹʹਂ૚ֶशͭΑ͘ͳΖ͏ͥʂͳձ • LSPC͸DeepʹͭΑ͘ͳ͍… • ͔ͩΒΈΜͳͰษڧͯ͠஌ݟΛஷΊΑ͏ • ΰʔϧɿӃࢼͷܭըͷϞσϧΛ࣮૷ɾΧελϚΠζՄೳͳঢ়ଶʹͳΔ

    • ਂ૚ֶश/ର৅ͱ͢ΔԻɾԻָͷॲཧʹ͍ͭͯҰ௨Γ͸஌͍ͬͯΔ • PyTorchͰ࣮ݧΛߦ͏ϓϩάϥϜΛॻ͚Δ
  3. ༧ఆ • ʢ࢑ఆʣय़ABC: ຖिਫ༵56ݶ • ͓ͦΒ͘Ͳͷߨٛͱ΋͔Ϳͬͯͳ͍͸ͣ • θϛͷ೔ఔͱඃͬͨΒม͑·͢ 3

  4. ϕʔεͱͳΔࢿྉ • Musical Applications of Machine Learning (2021) • https://mac.kaist.ac.kr/~juhan/gct634/index.html

    • KAISTͷେֶӃͷߨٛࢿྉ, Իָ৘ใॲཧݚڀऀͷJuhan NamࢯʹΑͬͯ࡞੒ • Իָ৘ใॲཧ × ػցֶशɾਂ૚ֶशͷτϐοΫΛΧόʔ • ͪΐͬͱԻڹدΓɼָේܥͷτϐοΫΛΧόʔ͍ͯ͠Δࢿྉ͸୳͠·͢ • ॓୊Ͱαϯϓϧίʔυ͕෇͍͍ͯΔ • https://github.com/juhannam/gct634-ai613-2021 4
  5. ຖճͷ಺༰ • ϨΫνϟʔ • ಺༰ʹؔͯ͠ྠߨܗࣜͰൃද • εϥΠυʹ·ͱΊΔ or ίʔυ͕͋Ε͹google colab౳Λۦ࢖

    • ࢿྉΛͦͷ··ղઆͰ΋͓k ʢhowever ଞਓͷϓϨθϯͰղઆ͢Δͷ͸೉͍͠…ʣ • ྠߨํࣜ • ಛʹษڧ͍ͨ͠τϐοΫ͸ݸਓʹׂΓ౰ͯɼ୭΋ر๬ऀ͕͍ͳ͍τϐοΫ͸ࢁຊ ͕ղઆ • ୲౰͸͜ͷ࣌ؒͷऴΘΓʹܾΊ·͠ΐ͏ 5
  6. ಋೖᶃɿͳͥਂ૚ֶशΛ࢖͏ͷ͔ʁ

  7. ԻָΛίϯϐϡʔλͰѻ͏ݚڀ෼໺ 7 Իָ৘ใॲཧ ԻָԻݯ (wav, mp3౳) ָේ (MIDI౳) ৘ใॲཧ ςΩετɾϝλσʔλ

    (Իָʹؔ͢Δ৘ใ) ԻָΛ࠾ේָͯ͠ේʹ͢ΔɼԻූ͔Βԋ૗Λੜ੒͢Δɼ ࡞ۂ͢ΔɼͦͷԻָʹ͍ͭͯͷ৘ใΛ֫ಘ͢Δ etc…
  8. Իָ৘ใॲཧͷछผ • ॲཧͷํ޲ • ࡞ΔɿԻ΍ָේΛੜ੒ or Ճ޻ • ௌ͘ɿԻ΍Իָ͔Β৘ใΛ֫ಘ •

    ର৅σʔλ • ԻڹσʔλɿԻͦͷ΋ͷɽwav౳ • ه߸දݱɿԻָΛූ߸Խͨ͠΋ͷ ʹ ָේɽMIDI౳ • ςΩετσʔλɿδϟϯϧɾϜʔυ౳ͷϝλσʔλɼՎࢺ౳ • ϨίʔυσʔλɿԻָ഑৴ͷௌ͍ͨཤྺ౳ • etc… 8
  9. Իָ৘ใॲཧ meets ਂ૚ֶश • ਂ૚ֶश͕Իָ৘ใॲཧͰٸ଎ʹ޿·ͬͨͷ͸2015~2018೥͘Β͍ • ʢ͜ͷลͷ೥୅ΛαʔϕΠ͢ΔͱλεΫΛDeepԽͨ࢝͠૆తͳ࿦จʹग़ձ͑Δ͔΋ʣ 9 $IPJFUBM"650."5*$5"((*/(64*/(%&&1 $0/70-65*0/"-/&63"-/&5803,4*4.*3

    )BEKFSFTFUBM%FFQ#BDIB4UFFSBCMF.PEFMGPS#BDI$IPSBMFT (FOFSBUJPO *$.-IUUQTXXX fl PXNBDIJOFTDPNIJTUPSZQSPKFDUT EFFQCBDIQPMZQIPOJDNVTJDHFOFSBUJPOCBDIDIPSBMFT +BOTTPOFUBM 4JOHJOHWPJDFTFQBSBUJPOXJUIEFFQVOFUDPOWPMVUJPOBMOFUXPSLT *4.*3
  10. Ͳͷํ໘ʹؔͯ͠΋ॲཧͷਫ਼౓্͕͕ͬͨ 10 ͲΜͳ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨʁ • ௌ͘ଆ -> ਓؒͷೳྗʹഭΔೝࣝೳྗ • ࣗಈ࠾ේɿ΄΅׬ᘳʹ͍ۙࣖίϐΛ࣮ݱ •

    Իݯ෼཭ɿࡶԻͷগͳ͍෼཭Ի • Իָδϟϯϧ෼ྨɿਓؒͱḮ৭ͳ͍ఔ౓ͷਖ਼ղ཰ etc… • ࡞Δଆ -> ҧ࿨ײͷগͳ͍૑࡞෺ • Վ੠ɾָԻ߹੒ɿຊ෺ͱؒҧ͏ఔ౓ͷߴਫ਼౓ͳ߹੒ • ࣗಈ࡞ۂɿैདྷٕज़ͷෆࣗવ͞Λͳָͨ͘͠ۂͷੜ੒
  11. ʢେ·͔ʹʣ3ஈ֊ 11 Իָ৘ใॲཧͷٕज़τϨϯυͷ͋ΏΈ ϧʔϧϕʔεख๏ ౷ܭతֶशϕʔε ख๏ ਂ૚ֶश ਓ͕ϧʔϧΛ༩͑ɼ ͦΕʹج͍ͮͯॲཧ ਓ͕ख͕͔Γ

    ʢԻڹಛ௃ྔɼ֬཰෼෍౳ʣΛ༩͑ɼ ͋ͱ͸σʔλ͔Βֶशͤ͞Δ ਂ૚χϡʔϥϧωοτϫʔΫΛར༻ ΑΓେྔͷσʔλΛجʹɼ ਓͷखΛʢ͋·ΓʣՃֶ͑ͣशͤ͞Δ JGd UIFOʜ FMTFJGd UIFOʜ Իָ৘ใॲཧͷᴈ໌ظ ‘00͋ͨΓ~ ‘10લ൒ ‘10ޙ൒~ σʔλͷ ׆༻ Ϗοά σʔλˍ ॲཧํ๏ͷ ਐԽ
  12. 12 3ͭͷख๏ͷൺֱ ਂ૚ֶश ಛ௃ྔ ݹయతػցֶश ϧʔϧϕʔε ඞཁͳϥϕϧσʔλྔ େྔ গྔ ͳͯ͘΋͓L

    ඞཁͳܭࢉػϦιʔε º ˓ ˚ʢϧʔϧͷܭࢉྔʹґΔʣ εέʔϥϏϦςΟ ʢଞλεΫ΁ͷస༻ͳͲΛ ॊೈʹରԠͰ͖Δ͔ʣ ˕ ˓ º ର৅ͷϞσϦϯάͷදݱྗ ˕ ̋ º υϝΠϯಛ༗ͷ஌ࣝͷഉআ ˓ ˚ º ݁ՌͷղऍՄೳੑ ˚ ˓ ˕ ख๏ ؍఺ σʔλۦಈܕΞϓϩʔν
  13. 13 ཁ͢Δʹɼਂ૚ֶश͸… • ͜͏͍͏৔߹ʹબ୒ࢶʹೖΔ • େྔͷσʔλ͕ѻ͑Δͱ͖ • ͱʹ͔͘ੑೳ͕ཉ͍͠ͱ͖ • ઐ໳஌ࣝʹΑΔϞσϦϯάʹݶքΛײͨ࣌͡

    • ൚༻తͰॊೈͳϞσϦϯάΛ͍ͨ͠ͱ͖ • ͜͏͍͏৔߹͸࢖Θͳ͍ํ͕͍͍ • σʔλ͕େྔʹͳ͍ • ର৅ʹର͢Δੑ࣭͕஌Γ͍ͨʢ㲎 ղऍՄೳੑʹ೉͕͋Δʣ • ؔ܎ੑ͕ࣗ໌ͱ͍͏ͱ͜Ζ·Ͱམͱ͠ࠐΊΔλεΫ
  14. ಋೖᶄɿਂ૚ֶशͷྲྀΕ

  15. ਂ૚ֶशΛ͢Δ্Ͱͷεςοϓ 1. σʔλͷ༻ҙ 2. σʔλͷલॲཧ 3. Ϟσϧͷֶश 4. ϞσϧͷςετʢධՁʣ 15

  16. PyTorch • MetaࣾʹΑΔਂ૚ֶशϥΠϒϥϦ • ݱࡏ͓ͦΒ͘࠷΋ϝδϟʔͰࢀߟʹͳΔ ࢿྉ΋ଟ͍ • σʔλͷલॲཧ΍४උपΓΛɼ Dataloaderͱ͍͏ಠࣗͷ࢓૊ΈͰ΍ͬͯ ͘ΕΔ

    16