LSPC deep-people for music processing #01 導入

筑波大学人と音の情報学研究室で行われた，
深層学習×音楽データの勉強会の資料を公開しています．
誤りなどがあるかもしれません．その場合，ご指摘お願いします．

#01 音楽×深層学習の導入

Transcript

1. Իָʹ͓͚Δਂ૚ֶश ~ಋೖ~ Deep-people #1
2. ͜ͷษڧձͷ໨త 2 • Ұॹʹਂ૚ֶशͭΑ͘ͳΖ͏ͥʂͳձ • LSPC͸DeepʹͭΑ͘ͳ͍… • ͔ͩΒΈΜͳͰษڧͯ͠஌ݟΛஷΊΑ͏ • ΰʔϧɿӃࢼͷܭըͷϞσϧΛ࣮૷ɾΧελϚΠζՄೳͳঢ়ଶʹͳΔ • ਂ૚ֶश/ର৅ͱ͢ΔԻɾԻָͷॲཧʹ͍ͭͯҰ௨Γ͸஌͍ͬͯΔ • PyTorchͰ࣮ݧΛߦ͏ϓϩάϥϜΛॻ͚Δ
3. ༧ఆ • ʢ࢑ఆʣय़ABC: ຖिਫ༵56ݶ • ͓ͦΒ͘Ͳͷߨٛͱ΋͔Ϳͬͯͳ͍͸ͣ • θϛͷ೔ఔͱඃͬͨΒม͑·͢ 3
4. ϕʔεͱͳΔࢿྉ • Musical Applications of Machine Learning (2021) • https://mac.kaist.ac.kr/~juhan/gct634/index.html • KAISTͷେֶӃͷߨٛࢿྉ, Իָ৘ใॲཧݚڀऀͷJuhan NamࢯʹΑͬͯ࡞੒ • Իָ৘ใॲཧ × ػցֶशɾਂ૚ֶशͷτϐοΫΛΧόʔ • ͪΐͬͱԻڹدΓɼָේܥͷτϐοΫΛΧόʔ͍ͯ͠Δࢿྉ͸୳͠·͢ • ॓୊Ͱαϯϓϧίʔυ͕෇͍͍ͯΔ • https://github.com/juhannam/gct634-ai613-2021 4
5. ຖճͷ಺༰ • ϨΫνϟʔ • ಺༰ʹؔͯ͠ྠߨܗࣜͰൃද • εϥΠυʹ·ͱΊΔ or ίʔυ͕͋Ε͹google colab౳Λۦ࢖ • ࢿྉΛͦͷ··ղઆͰ΋͓k ʢhowever ଞਓͷϓϨθϯͰղઆ͢Δͷ͸೉͍͠…ʣ • ྠߨํࣜ • ಛʹษڧ͍ͨ͠τϐοΫ͸ݸਓʹׂΓ౰ͯɼ୭΋ر๬ऀ͕͍ͳ͍τϐοΫ͸ࢁຊ ͕ղઆ • ୲౰͸͜ͷ࣌ؒͷऴΘΓʹܾΊ·͠ΐ͏ 5
6. ಋೖᶃɿͳͥਂ૚ֶशΛ࢖͏ͷ͔ʁ
7. ԻָΛίϯϐϡʔλͰѻ͏ݚڀ෼໺ 7 Իָ৘ใॲཧ ԻָԻݯ (wav, mp3౳) ָේ (MIDI౳) ৘ใॲཧ ςΩετɾϝλσʔλ (Իָʹؔ͢Δ৘ใ) ԻָΛ࠾ේָͯ͠ේʹ͢ΔɼԻූ͔Βԋ૗Λੜ੒͢Δɼ ࡞ۂ͢ΔɼͦͷԻָʹ͍ͭͯͷ৘ใΛ֫ಘ͢Δ etc…
8. Իָ৘ใॲཧͷछผ • ॲཧͷํ޲ • ࡞ΔɿԻ΍ָේΛੜ੒ or Ճ޻ • ௌ͘ɿԻ΍Իָ͔Β৘ใΛ֫ಘ • ର৅σʔλ • ԻڹσʔλɿԻͦͷ΋ͷɽwav౳ • ه߸දݱɿԻָΛූ߸Խͨ͠΋ͷ ʹ ָේɽMIDI౳ • ςΩετσʔλɿδϟϯϧɾϜʔυ౳ͷϝλσʔλɼՎࢺ౳ • ϨίʔυσʔλɿԻָ഑৴ͷௌ͍ͨཤྺ౳ • etc… 8
9. Իָ৘ใॲཧ meets ਂ૚ֶश • ਂ૚ֶश͕Իָ৘ใॲཧͰٸ଎ʹ޿·ͬͨͷ͸2015~2018೥͘Β͍ • ʢ͜ͷลͷ೥୅ΛαʔϕΠ͢ΔͱλεΫΛDeepԽͨ࢝͠૆తͳ࿦จʹग़ձ͑Δ͔΋ʣ 9 $IPJ
   FU
   BM
   "650."5*$
   5"((*/(
   64*/(
   %&&1
   $0/70-65*0/"-
   /&63"-
   /&5803,4
   *4.*3 )BEKFSFT
   FU
   BM
   %FFQ#BDI
   B
   4UFFSBCMF
   .PEFM
   GPS
   #BDI
   $IPSBMFT
   (FOFSBUJPO
   
   *$.-
   IUUQTXXX fl PXNBDIJOFTDPNIJTUPSZQSPKFDUT EFFQCBDIQPMZQIPOJDNVTJDHFOFSBUJPOCBDIDIPSBMFT
   +BOTTPO
   FU
   BM
   
   4JOHJOH
   WPJDF
   TFQBSBUJPO
   XJUI
   EFFQ
   VOFU
   DPOWPMVUJPOBM
   OFUXPSLT
   *4.*3
10. Ͳͷํ໘ʹؔͯ͠΋ॲཧͷਫ਼౓্͕͕ͬͨ 10 ͲΜͳ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨʁ • ௌ͘ଆ -> ਓؒͷೳྗʹഭΔೝࣝೳྗ • ࣗಈ࠾ේɿ΄΅׬ᘳʹ͍ۙࣖίϐΛ࣮ݱ • Իݯ෼཭ɿࡶԻͷগͳ͍෼཭Ի • Իָδϟϯϧ෼ྨɿਓؒͱḮ৭ͳ͍ఔ౓ͷਖ਼ղ཰ etc… • ࡞Δଆ -> ҧ࿨ײͷগͳ͍૑࡞෺ • Վ੠ɾָԻ߹੒ɿຊ෺ͱؒҧ͏ఔ౓ͷߴਫ਼౓ͳ߹੒ • ࣗಈ࡞ۂɿैདྷٕज़ͷෆࣗવ͞Λͳָͨ͘͠ۂͷੜ੒
11. ʢେ·͔ʹʣ3ஈ֊ 11 Իָ৘ใॲཧͷٕज़τϨϯυͷ͋ΏΈ ϧʔϧϕʔεख๏ ౷ܭతֶशϕʔε
    ख๏ ਂ૚ֶश ਓ͕ϧʔϧΛ༩͑ɼ ͦΕʹج͍ͮͯॲཧ ਓ͕ख͕͔Γ ʢԻڹಛ௃ྔɼ֬཰෼෍౳ʣΛ༩͑ɼ ͋ͱ͸σʔλ͔Βֶशͤ͞Δ ਂ૚χϡʔϥϧωοτϫʔΫΛར༻ ΑΓେྔͷσʔλΛجʹɼ ਓͷखΛʢ͋·ΓʣՃֶ͑ͣशͤ͞Δ JG
    d
    UIFOʜ
    FMTF
    JG
    d
    UIFOʜ Իָ৘ใॲཧͷᴈ໌ظ ‘00͋ͨΓ~ ‘10લ൒ ‘10ޙ൒~ σʔλͷ ׆༻ Ϗοά σʔλˍ ॲཧํ๏ͷ ਐԽ
12. 12 3ͭͷख๏ͷൺֱ ਂ૚ֶश ಛ௃ྔ ݹయతػցֶश ϧʔϧϕʔε ඞཁͳϥϕϧσʔλྔ େྔ গྔ ͳͯ͘΋͓L ඞཁͳܭࢉػϦιʔε º ˓ ˚ʢϧʔϧͷܭࢉྔʹґΔʣ εέʔϥϏϦςΟ
    ʢଞλεΫ΁ͷస༻ͳͲΛ
    ॊೈʹରԠͰ͖Δ͔ʣ ˕ ˓ º ର৅ͷϞσϦϯάͷදݱྗ ˕ ̋ º υϝΠϯಛ༗ͷ஌ࣝͷഉআ ˓ ˚ º ݁ՌͷղऍՄೳੑ ˚ ˓ ˕ ख๏ ؍఺ σʔλۦಈܕΞϓϩʔν
13. 13 ཁ͢Δʹɼਂ૚ֶश͸… • ͜͏͍͏৔߹ʹબ୒ࢶʹೖΔ • େྔͷσʔλ͕ѻ͑Δͱ͖ • ͱʹ͔͘ੑೳ͕ཉ͍͠ͱ͖ • ઐ໳஌ࣝʹΑΔϞσϦϯάʹݶքΛײͨ࣌͡ • ൚༻తͰॊೈͳϞσϦϯάΛ͍ͨ͠ͱ͖ • ͜͏͍͏৔߹͸࢖Θͳ͍ํ͕͍͍ • σʔλ͕େྔʹͳ͍ • ର৅ʹର͢Δੑ࣭͕஌Γ͍ͨʢ㲎 ղऍՄೳੑʹ೉͕͋Δʣ • ؔ܎ੑ͕ࣗ໌ͱ͍͏ͱ͜Ζ·Ͱམͱ͠ࠐΊΔλεΫ
14. ಋೖᶄɿਂ૚ֶशͷྲྀΕ
15. ਂ૚ֶशΛ͢Δ্Ͱͷεςοϓ 1. σʔλͷ༻ҙ 2. σʔλͷલॲཧ 3. Ϟσϧͷֶश 4. ϞσϧͷςετʢධՁʣ 15
16. PyTorch • MetaࣾʹΑΔਂ૚ֶशϥΠϒϥϦ • ݱࡏ͓ͦΒ͘࠷΋ϝδϟʔͰࢀߟʹͳΔ ࢿྉ΋ଟ͍ • σʔλͷલॲཧ΍४උपΓΛɼ Dataloaderͱ͍͏ಠࣗͷ࢓૊ΈͰ΍ͬͯ ͘ΕΔ 16