Do It Yourself: Sonic Visualiserで音楽分析してみよう

2022年6月29日に行われたMusic×Analytics Meetup Vol.8 のLT発表資料です．
（一部修正予定）

Transcript

1. Do It Yourself: Sonic VisualiserͰԻָ෼ੳͯ͠ΈΑ͏ ʙσʔληοτͷϋϯυϦϯά΋ఴ͑ͯʙ 2022/06/29 Music × Analytics meetup vol.8 ࢁຊ ༤໵ (yamatchy)
2. ࣗݾ঺հ • ࢁຊ ༤໵ (yamatchy) • ஜ೾େֶେֶӃ D2 • ઐ໳ɿԻָɾԻڹ৘ใॲཧ • ʮՎএɾԋ૗ͱϓϨΠϠʔɾϦεφʔͷΩϡʔϐουʯ Λ࡞Γ͍ͨ • ͦͷϚονϯάͷצॴ͸Ͳ͜ʹ͋Δͷ͔ʁΛ௥͍ଓ͚ ࣦഊͷຖ೔ • ޷͖ͳΞʔςΟετɿΰʔϧσϯϘϯόʔ 2 ࿦จࣥචதͷ
   ͕ͨ͢ ͢Έ͔ɿ
   ͭ͘͹ͷ৿
3. ࠷ॳʹؔ܎ͳ͍ʢʁʣએ఻ • Իָ৘ใॲཧͷπʔϧΛ·ͱΊͯ·͢ • python/matlabଞͷϥΠϒϥϦɾσεΫτοϓΞϓϦ౳ • αʔϕΠࢿྉɾϨΫνϟʔࢿྉ౳ʢͨͩ͠શ෦ӳޠʣ • https://github.com/yamathcy/awesome-music- infomatics • Έͳ͞Μ΋Կ͔஌͍ͬͯͨΒPRʹͯ௥Ճ͓ئ͍ ͠·͢ʂ 3
4. ຊ୊ʹೖΓ·͢
5. ࠓ೔ͷ࿩୊ • Sonic visualiserͷ෍ڭ ঺հ 5 ఘϝϩϯ༷ͷπΠʔτΑΓ https://twitter.com/_Akira_Melon_/status/ 1538172760622776321 ͜ͷπʔϧ
6. Sonic visualiserͱ͸ • Queen MaryେֶͷCentre for digital music άϧʔϓ࡞ͷԻָ෼ੳͷͨΊͷιϑτ΢ΣΞ • ֶज़༻ʹ΋޿͘༻͍ΒΕΔʢओʹσʔλ ηοτΛ࡞ΔΞϊςʔγϣϯ໨తʣ • ࿦จ΋ग़ͯΔ • https://www.sonicvisualiser.org/ 6 $ISJT
   $BOOBN
   $ISJTUJBO
   -BOEPOF
   BOE
   .BSL
   4BOEMFS
   4POJD
   7JTVBMJTFS
   "O
   0QFO
   4PVSDF
   "QQMJDBUJPO
   GPS
   7JFXJOH
   "OBMZTJOH
   BOE
   "OOPUBUJOH
   .VTJD
   "VEJP
   'JMFT
   JO
   1SPDFFEJOHT
   PG
   UIF
   "$.
   .VMUJNFEJB
   
   *OUFSOBUJPOBM
   $POGFSFODF
   
7. wavΛಡΈࠐΜͰදࣔͯ͠৭ʑ΍Δͱ… 7 UIͷશମਤ
8. wavΛಡΈࠐΜͰදࣔͯ͠৭ʑ΍Δͱ… 8 UIͷશମਤ 🤔ʁ
9. Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍࡯ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹ൒ࣗಈͳʣΞϊςʔγϣϯ 9
10. Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍࡯ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹ൒ࣗಈͳʣΞϊςʔγϣϯ 10
11. σʔλɾϝλσʔλͷ؍࡯ 11 εϖΫτϩάϥϜ
    ʢ࣌ؒ͝ͱͷप೾਺ղੳ݁Ռʣ ৴߸೾ܗ εϖΫτϥϜ
    ʢ͋Δ࣌఺ͷ
    प೾਺ղੳͷ݁Ռʣ ♪ϩϏϯιϯ/εϐοπ
12. σʔλɾϝλσʔλͷ؍࡯ 12 όοΫίʔϥε
    ग़ݱ෦෼ Վͷϐον
    ʢ੨ۂઢʣ ՎͷԻූ
    ʢࠇઢʣ ίʔυਐߦ
    ʢλΠϛϯάɿ੺ઢʣ ♪ϩϏϯιϯ/εϐοπ
13. εϖΫτϩάϥϜදࣔͷόϦΤʔγϣϯ͕ͱʹ͔͍͘͢͝ 13 )[·Ͱ
    E#ৼ෯ ϐʔΫप೾਺ ͷΈڧௐ શप೾਺ଳҬ
    ઢܗৼ෯ Ґ૬ʢʂʣ
14. ͍ΖΜͳԻָಛ௃ྔͷՄࢹԽ΋Ͱ͖Δ 14 ΫϩϚάϥϜ
    ʢ֤Իͷ੒෼ͷڧ͞ʣ εϖΫτϧಛ௃ྔ
    ʢԻͷ໌Δ͞ɾ
    ͟Β͖ͭ౳ʣ $POTUBOU2εϖΫτϩάϥϜ
    ʢ௿Իͷ෼ղೳΛ্͛ͨεϖΫτϩάϥϜʣ .'$$
    ʢԻ৭ʹؔ͢Δಛ௃ྔʣ
15. Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍࡯ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹ൒ࣗಈͳʣΞϊςʔγϣϯ 15
16. Իָʹ͸͞·͟·ͳཁૉؚ͕·ΕΔ͕… 16 Sonic visualiserʹΑΔԻָ෼ੳ • Ϗʔτɼςϯϙ • Իָߏ଄ʢAϝϩɼαϏ౳ʣ • ϐονɾԻߴʢָේʣ • ίʔυਐߦ • Ի৭ʢ෼ੳ্Ͱ͸Իڹಛ௃ྔͱ͠ ͯهड़ʣ
17. Sonic visualiserͷϓϥάΠϯΛ࢖͑͹ࣗಈͰղੳͰ͖·͢ʂ 17 Sonic visualiserʹΑΔԻָ෼ੳ Ϗʔτʢᒵઢʣͱςϯϙʢࠨ্ʣ by Tempo and Beat tracker ίʔυਐߦ by Chordino ϝϩσΟݕग़ by Melodia ଞʹ΋Իූͷ࠾ේ΍Ωʔͷࣝผ౳৭ʑ
18. ۠ؒΛબΜͰ෼ੳ͔͚Δ͚ͩ 18 Sonic visualiserʹΑΔԻָ෼ੳ ख๏ͷ νϡʔχϯά΋Մೳ
19. Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍࡯ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹ൒ࣗಈͳʣΞϊςʔγϣϯ 19
20. Իָσʔλʹରͯ͠ϥϕϧΛ͚ͭΔ͜ͱ 20 Ξϊςʔγϣϯ EXɿίʔυਐߦਪఆ C C C G Am Am Em ϥϕϧ σʔληοτ࡞੒ʹෆՄܽɽ Իָͷ৔߹ɼϥϕϧ͕ۂશମͷ৔߹ ʢՎख໊ɼδϟϯϧ౳ʣͱɼ ۂதͷҰࠁҰࠁͷ৔߹ʢίʔυਐߦɼ Ϗʔτ౳ʣ͕ଘࡏ →஌͕ࣝͳ͍ͱ೉͍͠͠ΊͪΌେม
21. ʮݟͯʯʮௌ͍ͯʯʮ(࣌ʹ͸) ΍ͬͯ΋Β͏ʯΞϊςʔγϣϯ͕Մೳʂ 21 • ݟΔɿεϖΫτϩάϥϜ΍͍ΖΜͳಛ௃ྔΛՄࢹԽͰ͖Δ • ௌ͘ɿ΋ͪΖΜϓϨΠόοΫػೳ΋͋Δ • ΍ͬͯ΋Β͏ɿࣗಈղੳػೳ -> ޡࣝผΛमਖ਼ͯ࣌ؒ͠୹ॖ Sonic visualiserʹΑΔΞϊςʔγϣϯ BmͰ͸ͳ͘Bm7 8ΫϦοΫ ϥϕϧΛฤू ͯ͠௚͢
22. Իָͷ֤ཁૉʹ߹ΘͤͨϥϕϧʹରԠՄೳʂ 22 ଟछଟ༷ͳੑ࣭ͷϥϕϧΛαϙʔτ Time instance labelɿϥϕϧ+࣌ࠁɽ ϏʔτɼυϥϜͷԻූ౳ Time value labelɿ࿈ଓ஋+࣌ࠁɽϐον౳ NotesɿԻߴ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ MIDI౳ͷָේσʔλ Region labelɿϥϕϧ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ ίʔυਐߦɼηΫγϣϯɼ ΠϕϯτʢόοΫίʔϥεग़ݱ෦ʣ౳
23. ػցֶश౳ͷ෼ੳʹ͔͚Δͷ΋ϥΫϥΫ • ϥϕϧ͸CSVͰΠϯϙʔτ/ΤΫεϙʔτՄೳ • [࣌ؒ, ϥϕϧ]ͱ͍͏ྻܗࣜͰΤΫεϙʔτͰ͖Δ • ෼ੳࡁΈͷϥϕϧͷՄࢹԽ΋Մೳ 23 ϝϩσΟͷϐονΛ ΤΫεϙʔτ ֤ྻ͕ͲΜͳ஋͔ࢦఆ ͯ͠Πϯϙʔτ
24. Sonic visualiserΛ༻͍ͯߦΘΕͨ෼ੳ/࡞ΒΕͨσʔληοτ 24 • ϝλϧԻָͷεΫϦʔϜͷ෼ੳ • δϟζͷε΢Οϯά౓ • ༗໊ϰΝΠΦϦχετͷԋ૗෼ੳɾࣝผ • ՎএͷϐονͷͣΕͷ෼ੳ • ೆΠϯυ (Cartanic music) ͷଧָثԻָͷ෼ੳ • ҟͳΔ࢒ڹ؀ڥ͕ϐΞϊԋ૗ͷςϯϙʹٴ΅͢Өڹ • Վ੠ͱ࿩੠ͷൃԻͷҧ͍ͷ෼ੳ • etc… ݚڀऀͨͪ΋ޚ༻ୡ • AVP: ϘΠεύʔΧογϣϯ • SAMBASET: αϯόԋ૗ • EMOPIA: ϐΞϊԋ૗ͱײ৘෼ੳ • Dagstuhl ChoirSet: ߹এ • CBF dataset: தࠃͷԣథͷԋ૗ςΫχοΫ • etc… ෼ੳ σʔληοτ ʢจݙ৘ใ͸ޙ΄Ͳܝࡌ͠·͢m(_ _)mʣ
25. ͓ΘΓʹɿSonic visualiserͰͰ͖Δ͜ͱ 25 • 1ɽσʔλ/ϝλσʔλͷ؍࡯ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹ൒ࣗಈͳʣΞϊςʔγϣϯ Իָͷ෼ੳͰ͖Δ෯͕޿͕Γ·͢ʂ ͥͻSonic VisualiserΛ࢖ͬͯΈ͍ͯͩ͘͞ʂʂ https://www.sonicvisualiser.org/
26. End
27. ܑఋʢʁʣ෼ • Tonyʀࣖίϐπʔϧ • ୯Իԋ૗ͷ࠾ේʹಛԽͨ͠ɼεϖΫτϩάϥϜΛݟͳ͕Β࠾ේͷͰ͖Δ ศརͳπʔϧ • https://www.sonicvisualiser.org/tony/ 27
28. ܑఋʢʁʣ෼ • Sonic annotator • Sonic visualiserͷԻָ෼ੳΛίϚϯυϥΠϯͰ΍ͬͯ͘ΕΔ΋ͷ • https://vamp-plugins.org/sonic-annotator/ 28
29. qiitaͷهࣄ΋ॻ͍ͯ·ͨ͠ • https://qiita.com/yamathcy/items/db0626d01bb2c1f40107 • ޙฤΛ࡞͍ͬͯͳ͍ 29