Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Do It Yourself: Sonic Visualiserで音楽分析してみよう
Search
Yuya Yamamoto
June 29, 2022
Research
0
640
Do It Yourself: Sonic Visualiserで音楽分析してみよう
2022年6月29日に行われたMusic×Analytics Meetup Vol.8 のLT発表資料です.
(一部修正予定)
Yuya Yamamoto
June 29, 2022
Tweet
Share
More Decks by Yuya Yamamoto
See All by Yuya Yamamoto
GMI44@Music and Language研究のサーベイ報告
yamathcy
1
110
APSIPA 2023 Toward Leveraging Pre-Trained Self-Supervised Frontends for Automatic Singing Voice Understanding Tasks: Three Case Studies
yamathcy
0
42
muana vol.11 音楽識別の事前学習モデル
yamathcy
1
530
国際会議ISMIR2022報告(山本分)
yamathcy
0
130
2022年度情報学学位プログラム説明会 学生体験談
yamathcy
0
100
LSPC博士前期チュートリアル
yamathcy
0
150
MULTIMODAL METRIC LEARNING FOR TAG-BASED MUSIC RETRIEVAL@ICASSP2021読み会
yamathcy
0
1.6k
SIGMUS130-yamamoto
yamathcy
0
48
#muana IRM
yamathcy
0
2.1k
Other Decks in Research
See All in Research
床面圧力センサ開発における感圧導電シート分離方式の検討 / WISS2023
yumulab
0
270
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
2
540
Target trial emulationの概要
shuntaros
2
1.1k
NeurIPS-23 参加報告 + DPO 解説
akifumi_wachi
4
1.5k
Refactoring Mining - The key to unlock software evolution
tsantalis
0
250
Generative AI - practice and theory
gpeyre
1
560
デフスポーツにおける支援技術 〜競技特性・ルールと技術との関係〜
slab
0
210
センサデータを活用した 肌質改善への支援システムに関する研究
comfortdesignlab
0
150
3D Human Mesh Estimationについていくつかまとめてみた / Survey about 3D Human Mesh Estimation
nttcom
0
210
リサーチに組織を巻き込むための「準備8割」の話
terasho
0
470
ICLR2024 LLMエージェントの研究動向
masatoto
6
1.7k
フルリモートワークでのスクラムのスケール
kmorita1111
2
1k
Featured
See All Featured
Statistics for Hackers
jakevdp
789
220k
BBQ
matthewcrist
80
8.8k
Raft: Consensus for Rubyists
vanstee
132
6.3k
Music & Morning Musume
bryan
41
5.6k
In The Pink: A Labor of Love
frogandcode
138
21k
How to train your dragon (web standard)
notwaldorf
73
5.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
How GitHub (no longer) Works
holman
304
140k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
2
3.4k
Design by the Numbers
sachag
274
18k
What’s in a name? Adding method to the madness
productmarketing
PRO
16
2.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Transcript
Do It Yourself: Sonic VisualiserͰԻָੳͯ͠ΈΑ͏ ʙσʔληοτͷϋϯυϦϯάఴ͑ͯʙ 2022/06/29 Music × Analytics
meetup vol.8 ࢁຊ ༤ (yamatchy)
ࣗݾհ • ࢁຊ ༤ (yamatchy) • ஜେֶେֶӃ D2 • ઐɿԻָɾԻڹใॲཧ
• ʮՎএɾԋͱϓϨΠϠʔɾϦεφʔͷΩϡʔϐουʯ Λ࡞Γ͍ͨ • ͦͷϚονϯάͷצॴͲ͜ʹ͋Δͷ͔ʁΛ͍ଓ͚ ࣦഊͷຖ • ͖ͳΞʔςΟετɿΰʔϧσϯϘϯόʔ 2 จࣥචதͷ ͕ͨ͢ ͢Έ͔ɿ ͭ͘ͷ
࠷ॳʹؔͳ͍ʢʁʣએ • ԻָใॲཧͷπʔϧΛ·ͱΊͯ·͢ • python/matlabଞͷϥΠϒϥϦɾσεΫτοϓΞϓϦ • αʔϕΠࢿྉɾϨΫνϟʔࢿྉʢͨͩ͠શ෦ӳޠʣ • https://github.com/yamathcy/awesome-music- infomatics
• Έͳ͞ΜԿ͔͍ͬͯͨΒPRʹͯՃ͓ئ͍ ͠·͢ʂ 3
ຊʹೖΓ·͢
ࠓͷ • Sonic visualiserͷڭ հ 5 ఘϝϩϯ༷ͷπΠʔτΑΓ https://twitter.com/_Akira_Melon_/status/ 1538172760622776321 ͜ͷπʔϧ
Sonic visualiserͱ • Queen MaryେֶͷCentre for digital music άϧʔϓ࡞ͷԻָੳͷͨΊͷιϑτΣΞ •
ֶज़༻ʹ͘༻͍ΒΕΔʢओʹσʔλ ηοτΛ࡞ΔΞϊςʔγϣϯతʣ • จग़ͯΔ • https://www.sonicvisualiser.org/ 6 $ISJT$BOOBN $ISJTUJBO-BOEPOF BOE.BSL4BOEMFS 4POJD7JTVBMJTFS "O0QFO4PVSDF"QQMJDBUJPOGPS7JFXJOH "OBMZTJOH BOE"OOPUBUJOH .VTJD"VEJP'JMFT JO1SPDFFEJOHTPGUIF"$..VMUJNFEJB *OUFSOBUJPOBM$POGFSFODF
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 7 UIͷશମਤ
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 8 UIͷશମਤ 🤔ʁ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 9
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 10
σʔλɾϝλσʔλͷ؍ 11 εϖΫτϩάϥϜ ʢ࣌ؒ͝ͱͷपղੳ݁Ռʣ ৴߸ܗ εϖΫτϥϜ ʢ͋Δ࣌ͷ पղੳͷ݁Ռʣ ♪ϩϏϯιϯ/εϐοπ
σʔλɾϝλσʔλͷ؍ 12 όοΫίʔϥε ग़ݱ෦ Վͷϐον ʢ੨ۂઢʣ ՎͷԻූ ʢࠇઢʣ ίʔυਐߦ ʢλΠϛϯάɿઢʣ
♪ϩϏϯιϯ/εϐοπ
εϖΫτϩάϥϜදࣔͷόϦΤʔγϣϯ͕ͱʹ͔͍͘͢͝ 13 )[·Ͱ E#ৼ෯ ϐʔΫप ͷΈڧௐ શपଳҬ ઢܗৼ෯ Ґ૬ʢʂʣ
͍ΖΜͳԻָಛྔͷՄࢹԽͰ͖Δ 14 ΫϩϚάϥϜ ʢ֤Իͷͷڧ͞ʣ εϖΫτϧಛྔ ʢԻͷ໌Δ͞ɾ ͟Β͖ͭʣ $POTUBOU2εϖΫτϩάϥϜ ʢԻͷղೳΛ্͛ͨεϖΫτϩάϥϜʣ .'$$
ʢԻ৭ʹؔ͢Δಛྔʣ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 15
Իָʹ͞·͟·ͳཁૉؚ͕·ΕΔ͕… 16 Sonic visualiserʹΑΔԻָੳ • Ϗʔτɼςϯϙ • ԻָߏʢAϝϩɼαϏʣ • ϐονɾԻߴʢָේʣ
• ίʔυਐߦ • Ի৭ʢੳ্ͰԻڹಛྔͱ͠ ͯهड़ʣ
Sonic visualiserͷϓϥάΠϯΛ͑ࣗಈͰղੳͰ͖·͢ʂ 17 Sonic visualiserʹΑΔԻָੳ Ϗʔτʢᒵઢʣͱςϯϙʢࠨ্ʣ by Tempo and Beat
tracker ίʔυਐߦ by Chordino ϝϩσΟݕग़ by Melodia ଞʹԻූͷ࠾ේΩʔͷࣝผ৭ʑ
۠ؒΛબΜͰੳ͔͚Δ͚ͩ 18 Sonic visualiserʹΑΔԻָੳ ख๏ͷ νϡʔχϯάՄೳ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 19
Իָσʔλʹରͯ͠ϥϕϧΛ͚ͭΔ͜ͱ 20 Ξϊςʔγϣϯ EXɿίʔυਐߦਪఆ C C C G Am Am
Em ϥϕϧ σʔληοτ࡞ʹෆՄܽɽ Իָͷ߹ɼϥϕϧ͕ۂશମͷ߹ ʢՎख໊ɼδϟϯϧʣͱɼ ۂதͷҰࠁҰࠁͷ߹ʢίʔυਐߦɼ Ϗʔτʣ͕ଘࡏ →͕ࣝͳ͍ͱ͍͠͠ΊͪΌେม
ʮݟͯʯʮௌ͍ͯʯʮ(࣌ʹ) ͬͯΒ͏ʯΞϊςʔγϣϯ͕Մೳʂ 21 • ݟΔɿεϖΫτϩάϥϜ͍ΖΜͳಛྔΛՄࢹԽͰ͖Δ • ௌ͘ɿͪΖΜϓϨΠόοΫػೳ͋Δ • ͬͯΒ͏ɿࣗಈղੳػೳ ->
ޡࣝผΛमਖ਼ͯ࣌ؒ͠ॖ Sonic visualiserʹΑΔΞϊςʔγϣϯ BmͰͳ͘Bm7 8ΫϦοΫ ϥϕϧΛฤू ͯ͢͠
Իָͷ֤ཁૉʹ߹ΘͤͨϥϕϧʹରԠՄೳʂ 22 ଟछଟ༷ͳੑ࣭ͷϥϕϧΛαϙʔτ Time instance labelɿϥϕϧ+࣌ࠁɽ ϏʔτɼυϥϜͷԻූ Time value labelɿ࿈ଓ+࣌ࠁɽϐον
NotesɿԻߴ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ MIDIͷָේσʔλ Region labelɿϥϕϧ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ ίʔυਐߦɼηΫγϣϯɼ ΠϕϯτʢόοΫίʔϥεग़ݱ෦ʣ
ػցֶशͷੳʹ͔͚ΔͷϥΫϥΫ • ϥϕϧCSVͰΠϯϙʔτ/ΤΫεϙʔτՄೳ • [࣌ؒ, ϥϕϧ]ͱ͍͏ྻܗࣜͰΤΫεϙʔτͰ͖Δ • ੳࡁΈͷϥϕϧͷՄࢹԽՄೳ 23 ϝϩσΟͷϐονΛ
ΤΫεϙʔτ ֤ྻ͕ͲΜͳ͔ࢦఆ ͯ͠Πϯϙʔτ
Sonic visualiserΛ༻͍ͯߦΘΕͨੳ/࡞ΒΕͨσʔληοτ 24 • ϝλϧԻָͷεΫϦʔϜͷੳ • δϟζͷεΟϯά • ༗໊ϰΝΠΦϦχετͷԋੳɾࣝผ •
ՎএͷϐονͷͣΕͷੳ • ೆΠϯυ (Cartanic music) ͷଧָثԻָͷੳ • ҟͳΔڹڥ͕ϐΞϊԋͷςϯϙʹٴ΅͢Өڹ • ՎͱͷൃԻͷҧ͍ͷੳ • etc… ݚڀऀͨͪޚ༻ୡ • AVP: ϘΠεύʔΧογϣϯ • SAMBASET: αϯόԋ • EMOPIA: ϐΞϊԋͱײੳ • Dagstuhl ChoirSet: ߹এ • CBF dataset: தࠃͷԣథͷԋςΫχοΫ • etc… ੳ σʔληοτ ʢจݙใޙ΄Ͳܝࡌ͠·͢m(_ _)mʣ
͓ΘΓʹɿSonic visualiserͰͰ͖Δ͜ͱ 25 • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ ԻָͷੳͰ͖Δ෯͕͕Γ·͢ʂ
ͥͻSonic VisualiserΛͬͯΈ͍ͯͩ͘͞ʂʂ https://www.sonicvisualiser.org/
End
ܑఋʢʁʣ • Tonyʀࣖίϐπʔϧ • ୯Իԋͷ࠾ේʹಛԽͨ͠ɼεϖΫτϩάϥϜΛݟͳ͕Β࠾ේͷͰ͖Δ ศརͳπʔϧ • https://www.sonicvisualiser.org/tony/ 27
ܑఋʢʁʣ • Sonic annotator • Sonic visualiserͷԻָੳΛίϚϯυϥΠϯͰͬͯ͘ΕΔͷ • https://vamp-plugins.org/sonic-annotator/ 28
qiitaͷهࣄॻ͍ͯ·ͨ͠ • https://qiita.com/yamathcy/items/db0626d01bb2c1f40107 • ޙฤΛ࡞͍ͬͯͳ͍ 29