Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Do It Yourself: Sonic Visualiserで音楽分析してみよう
Search
Yuya Yamamoto
June 29, 2022
Research
0
1.6k
Do It Yourself: Sonic Visualiserで音楽分析してみよう
2022年6月29日に行われたMusic×Analytics Meetup Vol.8 のLT発表資料です.
(一部修正予定)
Yuya Yamamoto
June 29, 2022
Tweet
Share
More Decks by Yuya Yamamoto
See All by Yuya Yamamoto
GMI44@Music and Language研究のサーベイ報告
yamathcy
1
130
APSIPA 2023 Toward Leveraging Pre-Trained Self-Supervised Frontends for Automatic Singing Voice Understanding Tasks: Three Case Studies
yamathcy
0
79
muana vol.11 音楽識別の事前学習モデル
yamathcy
1
720
国際会議ISMIR2022報告(山本分)
yamathcy
0
170
2022年度情報学学位プログラム説明会 学生体験談
yamathcy
0
160
LSPC博士前期チュートリアル
yamathcy
0
180
MULTIMODAL METRIC LEARNING FOR TAG-BASED MUSIC RETRIEVAL@ICASSP2021読み会
yamathcy
0
1.8k
SIGMUS130-yamamoto
yamathcy
0
62
#muana IRM
yamathcy
0
2.4k
Other Decks in Research
See All in Research
[輪講] Transformer Layers as Painters
nk35jk
4
770
博士論文公聴会: Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining / PhD Defence
yuukit
1
140
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
490
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
450
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.4k
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
210
NLP2025 WS Shared Task 文法誤り訂正部門 ehiMetrick
sugiyamaseiji
0
170
NLP2025SharedTask翻訳部門
moriokataku
0
280
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
260
o1 pro mode の調査レポート
smorce
0
160
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
530
Scale-Aware Recognition in Satellite images Under Resource Constraints
satai
3
200
Featured
See All Featured
Music & Morning Musume
bryan
47
6.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
47
2.8k
Site-Speed That Sticks
csswizardry
6
560
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.8k
Documentation Writing (for coders)
carmenintech
71
4.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.6k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Code Review Best Practice
trishagee
68
18k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
179
53k
Transcript
Do It Yourself: Sonic VisualiserͰԻָੳͯ͠ΈΑ͏ ʙσʔληοτͷϋϯυϦϯάఴ͑ͯʙ 2022/06/29 Music × Analytics
meetup vol.8 ࢁຊ ༤ (yamatchy)
ࣗݾհ • ࢁຊ ༤ (yamatchy) • ஜେֶେֶӃ D2 • ઐɿԻָɾԻڹใॲཧ
• ʮՎএɾԋͱϓϨΠϠʔɾϦεφʔͷΩϡʔϐουʯ Λ࡞Γ͍ͨ • ͦͷϚονϯάͷצॴͲ͜ʹ͋Δͷ͔ʁΛ͍ଓ͚ ࣦഊͷຖ • ͖ͳΞʔςΟετɿΰʔϧσϯϘϯόʔ 2 จࣥචதͷ ͕ͨ͢ ͢Έ͔ɿ ͭ͘ͷ
࠷ॳʹؔͳ͍ʢʁʣએ • ԻָใॲཧͷπʔϧΛ·ͱΊͯ·͢ • python/matlabଞͷϥΠϒϥϦɾσεΫτοϓΞϓϦ • αʔϕΠࢿྉɾϨΫνϟʔࢿྉʢͨͩ͠શ෦ӳޠʣ • https://github.com/yamathcy/awesome-music- infomatics
• Έͳ͞ΜԿ͔͍ͬͯͨΒPRʹͯՃ͓ئ͍ ͠·͢ʂ 3
ຊʹೖΓ·͢
ࠓͷ • Sonic visualiserͷڭ հ 5 ఘϝϩϯ༷ͷπΠʔτΑΓ https://twitter.com/_Akira_Melon_/status/ 1538172760622776321 ͜ͷπʔϧ
Sonic visualiserͱ • Queen MaryେֶͷCentre for digital music άϧʔϓ࡞ͷԻָੳͷͨΊͷιϑτΣΞ •
ֶज़༻ʹ͘༻͍ΒΕΔʢओʹσʔλ ηοτΛ࡞ΔΞϊςʔγϣϯతʣ • จग़ͯΔ • https://www.sonicvisualiser.org/ 6 $ISJT$BOOBN $ISJTUJBO-BOEPOF BOE.BSL4BOEMFS 4POJD7JTVBMJTFS "O0QFO4PVSDF"QQMJDBUJPOGPS7JFXJOH "OBMZTJOH BOE"OOPUBUJOH .VTJD"VEJP'JMFT JO1SPDFFEJOHTPGUIF"$..VMUJNFEJB *OUFSOBUJPOBM$POGFSFODF
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 7 UIͷશମਤ
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 8 UIͷશମਤ 🤔ʁ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 9
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 10
σʔλɾϝλσʔλͷ؍ 11 εϖΫτϩάϥϜ ʢ࣌ؒ͝ͱͷपղੳ݁Ռʣ ৴߸ܗ εϖΫτϥϜ ʢ͋Δ࣌ͷ पղੳͷ݁Ռʣ ♪ϩϏϯιϯ/εϐοπ
σʔλɾϝλσʔλͷ؍ 12 όοΫίʔϥε ग़ݱ෦ Վͷϐον ʢ੨ۂઢʣ ՎͷԻූ ʢࠇઢʣ ίʔυਐߦ ʢλΠϛϯάɿઢʣ
♪ϩϏϯιϯ/εϐοπ
εϖΫτϩάϥϜදࣔͷόϦΤʔγϣϯ͕ͱʹ͔͍͘͢͝ 13 )[·Ͱ E#ৼ෯ ϐʔΫप ͷΈڧௐ શपଳҬ ઢܗৼ෯ Ґ૬ʢʂʣ
͍ΖΜͳԻָಛྔͷՄࢹԽͰ͖Δ 14 ΫϩϚάϥϜ ʢ֤Իͷͷڧ͞ʣ εϖΫτϧಛྔ ʢԻͷ໌Δ͞ɾ ͟Β͖ͭʣ $POTUBOU2εϖΫτϩάϥϜ ʢԻͷղೳΛ্͛ͨεϖΫτϩάϥϜʣ .'$$
ʢԻ৭ʹؔ͢Δಛྔʣ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 15
Իָʹ͞·͟·ͳཁૉؚ͕·ΕΔ͕… 16 Sonic visualiserʹΑΔԻָੳ • Ϗʔτɼςϯϙ • ԻָߏʢAϝϩɼαϏʣ • ϐονɾԻߴʢָේʣ
• ίʔυਐߦ • Ի৭ʢੳ্ͰԻڹಛྔͱ͠ ͯهड़ʣ
Sonic visualiserͷϓϥάΠϯΛ͑ࣗಈͰղੳͰ͖·͢ʂ 17 Sonic visualiserʹΑΔԻָੳ Ϗʔτʢᒵઢʣͱςϯϙʢࠨ্ʣ by Tempo and Beat
tracker ίʔυਐߦ by Chordino ϝϩσΟݕग़ by Melodia ଞʹԻූͷ࠾ේΩʔͷࣝผ৭ʑ
۠ؒΛબΜͰੳ͔͚Δ͚ͩ 18 Sonic visualiserʹΑΔԻָੳ ख๏ͷ νϡʔχϯάՄೳ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 19
Իָσʔλʹରͯ͠ϥϕϧΛ͚ͭΔ͜ͱ 20 Ξϊςʔγϣϯ EXɿίʔυਐߦਪఆ C C C G Am Am
Em ϥϕϧ σʔληοτ࡞ʹෆՄܽɽ Իָͷ߹ɼϥϕϧ͕ۂશମͷ߹ ʢՎख໊ɼδϟϯϧʣͱɼ ۂதͷҰࠁҰࠁͷ߹ʢίʔυਐߦɼ Ϗʔτʣ͕ଘࡏ →͕ࣝͳ͍ͱ͍͠͠ΊͪΌେม
ʮݟͯʯʮௌ͍ͯʯʮ(࣌ʹ) ͬͯΒ͏ʯΞϊςʔγϣϯ͕Մೳʂ 21 • ݟΔɿεϖΫτϩάϥϜ͍ΖΜͳಛྔΛՄࢹԽͰ͖Δ • ௌ͘ɿͪΖΜϓϨΠόοΫػೳ͋Δ • ͬͯΒ͏ɿࣗಈղੳػೳ ->
ޡࣝผΛमਖ਼ͯ࣌ؒ͠ॖ Sonic visualiserʹΑΔΞϊςʔγϣϯ BmͰͳ͘Bm7 8ΫϦοΫ ϥϕϧΛฤू ͯ͢͠
Իָͷ֤ཁૉʹ߹ΘͤͨϥϕϧʹରԠՄೳʂ 22 ଟछଟ༷ͳੑ࣭ͷϥϕϧΛαϙʔτ Time instance labelɿϥϕϧ+࣌ࠁɽ ϏʔτɼυϥϜͷԻූ Time value labelɿ࿈ଓ+࣌ࠁɽϐον
NotesɿԻߴ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ MIDIͷָේσʔλ Region labelɿϥϕϧ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ ίʔυਐߦɼηΫγϣϯɼ ΠϕϯτʢόοΫίʔϥεग़ݱ෦ʣ
ػցֶशͷੳʹ͔͚ΔͷϥΫϥΫ • ϥϕϧCSVͰΠϯϙʔτ/ΤΫεϙʔτՄೳ • [࣌ؒ, ϥϕϧ]ͱ͍͏ྻܗࣜͰΤΫεϙʔτͰ͖Δ • ੳࡁΈͷϥϕϧͷՄࢹԽՄೳ 23 ϝϩσΟͷϐονΛ
ΤΫεϙʔτ ֤ྻ͕ͲΜͳ͔ࢦఆ ͯ͠Πϯϙʔτ
Sonic visualiserΛ༻͍ͯߦΘΕͨੳ/࡞ΒΕͨσʔληοτ 24 • ϝλϧԻָͷεΫϦʔϜͷੳ • δϟζͷεΟϯά • ༗໊ϰΝΠΦϦχετͷԋੳɾࣝผ •
ՎএͷϐονͷͣΕͷੳ • ೆΠϯυ (Cartanic music) ͷଧָثԻָͷੳ • ҟͳΔڹڥ͕ϐΞϊԋͷςϯϙʹٴ΅͢Өڹ • ՎͱͷൃԻͷҧ͍ͷੳ • etc… ݚڀऀͨͪޚ༻ୡ • AVP: ϘΠεύʔΧογϣϯ • SAMBASET: αϯόԋ • EMOPIA: ϐΞϊԋͱײੳ • Dagstuhl ChoirSet: ߹এ • CBF dataset: தࠃͷԣథͷԋςΫχοΫ • etc… ੳ σʔληοτ ʢจݙใޙ΄Ͳܝࡌ͠·͢m(_ _)mʣ
͓ΘΓʹɿSonic visualiserͰͰ͖Δ͜ͱ 25 • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ ԻָͷੳͰ͖Δ෯͕͕Γ·͢ʂ
ͥͻSonic VisualiserΛͬͯΈ͍ͯͩ͘͞ʂʂ https://www.sonicvisualiser.org/
End
ܑఋʢʁʣ • Tonyʀࣖίϐπʔϧ • ୯Իԋͷ࠾ේʹಛԽͨ͠ɼεϖΫτϩάϥϜΛݟͳ͕Β࠾ේͷͰ͖Δ ศརͳπʔϧ • https://www.sonicvisualiser.org/tony/ 27
ܑఋʢʁʣ • Sonic annotator • Sonic visualiserͷԻָੳΛίϚϯυϥΠϯͰͬͯ͘ΕΔͷ • https://vamp-plugins.org/sonic-annotator/ 28
qiitaͷهࣄॻ͍ͯ·ͨ͠ • https://qiita.com/yamathcy/items/db0626d01bb2c1f40107 • ޙฤΛ࡞͍ͬͯͳ͍ 29