Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Do It Yourself: Sonic Visualiserで音楽分析してみよう
Search
Yuya Yamamoto
June 29, 2022
Research
0
590
Do It Yourself: Sonic Visualiserで音楽分析してみよう
2022年6月29日に行われたMusic×Analytics Meetup Vol.8 のLT発表資料です.
(一部修正予定)
Yuya Yamamoto
June 29, 2022
Tweet
Share
More Decks by Yuya Yamamoto
See All by Yuya Yamamoto
GMI44@Music and Language研究のサーベイ報告
yamathcy
1
98
APSIPA 2023 Toward Leveraging Pre-Trained Self-Supervised Frontends for Automatic Singing Voice Understanding Tasks: Three Case Studies
yamathcy
0
37
muana vol.11 音楽識別の事前学習モデル
yamathcy
1
500
国際会議ISMIR2022報告(山本分)
yamathcy
0
120
2022年度情報学学位プログラム説明会 学生体験談
yamathcy
0
87
LSPC博士前期チュートリアル
yamathcy
0
150
MULTIMODAL METRIC LEARNING FOR TAG-BASED MUSIC RETRIEVAL@ICASSP2021読み会
yamathcy
0
1.5k
SIGMUS130-yamamoto
yamathcy
0
47
#muana IRM
yamathcy
0
2k
Other Decks in Research
See All in Research
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
400
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
150
説明可能AI:代表的手法と最近の動向
yuyay
1
490
Schrödinger Bridge問題に基づく拡散生成モデル学習
takeshi_koshizuka
1
500
コミュニティ、人、関係性 / Community, The Inner World, Relationships
spring_aki
PRO
1
790
F0に基づいて伸縮された画像文字からの音声合成 [ASJ2024春]
nehi0615
0
100
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
130
生成AIを用いたText to SQLの最前線
masatoto
0
1k
近似最近傍探索とVector DBの理論的背景
matsui_528
2
640
[KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction / KDD2023 LY Tech Reading
shunk031
0
370
Gmail の「メール送信者のガイドライン」強化から 1 ヵ月、今後予想されるメールセキュリティの変化とは
hirachan
1
180
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
2
100
Featured
See All Featured
Happy Clients
brianwarren
91
6.3k
Making the Leap to Tech Lead
cromwellryan
122
8.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Git: the NoSQL Database
bkeepers
PRO
421
63k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
In The Pink: A Labor of Love
frogandcode
137
21k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
242
20k
Navigating Team Friction
lara
177
13k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
113
18k
Designing Experiences People Love
moore
135
23k
Six Lessons from altMBA
skipperchong
19
2.9k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Transcript
Do It Yourself: Sonic VisualiserͰԻָੳͯ͠ΈΑ͏ ʙσʔληοτͷϋϯυϦϯάఴ͑ͯʙ 2022/06/29 Music × Analytics
meetup vol.8 ࢁຊ ༤ (yamatchy)
ࣗݾհ • ࢁຊ ༤ (yamatchy) • ஜେֶେֶӃ D2 • ઐɿԻָɾԻڹใॲཧ
• ʮՎএɾԋͱϓϨΠϠʔɾϦεφʔͷΩϡʔϐουʯ Λ࡞Γ͍ͨ • ͦͷϚονϯάͷצॴͲ͜ʹ͋Δͷ͔ʁΛ͍ଓ͚ ࣦഊͷຖ • ͖ͳΞʔςΟετɿΰʔϧσϯϘϯόʔ 2 จࣥචதͷ ͕ͨ͢ ͢Έ͔ɿ ͭ͘ͷ
࠷ॳʹؔͳ͍ʢʁʣએ • ԻָใॲཧͷπʔϧΛ·ͱΊͯ·͢ • python/matlabଞͷϥΠϒϥϦɾσεΫτοϓΞϓϦ • αʔϕΠࢿྉɾϨΫνϟʔࢿྉʢͨͩ͠શ෦ӳޠʣ • https://github.com/yamathcy/awesome-music- infomatics
• Έͳ͞ΜԿ͔͍ͬͯͨΒPRʹͯՃ͓ئ͍ ͠·͢ʂ 3
ຊʹೖΓ·͢
ࠓͷ • Sonic visualiserͷڭ հ 5 ఘϝϩϯ༷ͷπΠʔτΑΓ https://twitter.com/_Akira_Melon_/status/ 1538172760622776321 ͜ͷπʔϧ
Sonic visualiserͱ • Queen MaryେֶͷCentre for digital music άϧʔϓ࡞ͷԻָੳͷͨΊͷιϑτΣΞ •
ֶज़༻ʹ͘༻͍ΒΕΔʢओʹσʔλ ηοτΛ࡞ΔΞϊςʔγϣϯతʣ • จग़ͯΔ • https://www.sonicvisualiser.org/ 6 $ISJT$BOOBN $ISJTUJBO-BOEPOF BOE.BSL4BOEMFS 4POJD7JTVBMJTFS "O0QFO4PVSDF"QQMJDBUJPOGPS7JFXJOH "OBMZTJOH BOE"OOPUBUJOH .VTJD"VEJP'JMFT JO1SPDFFEJOHTPGUIF"$..VMUJNFEJB *OUFSOBUJPOBM$POGFSFODF
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 7 UIͷશମਤ
wavΛಡΈࠐΜͰදࣔͯ͠৭ʑΔͱ… 8 UIͷશମਤ 🤔ʁ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 9
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 10
σʔλɾϝλσʔλͷ؍ 11 εϖΫτϩάϥϜ ʢ࣌ؒ͝ͱͷपղੳ݁Ռʣ ৴߸ܗ εϖΫτϥϜ ʢ͋Δ࣌ͷ पղੳͷ݁Ռʣ ♪ϩϏϯιϯ/εϐοπ
σʔλɾϝλσʔλͷ؍ 12 όοΫίʔϥε ग़ݱ෦ Վͷϐον ʢ੨ۂઢʣ ՎͷԻූ ʢࠇઢʣ ίʔυਐߦ ʢλΠϛϯάɿઢʣ
♪ϩϏϯιϯ/εϐοπ
εϖΫτϩάϥϜදࣔͷόϦΤʔγϣϯ͕ͱʹ͔͍͘͢͝ 13 )[·Ͱ E#ৼ෯ ϐʔΫप ͷΈڧௐ શपଳҬ ઢܗৼ෯ Ґ૬ʢʂʣ
͍ΖΜͳԻָಛྔͷՄࢹԽͰ͖Δ 14 ΫϩϚάϥϜ ʢ֤Իͷͷڧ͞ʣ εϖΫτϧಛྔ ʢԻͷ໌Δ͞ɾ ͟Β͖ͭʣ $POTUBOU2εϖΫτϩάϥϜ ʢԻͷղೳΛ্͛ͨεϖΫτϩάϥϜʣ .'$$
ʢԻ৭ʹؔ͢Δಛྔʣ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 15
Իָʹ͞·͟·ͳཁૉؚ͕·ΕΔ͕… 16 Sonic visualiserʹΑΔԻָੳ • Ϗʔτɼςϯϙ • ԻָߏʢAϝϩɼαϏʣ • ϐονɾԻߴʢָේʣ
• ίʔυਐߦ • Ի৭ʢੳ্ͰԻڹಛྔͱ͠ ͯهड़ʣ
Sonic visualiserͷϓϥάΠϯΛ͑ࣗಈͰղੳͰ͖·͢ʂ 17 Sonic visualiserʹΑΔԻָੳ Ϗʔτʢᒵઢʣͱςϯϙʢࠨ্ʣ by Tempo and Beat
tracker ίʔυਐߦ by Chordino ϝϩσΟݕग़ by Melodia ଞʹԻූͷ࠾ේΩʔͷࣝผ৭ʑ
۠ؒΛબΜͰੳ͔͚Δ͚ͩ 18 Sonic visualiserʹΑΔԻָੳ ख๏ͷ νϡʔχϯάՄೳ
Sonic visualiserͰͰ͖Δ͜ͱ • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ 19
Իָσʔλʹରͯ͠ϥϕϧΛ͚ͭΔ͜ͱ 20 Ξϊςʔγϣϯ EXɿίʔυਐߦਪఆ C C C G Am Am
Em ϥϕϧ σʔληοτ࡞ʹෆՄܽɽ Իָͷ߹ɼϥϕϧ͕ۂશମͷ߹ ʢՎख໊ɼδϟϯϧʣͱɼ ۂதͷҰࠁҰࠁͷ߹ʢίʔυਐߦɼ Ϗʔτʣ͕ଘࡏ →͕ࣝͳ͍ͱ͍͠͠ΊͪΌେม
ʮݟͯʯʮௌ͍ͯʯʮ(࣌ʹ) ͬͯΒ͏ʯΞϊςʔγϣϯ͕Մೳʂ 21 • ݟΔɿεϖΫτϩάϥϜ͍ΖΜͳಛྔΛՄࢹԽͰ͖Δ • ௌ͘ɿͪΖΜϓϨΠόοΫػೳ͋Δ • ͬͯΒ͏ɿࣗಈղੳػೳ ->
ޡࣝผΛमਖ਼ͯ࣌ؒ͠ॖ Sonic visualiserʹΑΔΞϊςʔγϣϯ BmͰͳ͘Bm7 8ΫϦοΫ ϥϕϧΛฤू ͯ͢͠
Իָͷ֤ཁૉʹ߹ΘͤͨϥϕϧʹରԠՄೳʂ 22 ଟछଟ༷ͳੑ࣭ͷϥϕϧΛαϙʔτ Time instance labelɿϥϕϧ+࣌ࠁɽ ϏʔτɼυϥϜͷԻූ Time value labelɿ࿈ଓ+࣌ࠁɽϐον
NotesɿԻߴ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ MIDIͷָේσʔλ Region labelɿϥϕϧ+։࢝࣌ࠁ+ऴྃ࣌ࠁɽ ίʔυਐߦɼηΫγϣϯɼ ΠϕϯτʢόοΫίʔϥεग़ݱ෦ʣ
ػցֶशͷੳʹ͔͚ΔͷϥΫϥΫ • ϥϕϧCSVͰΠϯϙʔτ/ΤΫεϙʔτՄೳ • [࣌ؒ, ϥϕϧ]ͱ͍͏ྻܗࣜͰΤΫεϙʔτͰ͖Δ • ੳࡁΈͷϥϕϧͷՄࢹԽՄೳ 23 ϝϩσΟͷϐονΛ
ΤΫεϙʔτ ֤ྻ͕ͲΜͳ͔ࢦఆ ͯ͠Πϯϙʔτ
Sonic visualiserΛ༻͍ͯߦΘΕͨੳ/࡞ΒΕͨσʔληοτ 24 • ϝλϧԻָͷεΫϦʔϜͷੳ • δϟζͷεΟϯά • ༗໊ϰΝΠΦϦχετͷԋੳɾࣝผ •
ՎএͷϐονͷͣΕͷੳ • ೆΠϯυ (Cartanic music) ͷଧָثԻָͷੳ • ҟͳΔڹڥ͕ϐΞϊԋͷςϯϙʹٴ΅͢Өڹ • ՎͱͷൃԻͷҧ͍ͷੳ • etc… ݚڀऀͨͪޚ༻ୡ • AVP: ϘΠεύʔΧογϣϯ • SAMBASET: αϯόԋ • EMOPIA: ϐΞϊԋͱײੳ • Dagstuhl ChoirSet: ߹এ • CBF dataset: தࠃͷԣథͷԋςΫχοΫ • etc… ੳ σʔληοτ ʢจݙใޙ΄Ͳܝࡌ͠·͢m(_ _)mʣ
͓ΘΓʹɿSonic visualiserͰͰ͖Δ͜ͱ 25 • 1ɽσʔλ/ϝλσʔλͷ؍ • 2ɽԻָཁૉͷࣗಈղੳ • 3ɽʢ࣌ʹࣗಈͳʣΞϊςʔγϣϯ ԻָͷੳͰ͖Δ෯͕͕Γ·͢ʂ
ͥͻSonic VisualiserΛͬͯΈ͍ͯͩ͘͞ʂʂ https://www.sonicvisualiser.org/
End
ܑఋʢʁʣ • Tonyʀࣖίϐπʔϧ • ୯Իԋͷ࠾ේʹಛԽͨ͠ɼεϖΫτϩάϥϜΛݟͳ͕Β࠾ේͷͰ͖Δ ศརͳπʔϧ • https://www.sonicvisualiser.org/tony/ 27
ܑఋʢʁʣ • Sonic annotator • Sonic visualiserͷԻָੳΛίϚϯυϥΠϯͰͬͯ͘ΕΔͷ • https://vamp-plugins.org/sonic-annotator/ 28
qiitaͷهࣄॻ͍ͯ·ͨ͠ • https://qiita.com/yamathcy/items/db0626d01bb2c1f40107 • ޙฤΛ࡞͍ͬͯͳ͍ 29