Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介:Few-shot sound event detection
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Yuya Yamamoto
May 26, 2020
340
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
論文紹介:Few-shot sound event detection
ICASSP 2020 Wangら.
Yuya Yamamoto
May 26, 2020
More Decks by Yuya Yamamoto
See All by Yuya Yamamoto
GMI44@Music and Language研究のサーベイ報告
yamathcy
1
160
APSIPA 2023 Toward Leveraging Pre-Trained Self-Supervised Frontends for Automatic Singing Voice Understanding Tasks: Three Case Studies
yamathcy
0
130
muana vol.11 音楽識別の事前学習モデル
yamathcy
1
820
国際会議ISMIR2022報告(山本分)
yamathcy
0
240
Do It Yourself: Sonic Visualiserで音楽分析してみよう
yamathcy
0
2k
2022年度情報学学位プログラム説明会 学生体験談
yamathcy
0
200
LSPC博士前期チュートリアル
yamathcy
0
220
MULTIMODAL METRIC LEARNING FOR TAG-BASED MUSIC RETRIEVAL@ICASSP2021読み会
yamathcy
0
1.9k
SIGMUS130-yamamoto
yamathcy
0
73
Featured
See All Featured
Digital Ethics as a Driver of Design Innovation
axbom
PRO
1
310
Discover your Explorer Soul
emna__ayadi
2
1.1k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
390
Accessibility Awareness
sabderemane
1
140
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.5k
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
4
2.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
408
66k
ラッコキーワード サービス紹介資料
rakko
1
3.6M
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
Joys of Absence: A Defence of Solitary Play
codingconduct
1
390
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.7k
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
180
Transcript
'FXTIPUTPVOEFWFOUEFUFDUJPO :V8BOH +VTUJO4BMBNPO /JDIPMBT+#SZBO +VBO1BCMP#FMMP /FX:PSL6OJWFSTJUZ "EPCF3FTFBSDI *$"441 αʔϕΠൃද ஜେֶ
.ࢁຊ ༤
ͦͷલʹ • *$"441ɿԻڹ৴߸ॲཧͷτοϓΧϯϑΝϨϯε • Ի͚ͩͰͳ͘ը૾ηϯασʔλ৴߸ॲཧத৺ʹϨϕϧͷߴ͍ݚڀ ͕ग़ଗ͏ • ࠓճεϖΠϯͷόϧηϩφ͕ͩͬͨίϩφͷӨڹͰόʔνϟϧ։࠵ 2
*$"441Ͱ͕ײͨ͡τϨϯυ • ੜܥˠΑΓࣗવԻʹۙ͘ɼ͋Δ͍ίϯτϩʔϥϒϧʹԻΛੜ͢Δ • ಛྔͷղ͖΄͙͠දݱɿʮ%JTFOUBOHMFʯͱ͍͏ΩʔϫʔυͰώοτ͠·͢ • 8BWF/FUɾ7"&ɾ("/ͳͲΓΓ • %FFQ3FE0DFBOͩͳ͋ খฒײ
• ೝࣝܥˠΑΓগͳ͍ϥϕϧσʔλͰͳΜͱ͔͢Δ • ڭࢣ͋Γֶशɿϥϕϧͷ͋Δσʔλͱϥϕϧͷͳ͍σʔλΛֶࠞͥͯश • /4IPUֶशɿݕग़ର͕͘͝গ͔͠ूΊΒΕͳ͍߹ • 4FMG4VQFSWJTJPOɿڭࢣͳ͠σʔλ͔ΒݸʑΛݟ͚ΔಛΛൃݟ͢Δ 3
*$"441Ͱײͨ͡τϨϯυ • ઃఆ͕໘ന͍ͷ࣮ར͕େ͖͍ɼϨουΦʔγϟϯʹߦ͔ͳ͔ͬͨ ݚڀগͰ͋Δ͕ଘࡏ • ࠓͷྫ • ՎࢺͷೝࣝɾΞϥΠϝϯτΛ͚ͭͨ΄͏͕͏·͍͘͘ͷͰʁΛݕূ <(VQUB> •
ਓؒΛ("/ͷ%JTDSJNJOBUPSͱͯ͠͏Ի߹ <'VKJJ > • ָۂ͔ΒG Lɼ&YQMJDJUͳՎࢺΛݕग़ <7BHMJP > • ͍ͣΕʹͤΑɼ*4.*3ΑΓԥΓ߹͍ײ͕ڧ͍ձٞͩͳ͋ͱײͨ͡ 4
͜ͷจ͕ͬͨ͜ͱ • গྔͷֶशσʔλͷΈͰԻ͔ΒಛఆͷΠϕϯτΛݕग़͢Δ 'FXTIPUԻڹΠϕϯτݕग़ 5
ͱͱͷϞνϕʔγϣϯ φϨʔγϣϯಈըɾԻฤूͰ༨ܭͳ෦ΛऔΓআ͖͍ͨ ݴ͍ཎΈɼ֏͍ɼטΉɼࡶԻ͕ೖΔ ˠ͍͟ฤूͯ͠ΈΔͱɼऔΓআ͘ͷେมʂ ˠಉ͡Α͏ͳϛεςΠΫͳΒࣗಈݕग़ͯ͠ҰؾʹΧοτͰ͖ͳ͍͔ʁ 6 ࠓ ͑ʔ θϛΛ
͑ʔΖ͏ͱ͑ʔ ࢥͬͯ͑ʔ ߦ͜͏ͱ͑ʔ 「えー」って⾔いすぎじゃね? カットしたいけど全部⼿作業で トリミングすんのめんどくさ... 1個めの「えー」を選択するだけで 録⾳中の「えー」全部消せないかなぁ
͜ͷΛղܾ͢ΔͨΊͷোน ΧοτରͱͳΔҟԻΛݕग़͍ͨ͠ ˠ΄ͱΜͲͷ߹σʔληοτΛूΊΔͷෆՄೳ ݕग़ରཏສͷԻͷதͰۃΊͯগ ֶशσʔληοτʹͳ͘ɼ৽ͨʹΛूΊΒΕͳ͍߹ଟ͍ 7
ղܾࡦ 'FX4IPU-FBSOJOH • গͳϥϕϧ͖ͭσʔλΛݕग़Ͱ͖ΔΑ͏ʹ͢Δֶशํ๏ • ௨ৗͷڭࢣ͋ΓֶशͱҟͳΓɼϥϕϧʹؔ͢ΔͳΜΒ͔ͷิॿใ Λར༻ͯ͠ݕग़Λߦ͏ • ػցֶशʹඞཁͳσʔλͷ ϥϕϧ༩ʹؔΘΔࠔΛ
ղܾ͢Δख๏ͱͯ͠ ͕ू·͍ͬͯΔ 8
'FXTIPUMFBSOJOH͍Ζ͍Ζ ϥϕϧใͷηϚϯςΟΫεΛར༻ • ϥϕϧͷݴޠใΛࢄදݱʹͯ͠ڞʹۭؒຒΊࠐΈ <'SPNF > • ϥϕϧࣗମͷ֊ߏΛར༻<-J> 9 ڑֶशΛར༻
ʮͦͦಉ͡Α͏ͳͷΛ͚ۙͮΔΑ͏ ͳۭؒࣗମΛ࡞Γग़ͯ͠͠·͓͏ʯ ɾLNFBOTతͳηϯτϩΠυΛ༻ҙ͢Δ 1SPUPUZQJDBM/FUXPSL<4OFMM> ΄͔͍Ζ͍Ζ ࠓճͬͪ͜
'FXTIPU-FBSOJOH • $XBZ,TIPUྨ • $छྨͷগͷϥϕϧ͖ͭσʔλ͕,ݸ͋Δ߹ͷྨ • ͜ͷྫͩͱछྨͷϥϕϧɾݸͷσʔλ͕͋ΔͷͰXBZTIPU 10 サポートセット: 少数しかない検出対象を
かき集めた 学習データのようなもの クエリ: 検出対象となる⼊⼒
ڑֶशϕʔε'FXTIPU-FBSOJOH • ຒΊࠐΈ෦ɿσʔλΛϕΫτϧԽͯ͠ಉۭؒ͡ʹຒΊࠐΈ • ྨࣅఆ෦ɿΫΤϦʢఆ͍ͨ͠σʔλʣ͕ͲΕʹ͍͔ۙܭࢉ 11 CNNが エンコーダとして よく⽤いられる コサイン類似度や
ユークリッド距離, 類似度算出のための ネットワークなど G_simでの 類似計算の結果, 最も近いラベルに分類
࣮ࡍͲ͏ݕग़͢Δͷ͔ • αϙʔτηοτͱͯ͠ݕग़ରͷԻΛ͍͔ͭ͘બͯ͠ਖ਼ྫͱ͢ΔʢDʣ • NTͣΒͯ͠σʔλ֦ுͰ͖Δ • ͦΕҎ֎ͷదͳԻෛྫͱͯ͠ѻ͍ɼαϙʔτηοτʹϥϯμϜબग़ ʢݕग़ରͦ͏ଟ͘ͳ͍ͱԾఆʣʢCʣ • ΓͷϑϨʔϜΫΤϦͱͯ͠ݕग़ʹ༻
12
ωοτϫʔΫΛֶश͢Δํ๏ &QJTPEJD5SBJOJOH • େنͳσʔληοτͰϥϕϧΛछྨબͼɼ'FXTIPUMFBSOJOHΛ ࣮ࢪˠϥϕϧͷΈ߹ΘͤΛม͑Δ • ϞσϧࣝผͷํΛֶश͠ɼঃʑʹΫϥεඇґଘͷࣝผೳྗΛ֫ಘ • ྨϩεΛ࠷খԽ͢ΔΑ͏ֶशͤ͞Δ 13
࣮ݧ • Ի͔Βͷϫʔυݕग़ • ݕग़͍ͨ͠ରΛ͍͔ͭ͘બΜͰαϙʔτηοτͱͯ͠༩͑ɼ ΫΤϦҎ֎ͷԻΫϦοϓ͔Β୯ޠΛݕग़͢Δ 14 ͑ʔ θϛΛ͍·͔ΒΖ͏ͱ ͑ʔ
ࢥ͍ͬͯ·͢ ͚Ͳ ͑ʔ ࠓ
ݕূ͢Δࣄ߲ • ෳ͋Δྨࣅࢉग़Ͳͷํ๏͕Α͍͔ʁ • ਖ਼ྫͱෛྫΛͲͷ͘Β͍αϙʔτηοτʹूΊΕΑ͍͔ʁ • ʢυϝΠϯͷҟͳΔσʔληοτʹରͯ͠ػೳ͢Δ͔ʁʣ 15
࣮ݧɿͲͷྨࣅࢉग़ख๏͕͍͍͔ 'FX4IPU-FBSOJOHͷख๏ΛऔΓ্͛ͯੑೳΛࢼ͢ • 4JBNFTF/FUXPSL<,PDI>ˠͭͷೖྗ͕ಉ͡ͳΒ-ڑΛۙ͘ • .BUDIJOH/FUXPSL<7JOZBMT >ˠ֤ϥϕϧͱͷ$PTڑΛۙ͘ • 1SPUPUZQJDBM/FUXPSL<4OFMM>ˠ֤ϥϕϧͷฏۉϕΫτϧͱϢʔΫϦουڑΛۙ͘ •
3FMBUJPO/FUXPSL<4VOH>ˠ$//Ͱྨࣅܭࢉ ˠओͳҧ͍ྨࣅఆ෦ɽಉ͡ϥϕϧͷϕΫτϧ͕ۙ͘͢ΔΑ͏ʹ ຒΊࠐΈۭؒΛֶश͢Δͱ͍͏ΞΠσΞಉ͡ 16
֤ख๏ͷਤ 17
࣮ݧɿ֤छ࣮ݧ݅ • σʔληοτ • 4QPLFO8JLJQFEJB$PSQPSB<,PIO> • 8JLJQFEJBͷӳޠ࿕ಡσʔληοτˠϫʔυΛݕग़ରͱ͢Δ • ೖྗ •
ඵͷԻΛL)[ͰαϯϓϦϯά • NT૭෯ɼNTͣΒ͠෯ɼ࣍ݩͷϝϧεϖΫτϩάϥϜʹม ˠ º ͷߦྻ • ຒΊࠐΈ෦ • ͷ$//ΤϯίʔμʢºϑΟϧλɼº.BYQPPMɼ׆ੑԽ 3F-6ʣ • ྨࣅఆ෦ • ֤ख๏ͰҟͳΔ 18
࣮ݧɿධՁج४ • "613$ʀ"WFSBHFBSFB6OEFSUIF1SFDJTJPO3FDBMM$VSWF • "6$30$ͷ13ۂઢόʔδϣϯ • σʔλ͕*NCBMBODFʢ͕ෛྫਖ਼ྫͳ߹ͱ͔ʣʹΑ͘༻͍ΒΕΔ • ݕग़ΛऔΓ͜΅ͣ͞ɼ͔ͭਖ਼֬ʹͯΒΕ͔ͨΛධՁ 19
IUUQTXXXZPVUVCFDPN XBUDI W))KXP$U:" ΑΓҾ༻
݁ՌɿͲͷྨࣅࢉग़͕͍͍͔ • $ɿϥϕϧͷछྨɼ ,ɿֶशͰ͖ΔαϯϓϧΛมԽͤ͞ ࣮ݧ • Qਖ਼ྫͷ • 1SPUPUZQJDBM/FUXPSL͕ଞΑΓ ൺֱతߴ͍"613$ΛϚʔΫ
20
݁ՌɿෛྫΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ • ෛྫͷΛOͱ͠ɼ $ , Q
ɼσʔλ֦ுͳ͠Ͱݻఆ • OͰɼΫϦοϓதਖ਼ྫҎ֎ͷશͯΛͬͨ߹ͱఔͷޡࠩ ˠෛྫਖ਼ྫͷഒఔ͋ΕΑ͍ʁ 21 Allと1%以下の誤差 である74.69%
݁Ռɿਖ਼ྫΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ • ਖ਼ྫͷΛQͱ͢Δ • Yʢ֦ுʣ ͰมԽͤ͞Δ • ʢ$ ,
Oʣʢ BMMʣͰݻఆͨ͠ͱ͜Ζɼ QͰͷਫ਼ ˠݸબ͢Ε͘Β͍ݕग़Ͱ͖Δ • σʔλ֦ுͷޮՌബ͍ • ݕग़ରͷXPSE͕ඵΑΓ͍ͱμϝʁ ˠݕग़ରΛdඵͷXPSEʹݶఆ͢ ΔͱQ ͷ߹ͷ݁Ռ͕ಛʹվળ 22
͓·͚݁ՌɿӳޠͰֶशͤͨ͞ϞσϧଞݴޠͰػೳ͢Δʁ • Φϥϯμޠ %VUDI υΠπޠ (FSNBO Ͱӳޠͱಉͷ ੑೳΛϚʔΫ • ࣮ݧͰͬͯͳ͔͚ͬͨͲྲྀੴʹޠ͕ΕͯΔͱແཧ͔ʁ
23
·ͱΊ • ઓͨ͠ɿ໘ͳɼϑΝΠϧதͷࣅͨԻ୳͠ΛࣗಈͰ • ղܾࡦɿڑֶशΛجʹͨ͠'FXTIPU-FBSOJOH • ํ๏ɿ • ֶशɿ&QJTPEJDUSBJOJOHͰϞσϧΛֶश •
ςετɿݕग़ର͔൱͔Λྨ͢ΔɼෛྫϥϯμϜʹબग़ • ݁Ռɿ • QSPUPUZQJDBMOFUXPSL͕࣮ݧతʹΑ͍͜ͱΛ֬ೝ • ਖ਼ྫݸͷબͰͷੑೳΛൃش • ֶश࣌ͷΫϦοϓͷ͞ʹऩ·Δݕग़ରਖ਼ྫݸͷબͰͷੑೳ • ӳޠͷձͰֶशͨ͠ϞσϧΦϥϯμޠɼυΠπޠͰػೳ 24
"EPCFͷެࣜൃදσϞ • IUUQTZPVUVCFFC"MO89TL 25
ࢀߟจݙ • <8BOH>8BOH : 4BMBNPO + #SZBO /+ #FMMP +1
.BZ 'FX4IPU4PVOE&WFOU%FUFDUJPO*O*$"441*&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441 QQ *&&& • <(VQUB>(VQUB $ :MNB[ & -J ) .BZ "VUPNBUJD-ZSJDT"MJHONFOUBOE5SBOTDSJQUJPOJO1PMZQIPOJD.VTJD%PFT#BDLHSPVOE.VTJD)FMQ *O *$"441 *&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441 QQ *&&& • <'VKJJ >'VKJJ , 4BJUP : 5BLBNJDIJ 4 #BCB : 4BSVXBUBSJ ) .BZ )VNBO("/HFOFSBUJWFBEWFSTBSJBMOFUXPSLXJUIIVNBOCBTFEEJTDSJNJOBUPSBOEJUTFWBMVBUJPOJO TQFFDIQFSDFQUJPONPEFMJOH*O*$"441*&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441 QQ *&&& • <7BHMJP >7BHMJP " )FOOFRVJO 3 .PVTTBMMBN . 3JDIBSE ( E`"MDIÉ#VD ' .BZ "VEJP#BTFE%FUFDUJPOPG&YQMJDJU$POUFOUJO.VTJD*O *$"441*&&& *OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441 QQ *&&& • <'SPNF >'SPNF " $PSSBEP (4 4IMFOT + #FOHJP 4 %FBO + 3BO[BUP ." .JLPMPW 5 %FWJTF"EFFQWJTVBMTFNBOUJDFNCFEEJOHNPEFM*O "EWBODFTJOOFVSBM JOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ • <-J>-J " -VP 5 -V ; 9JBOH 5 8BOH - -BSHFTDBMFGFXTIPUMFBSOJOH,OPXMFEHFUSBOTGFSXJUIDMBTTIJFSBSDIZ*O1SPDFFEJOHTPGUIF*&&&$POGFSFODFPO $PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO QQ • <,PDI>,PDI ( ;FNFM 3 4BMBLIVUEJOPW 3 +VMZ 4JBNFTFOFVSBMOFUXPSLTGPSPOFTIPUJNBHFSFDPHOJUJPO*O*$.-EFFQMFBSOJOHXPSLTIPQ 7PM • <7JOZBMT >7JOZBMT 0 #MVOEFMM $ -JMMJDSBQ 5 8JFSTUSB % .BUDIJOHOFUXPSLTGPSPOFTIPUMFBSOJOH*O"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ • <4OFMM>4OFMM + 4XFSTLZ , ;FNFM 3 1SPUPUZQJDBMOFUXPSLTGPSGFXTIPUMFBSOJOH*O"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ • <4VOH>4VOH ' :BOH : ;IBOH - 9JBOH 5 5PSS 1) )PTQFEBMFT 5. -FBSOJOHUPDPNQBSF3FMBUJPOOFUXPSLGPSGFXTIPUMFBSOJOH*O1SPDFFEJOHTPGUIF*&&& $POGFSFODFPO$PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO QQ • <,PIO>",PIO '4UFHFO BOE5#BVNBOO .JOJOHUIFTQPLFOXJLJQFEJB GPSTQFFDIEBUBBOECFZPOEJO1SPDFFEJOHTPGUIF5FOUI*OUFSOBUJPOBM$POGFSFODFPO-BOHVBHF 3FTPVSDFTBOE&WBMVBUJPO -3&$ 1BSJT 'SBODF .BZ 27