論文紹介：Few-shot sound event detection

ICASSP 2020 Wangら．

Transcript

1. 'FXTIPUTPVOEFWFOUEFUFDUJPO
   :V8BOH +VTUJO4BMBNPO /JDIPMBT+#SZBO +VBO1BCMP#FMMP
   /FX:PSL6OJWFSTJUZ "EPCF3FTFBSDI
   *$"441
   αʔϕΠൃද
   ஜ೾େֶ .ࢁຊ ༤໵
   

   View Slide

2. ͦͷલʹ
   • *$"441ɿԻڹ৴߸ॲཧͷτοϓΧϯϑΝϨϯε
   • Ի͚ͩͰͳ͘ը૾΍ηϯασʔλ౳৴߸ॲཧத৺ʹϨϕϧͷߴ͍ݚڀ
   ͕ग़ଗ͏
   • ࠓճ͸εϖΠϯͷόϧηϩφ͕ͩͬͨίϩφͷӨڹͰόʔνϟϧ։࠵
   2
   

   View Slide

3. *$"441Ͱ๻͕ײͨ͡τϨϯυ
   • ੜ੒ܥˠΑΓࣗવԻ੠ʹۙ͘ɼ͋Δ͍͸ίϯτϩʔϥϒϧʹԻΛੜ੒͢Δ
   • ಛ௃ྔͷղ͖΄͙͠දݱɿʮ%JTFOUBOHMFʯͱ͍͏ΩʔϫʔυͰώοτ͠·͢
   • 8BWF/FUɾ7"&ɾ("/ͳͲ΋΋Γ΋Γ
   • %FFQ3FE0DFBOͩͳ͋ খฒײ
   
   • ೝࣝܥˠΑΓগͳ͍ϥϕϧσʔλͰͳΜͱ͔͢Δ
   • ൒ڭࢣ͋Γֶशɿϥϕϧͷ͋Δσʔλͱϥϕϧͷͳ͍σʔλΛֶࠞͥͯश
   • /4IPUֶशɿݕग़ର৅͕͘͝গ਺͔͠ूΊΒΕͳ͍৔߹
   • 4FMG4VQFSWJTJPOɿڭࢣͳ͠σʔλ͔ΒݸʑΛݟ෼͚Δಛ௃Λൃݟ͢Δ
   3
   

   View Slide

4. *$"441Ͱײͨ͡τϨϯυ
   • ໰୊ઃఆ͕໘ന͍΋ͷ΍࣮ར͕େ͖͍౳ɼϨουΦʔγϟϯʹߦ͔ͳ͔ͬͨ
   ݚڀ΋গ਺Ͱ͋Δ͕ଘࡏ
   • ࠓ೥ͷྫ
   • ՎࢺͷೝࣝɾΞϥΠϝϯτ͸൐૗Λ͚ͭͨ΄͏͕͏·͍͘͘ͷͰ͸ʁΛݕূ <(VQUB>
   • ਓؒΛ("/ͷ%JTDSJNJOBUPSͱͯ͠࢖͏Ի੠߹੒ <'VKJJ >
   • ָۂ͔ΒGL౳ɼ&YQMJDJUͳՎࢺΛݕग़ <7BHMJP >
   • ͍ͣΕʹͤΑɼ*4.*3ΑΓԥΓ߹͍ײ͕ڧ͍ձٞͩͳ͋ͱײͨ͡
   4
   

   View Slide

5. ͜ͷ࿦จ͕΍ͬͨ͜ͱ
   • গྔͷֶशσʔλͷΈͰԻ੠͔ΒಛఆͷΠϕϯτΛݕग़͢Δ
   'FXTIPUԻڹΠϕϯτݕग़
   5
   

   View Slide

6. ΋ͱ΋ͱͷϞνϕʔγϣϯ
   φϨʔγϣϯಈըɾ࿥ԻฤूͰ༨ܭͳ෦෼ΛऔΓআ͖͍ͨ
   ݴ͍ཎΈɼ֏෷͍ɼטΉɼࡶԻ͕ೖΔ౳
   ˠ͍͟ฤूͯ͠ΈΔͱɼऔΓআ͘ͷ͸େมʂ
   ˠಉ͡Α͏ͳϛεςΠΫͳΒࣗಈݕग़ͯ͠ҰؾʹΧοτͰ͖ͳ͍͔ʁ
   6
   ࠓ೔ ͸ ͑ʔ θϛΛ ͑ʔ΍Ζ͏ͱ͑ʔ ࢥͬͯ͑ʔ ߦ͜͏ͱ͑ʔ
   「えー」って⾔いすぎじゃね？
   カットしたいけど全部⼿作業で
   トリミングすんのめんどくさ．．．
   1個めの「えー」を選択するだけで
   録⾳中の「えー」全部消せないかなぁ
   

   View Slide

7. ͜ͷ໰୊Λղܾ͢ΔͨΊͷোน
   Χοτର৅ͱͳΔҟԻΛݕग़͍ͨ͠
   ˠ΄ͱΜͲͷ৔߹σʔληοτΛूΊΔͷ͸ෆՄೳ
   ݕग़ର৅͸৿ཏສ৅ͷԻͷதͰ͸ۃΊͯগ਺
   ֶशσʔληοτʹͳ͘ɼ৽ͨʹ਺ΛूΊΒΕͳ͍৔߹΋ଟ͍
   7
   

   View Slide

8. ղܾࡦ
   'FX4IPU-FBSOJOH
   • গ਺ͳϥϕϧ͖ͭσʔλΛݕग़Ͱ͖ΔΑ͏ʹ͢Δֶशํ๏
   • ௨ৗͷڭࢣ͋Γֶशͱ͸ҟͳΓɼϥϕϧʹؔ͢ΔͳΜΒ͔ͷิॿ৘ใ
   Λར༻ͯ͠ݕग़Λߦ͏
   • ػցֶशʹඞཁͳσʔλ΁ͷ
   ϥϕϧ෇༩ʹؔΘΔࠔ೉Λ
   ղܾ͢Δख๏ͱͯ͠
   ஫໨͕ू·͍ͬͯΔ
   8
   

   View Slide

9. 'FXTIPUMFBSOJOH͍Ζ͍Ζ
   ϥϕϧ৘ใͷηϚϯςΟΫεΛར༻
   • ϥϕϧͷݴޠ৘ใΛ෼ࢄදݱʹͯ͠ڞʹۭؒຒΊࠐΈ
   <'SPNF >
   • ϥϕϧࣗମͷ֊૚ߏ଄Λར༻<-J>
   9
   ڑ཭ֶशΛར༻
   ʮͦ΋ͦ΋ಉ͡Α͏ͳ΋ͷΛ͚ۙͮΔΑ͏
   ͳۭؒࣗମΛ࡞Γग़ͯ͠͠·͓͏ʯ
   ɾLNFBOTతͳηϯτϩΠυΛ༻ҙ͢Δ
   1SPUPUZQJDBM/FUXPSL<4OFMM>
   ΄͔͍Ζ͍Ζ
   ࠓճ͸ͬͪ͜
   

   View Slide

10. 'FXTIPU-FBSOJOH
    • $XBZ,TIPU෼ྨ
    • $छྨͷগ਺ͷϥϕϧ͖ͭσʔλ͕,ݸ͋Δ৔߹ͷ෼ྨ
    • ͜ͷྫͩͱछྨͷϥϕϧɾݸͷσʔλ͕͋ΔͷͰXBZTIPU
    10
    サポートセット：
    少数しかない検出対象を
    かき集めた
    学習データのようなもの
    クエリ：
    検出対象となる⼊⼒
    

    View Slide

11. ڑ཭ֶशϕʔε'FXTIPU-FBSOJOH
    • ຒΊࠐΈ෦ɿσʔλΛϕΫτϧԽͯ͠ಉۭؒ͡ʹຒΊࠐΈ
    • ྨࣅ౓൑ఆ෦ɿΫΤϦʢ൑ఆ͍ͨ͠σʔλʣ͕ͲΕʹ͍͔ۙܭࢉ
    11
    CNNが
    エンコーダとして
    よく⽤いられる
    コサイン類似度や
    ユークリッド距離，
    類似度算出のための
    ネットワークなど
    G_simでの
    類似計算の結果，
    最も近いラベルに分類
    

    View Slide

12. ࣮ࡍͲ͏ݕग़͢Δͷ͔
    • αϙʔτηοτͱͯ͠ݕग़ର৅ͷԻΛ͍͔ͭ͘બ୒ͯ͠ਖ਼ྫͱ͢ΔʢDʣ
    • NTͣΒͯ͠σʔλ֦ு΋Ͱ͖Δ
    • ͦΕҎ֎ͷద౰ͳԻ͸ෛྫͱͯ͠ѻ͍ɼαϙʔτηοτʹϥϯμϜબग़
    ʢݕग़ର৅͸ͦ͏ଟ͘ͳ͍ͱԾఆʣʢCʣ
    • ࢒ΓͷϑϨʔϜ͸ΫΤϦͱͯ͠ݕग़ʹ࢖༻
    12
    

    View Slide

13. ωοτϫʔΫΛֶश͢Δํ๏
    &QJTPEJD5SBJOJOH
    • େن໛ͳσʔληοτͰϥϕϧΛ਺छྨબͼɼ'FXTIPUMFBSOJOHΛ
    ࣮ࢪˠϥϕϧͷ૊Έ߹ΘͤΛม͑Δ
    • Ϟσϧ͸ࣝผͷ࢓ํΛֶश͠ɼঃʑʹΫϥεඇґଘͷࣝผೳྗΛ֫ಘ
    • ෼ྨϩεΛ࠷খԽ͢ΔΑ͏ֶशͤ͞Δ
    13
    

    View Slide

14. ࣮ݧ
    • Ի੠͔Βͷϫʔυݕग़
    • ݕग़͍ͨ͠ର৅Λ͍͔ͭ͘બΜͰαϙʔτηοτͱͯ͠༩͑ɼ
    ΫΤϦҎ֎ͷԻ੠ΫϦοϓ͔Β୯ޠΛݕग़͢Δ
    14
    ͑ʔ θϛΛ͍·͔Β΍Ζ͏ͱ ͑ʔ ࢥ͍ͬͯ·͢ ͚Ͳ ͑ʔ ࠓ೔
    

    View Slide

15. ݕূ͢Δࣄ߲
    • ෳ਺͋Δྨࣅ౓ࢉग़͸Ͳͷํ๏͕Α͍͔ʁ
    • ਖ਼ྫͱෛྫΛͲͷ͘Β͍αϙʔτηοτʹूΊΕ͹Α͍͔ʁ
    • ʢυϝΠϯͷҟͳΔσʔληοτʹରͯ͠΋ػೳ͢Δ͔ʁʣ
    15
    

    View Slide

16. ࣮ݧɿͲͷྨࣅ౓ࢉग़ख๏͕͍͍͔
    'FX4IPU-FBSOJOHͷख๏ΛऔΓ্͛ͯੑೳΛࢼ͢
    • 4JBNFTF/FUXPSL<,PDI>ˠͭͷೖྗ͕ಉ͡ͳΒ-ڑ཭Λۙ͘
    • .BUDIJOH/FUXPSL<7JOZBMT >ˠ֤ϥϕϧͱͷ$PTڑ཭Λۙ͘
    • 1SPUPUZQJDBM/FUXPSL<4OFMM>ˠ֤ϥϕϧͷฏۉϕΫτϧͱϢʔΫϦουڑ཭Λۙ͘
    • 3FMBUJPO/FUXPSL<4VOH>ˠ$//Ͱྨࣅ౓ܭࢉ
    ˠओͳҧ͍͸ྨࣅ౓൑ఆ෦ɽಉ͡ϥϕϧͷϕΫτϧ͕ۙ͘͢ΔΑ͏ʹ
    ຒΊࠐΈۭؒΛֶश͢Δͱ͍͏ΞΠσΞ͸ಉ͡
    16
    

    View Slide

17. ֤ख๏ͷਤ
    17
    

    View Slide

18. ࣮ݧɿ֤छ࣮ݧ৚݅
    • σʔληοτ
    • 4QPLFO8JLJQFEJB$PSQPSB<,PIO>
    • 8JLJQFEJBͷӳޠ࿕ಡσʔληοτˠϫʔυΛݕग़ର৅ͱ͢Δ
    • ೖྗ
    • ඵͷԻ੠ΛL)[ͰαϯϓϦϯά
    • NT૭෯ɼNTͣΒ͠෯ɼ࣍ݩͷϝϧεϖΫτϩάϥϜʹม׵
    ˠ º
    ͷߦྻ
    • ຒΊࠐΈ෦
    • ૚ͷ$//ΤϯίʔμʢºϑΟϧλɼº.BYQPPMɼ׆ੑԽ 3F-6ʣ
    • ྨࣅ౓൑ఆ෦
    • ֤ख๏ͰҟͳΔ
    18
    

    View Slide

19. ࣮ݧɿධՁج४
    • "613$ʀ"WFSBHFBSFB6OEFSUIF1SFDJTJPO3FDBMM$VSWF
    • "6$30$ͷ13ۂઢόʔδϣϯ
    • σʔλ͕*NCBMBODFʢ਺͕ෛྫਖ਼ྫͳ৔߹ͱ͔ʣʹΑ͘༻͍ΒΕΔ
    • ݕग़ΛऔΓ͜΅ͣ͞ɼ͔ͭਖ਼֬ʹ౰ͯΒΕ͔ͨΛධՁ
    19
    IUUQTXXXZPVUVCFDPN
    XBUDI W))KXP$U:"
    ΑΓҾ༻
    

    View Slide

20. ݁ՌɿͲͷྨࣅ౓ࢉग़͕͍͍͔
    • $ɿϥϕϧͷछྨ਺ɼ
    ,ɿֶशͰ͖Δαϯϓϧ਺ΛมԽͤ͞
    ࣮ݧ
    • Q͸ਖ਼ྫͷ਺
    • 1SPUPUZQJDBM/FUXPSL͕ଞΑΓ
    ൺֱతߴ͍"613$ΛϚʔΫ
    20
    

    View Slide

21. ݁Ռɿෛྫ਺ΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ
    • ෛྫͷ਺ΛOͱ͠ɼ $ , Q
    
    ɼσʔλ֦ுͳ͠Ͱݻఆ
    • OͰɼΫϦοϓதਖ਼ྫҎ֎ͷશͯΛ࢖ͬͨ৔߹ͱఔ౓ͷޡࠩ
    ˠෛྫ͸ਖ਼ྫͷഒఔ౓͋Ε͹Α͍ʁ
    21
    Allと1%以下の誤差
    である74.69%
    

    View Slide

22. ݁Ռɿਖ਼ྫ਺ΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ
    • ਖ਼ྫͷ਺ΛQͱ͢Δ
    • Yʢ֦ு਺ʣ͸ ͰมԽͤ͞Δ
    • ʢ$ , Oʣʢ BMMʣͰݻఆͨ͠ͱ͜Ζɼ
    QͰͷਫ਼౓
    ˠݸબ୒͢Ε͹͘Β͍͸ݕग़Ͱ͖Δ
    • σʔλ֦ுͷޮՌ͸ബ͍
    • ݕग़ର৅ͷXPSE͕ඵΑΓ௕͍ͱμϝʁ
    ˠݕग़ର৅ΛdඵͷXPSEʹݶఆ͢
    ΔͱQ ͷ৔߹ͷ݁Ռ͕ಛʹվળ
    22
    

    View Slide

23. ͓·͚݁ՌɿӳޠͰֶशͤͨ͞Ϟσϧ͸ଞݴޠͰ΋ػೳ͢Δʁ
    • Φϥϯμޠ %VUDI
    υΠπޠ (FSNBO
    Ͱ΋ӳޠͱಉ౳ͷ
    ੑೳΛϚʔΫ
    • ࣮ݧͰ͸΍ͬͯͳ͔͚ͬͨͲྲྀੴʹޠ଒͕཭ΕͯΔͱແཧ͔΋ʁ
    23
    

    View Slide

24. ·ͱΊ
    • ௅ઓͨ͠໰୊ɿ໘౗ͳɼϑΝΠϧதͷࣅͨԻ୳͠ΛࣗಈͰ
    • ղܾࡦɿڑ཭ֶशΛجʹͨ͠'FXTIPU-FBSOJOH
    • ํ๏ɿ
    • ֶशɿ&QJTPEJDUSBJOJOHͰϞσϧΛֶश
    • ςετɿݕग़ର৅͔൱͔Λ෼ྨ͢Δɼෛྫ͸ϥϯμϜʹબग़
    • ݁Ռɿ
    • QSPUPUZQJDBMOFUXPSL͕࣮ݧతʹΑ͍͜ͱΛ֬ೝ
    • ਖ਼ྫݸͷબ୒ͰͷੑೳΛൃش
    • ֶश࣌ͷΫϦοϓͷ௕͞ʹऩ·Δݕग़ର৅͸ਖ਼ྫݸͷબ୒Ͱ΋ͷੑೳ
    • ӳޠͷձ࿩Ͱֶशͨ͠Ϟσϧ͸ΦϥϯμޠɼυΠπޠͰ΋ػೳ
    24
    

    View Slide

25. "EPCFͷެࣜൃදσϞ
    • IUUQTZPVUVCFFC"MO89TL
    25
    

    View Slide

26. ࢀߟจݙ
    • <8BOH>8BOH : 4BMBNPO + #SZBO /+ #FMMP +1 .BZ
    'FX4IPU4PVOE&WFOU%FUFDUJPO*O*$"441*&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT
    4QFFDIBOE4JHOBM1SPDFTTJOH *$"441
    QQ
    *&&&
    • <(VQUB>(VQUB $ :’MNB[ & -J ) .BZ
    "VUPNBUJD-ZSJDT"MJHONFOUBOE5SBOTDSJQUJPOJO1PMZQIPOJD.VTJD%PFT#BDLHSPVOE.VTJD)FMQ *O *$"441
    *&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441
    QQ
    *&&&
    • <'VKJJ >'VKJJ , 4BJUP : 5BLBNJDIJ 4 #BCB : 4BSVXBUBSJ ) .BZ
    )VNBO("/HFOFSBUJWFBEWFSTBSJBMOFUXPSLXJUIIVNBOCBTFEEJTDSJNJOBUPSBOEJUTFWBMVBUJPOJO
    TQFFDIQFSDFQUJPONPEFMJOH*O*$"441*&&&*OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441
    QQ
    *&&&
    • <7BHMJP >7BHMJP " )FOOFRVJO 3 .PVTTBMMBN . 3JDIBSE ( E`"MDIÉ#VD ' .BZ
    "VEJP#BTFE%FUFDUJPOPG&YQMJDJU$POUFOUJO.VTJD*O *$"441*&&&
    *OUFSOBUJPOBM$POGFSFODFPO"DPVTUJDT 4QFFDIBOE4JHOBM1SPDFTTJOH *$"441
    QQ
    *&&&
    • <'SPNF >'SPNF " $PSSBEP (4 4IMFOT + #FOHJP 4 %FBO + 3BO[BUP ." .JLPMPW 5
    %FWJTF"EFFQWJTVBMTFNBOUJDFNCFEEJOHNPEFM*O "EWBODFTJOOFVSBM
    JOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ
    
    • <-J>-J " -VP 5 -V ; 9JBOH 5 8BOH -
    -BSHFTDBMFGFXTIPUMFBSOJOH,OPXMFEHFUSBOTGFSXJUIDMBTTIJFSBSDIZ*O1SPDFFEJOHTPGUIF*&&&$POGFSFODFPO
    $PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO QQ
    
    • <,PDI>,PDI ( ;FNFM 3 4BMBLIVUEJOPW 3 +VMZ
    4JBNFTFOFVSBMOFUXPSLTGPSPOFTIPUJNBHFSFDPHOJUJPO*O*$.-EFFQMFBSOJOHXPSLTIPQ 7PM
    
    • <7JOZBMT >7JOZBMT 0 #MVOEFMM $ -JMMJDSBQ 5 8JFSTUSB %
    .BUDIJOHOFUXPSLTGPSPOFTIPUMFBSOJOH*O"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ
    
    
    • <4OFMM>4OFMM + 4XFSTLZ , ;FNFM 3
    1SPUPUZQJDBMOFUXPSLTGPSGFXTIPUMFBSOJOH*O"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT QQ
    
    • <4VOH>4VOH ' :BOH : ;IBOH - 9JBOH 5 5PSS 1) )PTQFEBMFT 5.
    -FBSOJOHUPDPNQBSF3FMBUJPOOFUXPSLGPSGFXTIPUMFBSOJOH*O1SPDFFEJOHTPGUIF*&&&
    $POGFSFODFPO$PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO QQ
    
    • <,PIO>",P„IO '4UFHFO BOE5#BVNBOO .JOJOHUIFTQPLFOXJLJQFEJB GPSTQFFDIEBUBBOECFZPOEJO1SPDFFEJOHTPGUIF5FOUI*OUFSOBUJPOBM$POGFSFODFPO-BOHVBHF
    3FTPVSDFTBOE&WBMVBUJPO -3&$
    1BSJT 'SBODF .BZ
    27
    

    View Slide