論文紹介：Few-shot sound event detection

ICASSP 2020 Wangら．

Transcript

1. 'FXTIPU
   TPVOE
   FWFOU
   EFUFDUJPO :V
   8BOH
   +VTUJO
   4BMBNPO
   /JDIPMBT
   +
   #SZBO
   +VBO
   1BCMP
   #FMMP 
   /FX
   :PSL
   6OJWFSTJUZ
   
   "EPCF
   3FTFBSDI *$"441
   
   
   αʔϕΠൃද ஜ೾େֶ .
   ࢁຊ ༤໵
2. ͦͷલʹ • *$"441ɿԻڹ৴߸ॲཧͷτοϓΧϯϑΝϨϯε • Ի͚ͩͰͳ͘ը૾΍ηϯασʔλ౳৴߸ॲཧத৺ʹϨϕϧͷߴ͍ݚڀ ͕ग़ଗ͏ • ࠓճ͸εϖΠϯͷόϧηϩφ͕ͩͬͨίϩφͷӨڹͰόʔνϟϧ։࠵ 2
3. *$"441Ͱ๻͕ײͨ͡τϨϯυ • ੜ੒ܥˠΑΓࣗવԻ੠ʹۙ͘ɼ͋Δ͍͸ίϯτϩʔϥϒϧʹԻΛੜ੒͢Δ • ಛ௃ྔͷղ͖΄͙͠දݱɿʮ%JTFOUBOHMFʯͱ͍͏ΩʔϫʔυͰώοτ͠·͢ • 8BWF/FUɾ7"&ɾ("/ͳͲ΋΋Γ΋Γ • %FFQ
   3FE
   0DFBOͩͳ͋ খฒײ • ೝࣝܥˠΑΓগͳ͍ϥϕϧσʔλͰͳΜͱ͔͢Δ • ൒ڭࢣ͋Γֶशɿϥϕϧͷ͋Δσʔλͱϥϕϧͷͳ͍σʔλΛֶࠞͥͯश • /4IPUֶशɿݕग़ର৅͕͘͝গ਺͔͠ूΊΒΕͳ͍৔߹ • 4FMG4VQFSWJTJPOɿڭࢣͳ͠σʔλ͔ΒݸʑΛݟ෼͚Δಛ௃Λൃݟ͢Δ 3
4. *$"441Ͱײͨ͡τϨϯυ • ໰୊ઃఆ͕໘ന͍΋ͷ΍࣮ར͕େ͖͍౳ɼϨουΦʔγϟϯʹߦ͔ͳ͔ͬͨ ݚڀ΋গ਺Ͱ͋Δ͕ଘࡏ • ࠓ೥ͷྫ • ՎࢺͷೝࣝɾΞϥΠϝϯτ͸൐૗Λ͚ͭͨ΄͏͕͏·͍͘͘ͷͰ͸ʁΛݕূ <(VQUB
   > • ਓؒΛ("/ͷ%JTDSJNJOBUPSͱͯ͠࢖͏Ի੠߹੒ <'VKJJ > • ָۂ͔ΒG L౳ɼ&YQMJDJUͳՎࢺΛݕग़ <7BHMJP > • ͍ͣΕʹͤΑɼ*4.*3ΑΓԥΓ߹͍ײ͕ڧ͍ձٞͩͳ͋ͱײͨ͡ 4
5. ͜ͷ࿦จ͕΍ͬͨ͜ͱ • গྔͷֶशσʔλͷΈͰԻ੠͔ΒಛఆͷΠϕϯτΛݕग़͢Δ 'FXTIPU
   ԻڹΠϕϯτݕग़ 5
6. ΋ͱ΋ͱͷϞνϕʔγϣϯ φϨʔγϣϯಈըɾ࿥ԻฤूͰ༨ܭͳ෦෼ΛऔΓআ͖͍ͨ ݴ͍ཎΈɼ֏෷͍ɼטΉɼࡶԻ͕ೖΔ౳ ˠ͍͟ฤूͯ͠ΈΔͱɼऔΓআ͘ͷ͸େมʂ ˠಉ͡Α͏ͳϛεςΠΫͳΒࣗಈݕग़ͯ͠ҰؾʹΧοτͰ͖ͳ͍͔ʁ 6 ࠓ೔ ͸ ͑ʔ θϛΛ ͑ʔ΍Ζ͏ͱ͑ʔ ࢥͬͯ͑ʔ ߦ͜͏ͱ͑ʔ 「えー」って⾔いすぎじゃね？ カットしたいけど全部⼿作業で トリミングすんのめんどくさ．．． 1個めの「えー」を選択するだけで 録⾳中の「えー」全部消せないかなぁ
7. ͜ͷ໰୊Λղܾ͢ΔͨΊͷোน Χοτର৅ͱͳΔҟԻΛݕग़͍ͨ͠ ˠ΄ͱΜͲͷ৔߹σʔληοτΛूΊΔͷ͸ෆՄೳ ݕग़ର৅͸৿ཏສ৅ͷԻͷதͰ͸ۃΊͯগ਺ ֶशσʔληοτʹͳ͘ɼ৽ͨʹ਺ΛूΊΒΕͳ͍৔߹΋ଟ͍ 7
8. ղܾࡦ 'FX4IPU
   -FBSOJOH • গ਺ͳϥϕϧ͖ͭσʔλΛݕग़Ͱ͖ΔΑ͏ʹ͢Δֶशํ๏ • ௨ৗͷڭࢣ͋Γֶशͱ͸ҟͳΓɼϥϕϧʹؔ͢ΔͳΜΒ͔ͷิॿ৘ใ Λར༻ͯ͠ݕग़Λߦ͏ • ػցֶशʹඞཁͳσʔλ΁ͷ ϥϕϧ෇༩ʹؔΘΔࠔ೉Λ ղܾ͢Δख๏ͱͯ͠ ஫໨͕ू·͍ͬͯΔ 8
9. 'FXTIPU
   MFBSOJOH͍Ζ͍Ζ ϥϕϧ৘ใͷηϚϯςΟΫεΛར༻ • ϥϕϧͷݴޠ৘ใΛ෼ࢄදݱʹͯ͠ڞʹۭؒຒΊࠐΈ <'SPNF > • ϥϕϧࣗମͷ֊૚ߏ଄Λར༻<-J
   > 9 ڑ཭ֶशΛར༻ ʮͦ΋ͦ΋ಉ͡Α͏ͳ΋ͷΛ͚ۙͮΔΑ͏ ͳۭؒࣗମΛ࡞Γग़ͯ͠͠·͓͏ʯ ɾLNFBOTతͳηϯτϩΠυΛ༻ҙ͢Δ 1SPUPUZQJDBM
   /FUXPSL<4OFMM
   > ΄͔͍Ζ͍Ζ ࠓճ͸ͬͪ͜
10. 'FXTIPU
    -FBSOJOH • $XBZ
    ,TIPU෼ྨ • $छྨͷগ਺ͷϥϕϧ͖ͭσʔλ͕,ݸ͋Δ৔߹ͷ෼ྨ • ͜ͷྫͩͱछྨͷϥϕϧɾݸͷσʔλ͕͋ΔͷͰXBZ
    TIPU 10 サポートセット： 少数しかない検出対象を かき集めた 学習データのようなもの クエリ： 検出対象となる⼊⼒
11. ڑ཭ֶशϕʔε'FXTIPU
    -FBSOJOH • ຒΊࠐΈ෦ɿσʔλΛϕΫτϧԽͯ͠ಉۭؒ͡ʹຒΊࠐΈ • ྨࣅ౓൑ఆ෦ɿΫΤϦʢ൑ఆ͍ͨ͠σʔλʣ͕ͲΕʹ͍͔ۙܭࢉ 11 CNNが エンコーダとして よく⽤いられる コサイン類似度や ユークリッド距離， 類似度算出のための ネットワークなど G_simでの 類似計算の結果， 最も近いラベルに分類
12. ࣮ࡍͲ͏ݕग़͢Δͷ͔ • αϙʔτηοτͱͯ͠ݕग़ର৅ͷԻΛ͍͔ͭ͘બ୒ͯ͠ਖ਼ྫͱ͢ΔʢDʣ • NTͣΒͯ͠σʔλ֦ு΋Ͱ͖Δ • ͦΕҎ֎ͷద౰ͳԻ͸ෛྫͱͯ͠ѻ͍ɼαϙʔτηοτʹϥϯμϜબग़ ʢݕग़ର৅͸ͦ͏ଟ͘ͳ͍ͱԾఆʣʢCʣ • ࢒ΓͷϑϨʔϜ͸ΫΤϦͱͯ͠ݕग़ʹ࢖༻ 12
13. ωοτϫʔΫΛֶश͢Δํ๏ &QJTPEJD
    5SBJOJOH • େن໛ͳσʔληοτͰϥϕϧΛ਺छྨબͼɼ'FXTIPU
    MFBSOJOHΛ ࣮ࢪˠϥϕϧͷ૊Έ߹ΘͤΛม͑Δ • Ϟσϧ͸ࣝผͷ࢓ํΛֶश͠ɼঃʑʹΫϥεඇґଘͷࣝผೳྗΛ֫ಘ • ෼ྨϩεΛ࠷খԽ͢ΔΑ͏ֶशͤ͞Δ 13
14. ࣮ݧ • Ի੠͔Βͷϫʔυݕग़ • ݕग़͍ͨ͠ର৅Λ͍͔ͭ͘બΜͰαϙʔτηοτͱͯ͠༩͑ɼ ΫΤϦҎ֎ͷԻ੠ΫϦοϓ͔Β୯ޠΛݕग़͢Δ 14 ͑ʔ θϛΛ͍·͔Β΍Ζ͏ͱ ͑ʔ ࢥ͍ͬͯ·͢ ͚Ͳ ͑ʔ ࠓ೔
15. ݕূ͢Δࣄ߲ • ෳ਺͋Δྨࣅ౓ࢉग़͸Ͳͷํ๏͕Α͍͔ʁ • ਖ਼ྫͱෛྫΛͲͷ͘Β͍αϙʔτηοτʹूΊΕ͹Α͍͔ʁ • ʢυϝΠϯͷҟͳΔσʔληοτʹରͯ͠΋ػೳ͢Δ͔ʁʣ 15
16. ࣮ݧɿͲͷྨࣅ౓ࢉग़ख๏͕͍͍͔ 'FX4IPU
    -FBSOJOHͷख๏ΛऔΓ্͛ͯੑೳΛࢼ͢ • 4JBNFTF
    /FUXPSL
    <,PDI
    >
    ˠͭͷೖྗ͕ಉ͡ͳΒ-ڑ཭Λۙ͘ • .BUDIJOH
    /FUXPSL
    <7JOZBMT >
    ˠ֤ϥϕϧͱͷ$PTڑ཭Λۙ͘ • 1SPUPUZQJDBM
    /FUXPSL
    <4OFMM
    >
    ˠ֤ϥϕϧͷฏۉϕΫτϧͱϢʔΫϦουڑ཭Λۙ͘ • 3FMBUJPO
    /FUXPSL
    <4VOH
    >
    ˠ$//Ͱྨࣅ౓ܭࢉ ˠओͳҧ͍͸ྨࣅ౓൑ఆ෦ɽಉ͡ϥϕϧͷϕΫτϧ͕ۙ͘͢ΔΑ͏ʹ ຒΊࠐΈۭؒΛֶश͢Δͱ͍͏ΞΠσΞ͸ಉ͡ 16
17. ֤ख๏ͷਤ 17
18. ࣮ݧɿ֤छ࣮ݧ৚݅ • σʔληοτ • 4QPLFO
    8JLJQFEJB
    $PSQPSB
    <,PIO
    > • 8JLJQFEJBͷӳޠ࿕ಡσʔληοτˠϫʔυΛݕग़ର৅ͱ͢Δ • ೖྗ • ඵͷԻ੠ΛL)[ͰαϯϓϦϯά • NT૭෯ɼNTͣΒ͠෯ɼ࣍ݩͷϝϧεϖΫτϩάϥϜʹม׵ ˠ º ͷߦྻ • ຒΊࠐΈ෦ • ૚ͷ$//Τϯίʔμʢº
    ϑΟϧλɼº
    .BY
    QPPMɼ׆ੑԽ 3F-6ʣ • ྨࣅ౓൑ఆ෦ • ֤ख๏ͰҟͳΔ 18
19. ࣮ݧɿධՁج४ • "613$ʀ"WFSBHF
    BSFB
    6OEFS
    UIF
    1SFDJTJPO3FDBMM
    $VSWF • "6$30$ͷ13ۂઢόʔδϣϯ • σʔλ͕*NCBMBODFʢ਺͕ෛྫਖ਼ྫͳ৔߹ͱ͔ʣʹΑ͘༻͍ΒΕΔ • ݕग़ΛऔΓ͜΅ͣ͞ɼ͔ͭਖ਼֬ʹ౰ͯΒΕ͔ͨΛධՁ 19 IUUQTXXXZPVUVCFDPN XBUDI W))KXP$U:" ΑΓҾ༻
20. ݁ՌɿͲͷྨࣅ౓ࢉग़͕͍͍͔ • $ɿϥϕϧͷछྨ਺ɼ ,ɿֶशͰ͖Δαϯϓϧ਺ΛมԽͤ͞ ࣮ݧ • Q͸ਖ਼ྫͷ਺ • 1SPUPUZQJDBM
    /FUXPSL͕ଞΑΓ ൺֱతߴ͍"613$ΛϚʔΫ 20
21. ݁Ռɿෛྫ਺ΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ • ෛྫͷ਺ΛOͱ͠ɼ $
    ,
    Q
    
    
    
     ɼσʔλ֦ுͳ͠Ͱݻఆ • OͰɼΫϦοϓதਖ਼ྫҎ֎ͷશͯΛ࢖ͬͨ৔߹ͱఔ౓ͷޡࠩ ˠෛྫ͸ਖ਼ྫͷഒఔ౓͋Ε͹Α͍ʁ 21 Allと1%以下の誤差 である74.69%
22. ݁Ռɿਖ਼ྫ਺ΛมԽͤͨ࣌͞ͷύϑΥʔϚϯεਪҠ • ਖ਼ྫͷ਺ΛQͱ͢Δ • Yʢ֦ு਺ʣ͸
    
    ͰมԽͤ͞Δ • ʢ$
    ,
    Oʣʢ
    
    BMMʣͰݻఆͨ͠ͱ͜Ζɼ QͰͷਫ਼౓ ˠݸબ୒͢Ε͹͘Β͍͸ݕग़Ͱ͖Δ • σʔλ֦ுͷޮՌ͸ബ͍ • ݕग़ର৅ͷXPSE͕ඵΑΓ௕͍ͱμϝʁ ˠݕग़ର৅ΛdඵͷXPSEʹݶఆ͢ ΔͱQ ͷ৔߹ͷ݁Ռ͕ಛʹվળ 22
23. ͓·͚݁ՌɿӳޠͰֶशͤͨ͞Ϟσϧ͸ଞݴޠͰ΋ػೳ͢Δʁ • Φϥϯμޠ %VUDI
    υΠπޠ (FSNBO Ͱ΋ӳޠͱಉ౳ͷ ੑೳΛϚʔΫ • ࣮ݧͰ͸΍ͬͯͳ͔͚ͬͨͲྲྀੴʹޠ଒͕཭ΕͯΔͱແཧ͔΋ʁ 23
24. ·ͱΊ • ௅ઓͨ͠໰୊ɿ໘౗ͳɼϑΝΠϧதͷࣅͨԻ୳͠ΛࣗಈͰ • ղܾࡦɿڑ཭ֶशΛجʹͨ͠'FXTIPU
    -FBSOJOH • ํ๏ɿ • ֶशɿ&QJTPEJD
    USBJOJOHͰϞσϧΛֶश • ςετɿݕग़ର৅͔൱͔Λ෼ྨ͢Δɼෛྫ͸ϥϯμϜʹબग़ • ݁Ռɿ • QSPUPUZQJDBM
    OFUXPSL͕࣮ݧతʹΑ͍͜ͱΛ֬ೝ • ਖ਼ྫݸͷબ୒ͰͷੑೳΛൃش • ֶश࣌ͷΫϦοϓͷ௕͞ʹऩ·Δݕग़ର৅͸ਖ਼ྫݸͷબ୒Ͱ΋ͷੑೳ • ӳޠͷձ࿩Ͱֶशͨ͠Ϟσϧ͸ΦϥϯμޠɼυΠπޠͰ΋ػೳ 24
25. "EPCFͷެࣜൃදσϞ • IUUQTZPVUVCFFC"MO89TL 25
26. ࢀߟจݙ • <8BOH
    >
    8BOH
    :
    4BMBNPO
    +
    #SZBO
    /
    +
    
    #FMMP
    +
    1
    
    .BZ 
    'FX4IPU
    4PVOE
    &WFOU
    %FUFDUJPO
    *O
    *$"441
    
    *&&&
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    "DPVTUJDT
    4QFFDI
    BOE
    4JHOBM
    1SPDFTTJOH
    *$"441
    QQ
     
    *&&& • <(VQUB
    >
    (VQUB
    $
    :’MNB[
    &
    
    -J
    )
    
    .BZ 
    "VUPNBUJD
    -ZSJDT
    "MJHONFOU
    BOE
    5SBOTDSJQUJPO
    JO
    1PMZQIPOJD
    .VTJD
    %PFT
    #BDLHSPVOE
    .VTJD
    )FMQ 
    *O *$"441
    
    *&&&
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    "DPVTUJDT
    4QFFDI
    BOE
    4JHOBM
    1SPDFTTJOH
    *$"441
    QQ
     
    *&&& • <'VKJJ >
    'VKJJ
    ,
    4BJUP
    :
    5BLBNJDIJ
    4
    #BCB
    :
    
    4BSVXBUBSJ
    )
    
    .BZ 
    )VNBO("/
    HFOFSBUJWF
    BEWFSTBSJBM
    OFUXPSL
    XJUI
    IVNBOCBTFE
    EJTDSJNJOBUPS
    BOE
    JUT
    FWBMVBUJPO
    JO
    TQFFDI
    QFSDFQUJPO
    NPEFMJOH
    *O
    *$"441
    
    *&&&
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    "DPVTUJDT
    4QFFDI
    BOE
    4JHOBM
    1SPDFTTJOH
    *$"441
    QQ
     
    *&&& • <7BHMJP >
    7BHMJP
    "
    )FOOFRVJO
    3
    .PVTTBMMBN
    .
    3JDIBSE
    (
    
    E`"MDIÉ#VD
    '
    
    .BZ 
    "VEJP#BTFE
    %FUFDUJPO
    PG
    &YQMJDJU
    $POUFOU
    JO
    .VTJD
    *O *$"441
    
    *&&&
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    "DPVTUJDT
    4QFFDI
    BOE
    4JHOBM
    1SPDFTTJOH
    *$"441 QQ
     
    *&&& • <'SPNF >
    'SPNF
    "
    $PSSBEP
    (
    4
    4IMFOT
    +
    #FOHJP
    4
    %FBO
    +
    3BO[BUP
    .
    "
    
    .JLPMPW
    5
     
    %FWJTF
    "
    EFFQ
    WJTVBMTFNBOUJD
    FNCFEEJOH
    NPEFM
    *O "EWBODFT
    JO
    OFVSBM
    JOGPSNBUJPO
    QSPDFTTJOH
    TZTUFNT QQ
      • <-J
    >
    -J
    "
    -VP
    5
    -V
    ;
    9JBOH
    5
    
    8BOH
    -
     
    -BSHFTDBMF
    GFXTIPU
    MFBSOJOH
    ,OPXMFEHF
    USBOTGFS
    XJUI
    DMBTT
    IJFSBSDIZ
    *O
    1SPDFFEJOHT
    PG
    UIF
    *&&&
    $POGFSFODF
    PO
    $PNQVUFS
    7JTJPO
    BOE
    1BUUFSO
    3FDPHOJUJPO
    QQ
      • <,PDI
    >
    ,PDI
    (
    ;FNFM
    3
    
    4BMBLIVUEJOPW
    3
    
    +VMZ 
    4JBNFTF
    OFVSBM
    OFUXPSLT
    GPS
    POFTIPU
    JNBHF
    SFDPHOJUJPO
    *O
    *$.-
    EFFQ
    MFBSOJOH
    XPSLTIPQ
    7PM
      • <7JOZBMT >
    7JOZBMT
    0
    #MVOEFMM
    $
    -JMMJDSBQ
    5
    
    8JFSTUSB
    %
     
    .BUDIJOH
    OFUXPSLT
    GPS
    POF
    TIPU
    MFBSOJOH
    *O
    "EWBODFT
    JO
    OFVSBM
    JOGPSNBUJPO
    QSPDFTTJOH
    TZTUFNT
    QQ
       • <4OFMM
    >
    4OFMM
    +
    4XFSTLZ
    ,
    
    ;FNFM
    3
     
    1SPUPUZQJDBM
    OFUXPSLT
    GPS
    GFXTIPU
    MFBSOJOH
    *O
    "EWBODFT
    JO
    OFVSBM
    JOGPSNBUJPO
    QSPDFTTJOH
    TZTUFNT
    QQ
      • <4VOH
    >
    4VOH
    '
    :BOH
    :
    ;IBOH
    -
    9JBOH
    5
    5PSS
    1
    )
    
    )PTQFEBMFT
    5
    .
     
    -FBSOJOH
    UP
    DPNQBSF
    3FMBUJPO
    OFUXPSL
    GPS
    GFXTIPU
    MFBSOJOH
    *O
    1SPDFFEJOHT
    PG
    UIF
    *&&&
    $POGFSFODF
    PO
    $PNQVUFS
    7JTJPO
    BOE
    1BUUFSO
    3FDPHOJUJPO
    QQ
      • <,PIO
    >
    "
    ,P
    „IO
    '
    4UFHFO
    BOE
    5
    #BVNBOO
    .JOJOH
    UIF
    TQPLFO
    XJLJQFEJB GPS
    TQFFDI
    EBUB
    BOE
    CFZPOE
    JO
    1SPDFFEJOHT
    PG
    UIF
    5FOUI
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    -BOHVBHF
    3FTPVSDFT
    BOE
    &WBMVBUJPO
    -3&$
    
    1BSJT
    'SBODF
    .BZ
    
    27