Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Language-based Audio Moment Retrieval (Technica...

Language-based Audio Moment Retrieval (Technical seminar on acoustic scene and event analysis)

2024/10/17に同志社大学にて開催されたTechnical seminar on acoustic scene and event analysisでのLINEヤフーの発表資料です。

More Decks by LINEヤフーTech (LY Corporation Tech)

Other Decks in Technology

Transcript

  1. ˜-:$PSQPSBUJPO 4VNNBSZ 8FEFTJHOBOEQSPQPTFOFXUBTL BVEJPNPNFOUSFUSJFWBM ".3  3FUSJFWBMTQFDJGJDUJNFTFHNFOUTGSPNVOUSJNNFEBVEJP ɾ/FXEBUBTFU$MPUIP.PNFOU -BSHFTDBMFTJNVMBUFE".3EBUBTFU ɾ/FXNFUIPE"VEJPNPNFOU%&53

    ".3NPEFMJOTQJSFECZBWJEFPNPNFOUSFUSJFWBMNPEFM  *OQVUMPOHBVEJP 'SFR<L)[>          5JNF<TFDPOE> T T 5IFTDFOFJT CFUXFFO<T T> *OQVUUFYURVFSZ 0VUQVUBVEJPNPNFOU "VEJP NPNFOU SFUSJFWBM 8IFOJTUIFGPMMPXJOHTDFOF z4QFDUBUPSTXBUDI TQPSUTBOEDIFFSz 1SPKFDUQBHF
  2. ˜-:$PSQPSBUJPO %FNPPG".3 8FEFTJHOBOEQSPQPTFOFXUBTL BVEJPNPNFOUSFUSJFWBM ".3  3FUSJFWBMTQFDJGJDUJNFTFHNFOUTGSPNVOUSJNNFEBVEJP  1SPKFDUQBHF (SPVOEUSVUI

    NPNFOUT           5JNF<TFDPOE> TFD TFD z5XPQFPQMFQFSGPSN UBQEBODFUP CBDLHSPVOENVTJDz <TFD TFD> 1SFEJDUFE BVEJPNPNFOUT ".%&53 PVS".3NPEFM USBJOFEXJUI $MPUIP.PNFOU PVS".3EBUBTFU 5FYURVFSZ .PSF TBNQMFT
  3. ˜-:$PSQPSBUJPO -BOHVBHFCBTFEBVEJPSFUSJFWBM "UBTLUPTFBSDIGPSEFTJSFEBVEJPVTJOHBOBUVSBMMBOHVBHFRVFSZ $POWFOUJPOBMBVEJPSFUSJFWBMTFBSDIFTBUSJNNFEBVEJPDMJQGSPNBVEJPEBUBCBTF<> $POUSBTUJWFMFBSOJOHCBTFENPEFM1SPDFTTBVEJPBOEUFYUPOKPJOUFNCFEEJOHTQBDF  5FYURVFSZ "VEJPEBUBCBTF l"MBSHFCJSEGMJFTBXBZ 

    BGUFSBNBOTQFBLTz 3FUSJFWBMTZTUFN 3FUSJFWBMSFTVMUT TU OE ʜ "VEJP FODPEFS 5FYU FODPEFS "VEJP ʜ "VEJP 5FYU ʜ 5FYU +PJOUFNCFEEJOHTQBDF 1PTJUJWFQBJS 5FYUFNCFEEJOH /FHBUJWFQBJS 5FYUFNCFEEJOH "VEJPFNCFEEJOH <>,%SPTTPT FUBM l$MPUIP"O"VEJP$BQUJPOJOH%BUBTFU z*$"441 
  4. ˜-:$PSQPSBUJPO <>,%SPTTPT FUBM l$MPUIP"O"VEJP$BQUJPOJOH%BUBTFU z*$"441   "VEJP FODPEFS 5FYU

    FODPEFS "VEJP ʜ "VEJP 5FYU ʜ 5FYU +PJOUFNCFEEJOHTQBDF 1PTJUJWFQBJS 5FYUFNCFEEJOH /FHBUJWFQBJS 5FYUFNCFEEJOH "VEJPFNCFEEJOH -BOHVBHFCBTFEBVEJPSFUSJFWBM "UBTLUPTFBSDIGPSEFTJSFEBVEJPVTJOHBOBUVSBMMBOHVBHFRVFSZ $POWFOUJPOBMBVEJPSFUSJFWBMTFBSDIFTBUSJNNFEBVEJPDMJQGSPNBVEJPEBUBCBTF<> $POUSBTUJWFMFBSOJOHCBTFENPEFM1SPDFTTBVEJPBOEUFYUPOKPJOUFNCFEEJOHTQBDF 5FYURVFSZ "VEJPEBUBCBTF l"MBSHFCJSEGMJFTBXBZ  BGUFSBNBOTQFBLTz 3FUSJFWBMTZTUFN 3FUSJFWBMSFTVMUT TU OE ʜ $BOOPUTFBSDITQFDJGJDNPNFOUJOVOUSJNNFEBVEJP 'SFR<L)[>           5JNF<TFDPOE> T T
  5. ˜-:$PSQPSBUJPO 4FBSDIJOHTQFDJGJDNPNFOUJOVOUSJNNFEBVEJP 1SPQPTFBOFXUBTLOBNFEBVEJPNPNFOUSFUSJFWBM ".3  "QQMJDBUJPO  )JHIMJHIUNPNFOUEFUFDUJPOGPSTQPSUTCSPBEDBTUT  $SJNJOBMNPNFOUEFUFDUJPOGPSTVSWFJMMBODFTZTUFN

     *OQVUMPOHBVEJP 'SFR<L)[>           5JNF<TFDPOE> T T 5IFTDFOFJT CFUXFFO<T T> *OQVUUFYURVFSZ 0VUQVUBVEJPNPNFOU "VEJP NPNFOU SFUSJFWBM 8IFOJTUIFGPMMPXJOHTDFOF z4QFDUBUPSTXBUDI TQPSUTBOEDIFFSz
  6. ˜-:$PSQPSBUJPO 3FMBUFEXPSLT4PVOEFWFOUEFUFDUJPO 4&% "UBTLUPQSFEJDUFWFOUDMBTTMBCFMTBOEUJNFCPVOEBSJFT<> ,FZEJGGFSFODF ɾ4&%1SFEFUFSNJOFEMBCFMT ɾ".30QFOWPDBCVMBSZ  %PH $BS

    5JNF ʜ ʜ 4PVOEFWFOUEFUFDUJPO 1SFEFUFSNJOFE MBCFMT 4QFDJGJDDBTF *OQVUBVEJP <>&$BL’S FUBM l$POWPMVUJPOBMSFDVSSFOUOFVSBMOFUXPSLTGPSQPMZQIPOJDTPVOEFWFOUEFUFDUJPO z*&&&"$.5"4-1  &WFOUUJNFCPVOEBSJFT
  7. ˜-:$PSQPSBUJPO 3FMBUFEXPSLT7JEFPNPNFOUSFUSJFWBM 7.3 "UBTLPG$7GPDVTJOHPOWJTVBMJOGPSNBUJPOJOTUFBEPGBVEJP<> ,FZEJGGFSFODF ɾ7.3'PDVTPOWJTJPO 4PNFNPEFMTVTFBVEJPBTBVYJMJBSZJOGPSNBUJPO ɾ".3'PDVTPOBVEJP  <>-")FOESJDLT

    l-PDBMJ[JOHNPNFOUTJOWJEFPXJUIOBUVSBMMBOHVBHF z*$$7  *OQVUWJEFP       5JNF<TFDPOE> 5IFTDFOFJT CFUXFFO<T T> *OQVUUFYURVFSZ 0VUQVUWJEFPNPNFOU 7JEFP NPNFOU SFUSJFWBM 8IFOJTUIFGPMMPXJOHTDFOF z"XPNBOQSFQBSJOHBO BWPDBEPTBOEXJDIz
  8. ˜-:$PSQPSBUJPO 4USBJHIUGPSXBSETPMVUJPOGPS".3 $POWFOUJPOBMBVEJPSFUSJFWBMNPEFM TMJEJOHXJOEPX ɾ%JWJEFJOQVUBVEJPJOUPTIPSUTFHNFOUTCZTMJEJOHXJOEPX ɾ$BMDVMBUFTJNJMBSJUZCFUXFFOFBDIBVEJPTFHNFOUBOEUFYURVFSZ L $BOOPUDBQUVSFEFQFOEFODZCFUXFFOBVEJPTFHNFOUT ˠ 3FRVJSFNFOU

    ɾ%BUBTFUPGMPOHBVEJPUFYUEBUBXJUIUFNQPSBMBOOPUBUJPO ɾ.PEFMDPOTJEFSJOHUFNQPSBMEFQFOEFODZ  5FYURVFSZ l4QFDUBUPST XBUDITQPSUT BOEDIFFSz *OQVUBVEJP ʜ ʜ "VEJP FODPEFS 5FYU FODPEFS 4MJEJOH XJOEPX ʜ 4JNJMBSJUZ PG FBDIGSBNF $BMDVMBUF TJNJMBSJUZ
  9. ˜-:$PSQPSBUJPO /FX%BUBTFU$MPUIP.PNFOU %FTJHOPG".3EBUBTFUT ɾ0OFNJOVUFMPOH ɾ*ODMVEJOHTPNFTQFDJGJDTDFOFT UIBUDBOCFSFQSFTFOUFECZUFYU $MPUIP.PNFOU -BSHFTDBMFTJNVMBUFE".3EBUBTFU ɾ(FOFSBUFECZPWFSMBZJOHUXPEBUBTFU $MPUIP"VEJPUFYUQBJSEBUB

    8BMLJOH5PVST-POHWJEFPEBUBPWFSIPVST ɾ/PUSFRVJSJOHBEEJUJPOBMBOOPUBUJPO  2 2 T T T T T $MPUIPNPNFOU T 0WFSMBZ 24PNFPOF JTCBOHJOHPO BOFNQUZNFUBM DBO T T 2"MPVE  NFDIBOJDBMXIJSSJOH LFFQTSFTPOBUJOHBT UJNFLFFQTHPJOH T T 8BMLJOH5PVST $MPUIP $MPUIP
  10. ˜-:$PSQPSBUJPO /FXNFUIPE"VEJPNPNFOU ". %&53 ".3NPEFMJOTQJSFECZBWJEFPNPNFOUSFUSJFWBMNPEFM<> 5XPDPNQPOFOUT ɾ'FBUVSFFYUSBDUPS ɾ%FUFDUJPO5SBOTGPSNFS %&53 CBTFEOFUXPSL

    (JWFOBVEJPBOEUFYURVFSZ ".%&53PVUQVUTNPNFOUTBOEUIFJSDPOGJEFODFTDPSFT  $POGJEFODFTDPSFTBSFVTFEUPGJMUFSVOOFDFTTBSZQSFEJDUFEBVEJPNPNFOUT  .PNFOUT TUBSU FOE 4DPSFT T T T T T T ʜ    'FBUVSF FYUSBDUPS %&53CBTFE OFUXPSL *OQVUMPOHBVEJP 4QFDUBUPSTXBUDI TQPSUTBOEDIFFS 5FYURVFSZ ".%&53 <>9-JVFUBM l4FQBSBUFXIBUZPVEFTDSJCF-BOHVBHFRVFSJFEBVEJPTPVSDFTFQBSBUJPO z*OUFSTQFFDI 
  11. ˜-:$PSQPSBUJPO %&53CBTFEOFUXPSLPG".%&53 1SFEJDUJPOPGNPNFOUTBOEUIFJSDPOGJEFODFTDPSFT  $SPTT BUUFOUJPO USBOTGPSNFS ʜ 5SBJOBCMF BODIPST

    .PNFOUT TUBSU FOE 4DPSFT T T T T T T ʜ    5SBOTGPSNFS EFDPEFS 5SBOTGPSNFS FODPEFS ʜ $BQUVSFDSPTTNPEBM EFQFOEFODZCFUXFFO BVEJPBOEUFYU $BQUVSFUFNQPSBM EFQFOEFODZCFUXFFO MBUFOUGFBUVSFT 0VUQVU,QBJSTPG NPNFOUTBOETDPSFT CZUBLJOH,USBJOBCMFBODIPST ʜ 4FRVFOUJBM BVEJP FNCFEEJOH ʜ 4FRVFOUJBM UFYU FNCFEEJOH ,PVUQVUT 'FBUVSF FYUSBDUPS
  12. ˜-:$PSQPSBUJPO &YQFSJNFOUBMDPOGJHVSBUJPO .FUSJDT .FUSJDTVTFEJOWJEFPNPNFOUSFUSJFWBM ɾ3FDBMM!'PDVTPOBTJOHMFQSFEJDUFEBVEJPNPNFOUXJUIUPQTDPSF ɾ"WFSBHFN"1$POTJEFSBMMQSFEJDUFEHSPVOEUSVUIBVEJPNPNFOUT &WBMVBUJPOEBUBTFU ɾ$MPUIP.PNFOU 4JNVMBUJPOEBUBTFU r

    TFDPOET LTBNQMFT ɾ6O"7<>TVCTFU .BOVBMBOOPUBUJPOEBUBPGVOUSJNNFE:PV5VCFDMJQT  dTFDPOET TBNQMFT ɾ5654PVOE&WFOUT<>$POWFOUJPOBMEBUBTFUGPS4&%UBTL  dNJOVUFT TBNQMFT EJWJEFEJOUPTFDPOET  <>".FTBSPT FUBM l565EBUBCBTFGPSBDPVTUJDTDFOFDMBTTJGJDBUJPOBOETPVOEFWFOUEFUFDUJPO z&64*1$0  <>5(FOH FUBM l%FOTFMPDBMJ[JOHBVEJPWJTVBMFWFOUTJOVOUSJNNFEWJEFPT"MBSHFTDBMFCFODINBSLBOECBTFMJOF z$713 
  13. ˜-:$PSQPSBUJPO 3FTVMU".%&53WT4USBJHIUGPSXBSETPMVUJPO ɾ".%&53TJHOJGJDBOUMZPVUQFSGPSNFE$-"1<>XJUITMJEJOHXJOEPXJOBMMNFUSJDT ɾ1FSGPSNBODFPG5654PVOE&WFOUTJTMPX ˠ  7FSZTIPSUHSPVOEUSVUINPNFOUT  .VMUJQMFHSPVOEUSVUINPNFOUTGPSBTJOHMFRVFSZ 

    .PEFM $MPUIP.PNFOU 6O"7TVCTFU 5654PVOE&WFOUT 3! BWHN"1 3! BWHN"1 3! BWHN"1 $-"1XTMJXJO       ".%&53       <>#&MJ[BMEFFUBM l/BUVSBMMBOHVBHFTVQFSWJTJPOGPSHFOFSBMQVSQPTFBVEJPSFQSFTFOUBUJPOT *$"441 
  14. ˜-:$PSQPSBUJPO &YQFSJNFOU;FSPTIPU4&%QFSGPSNBODF ;FSPTIPU4&%GPS5654PVOE&WFOUT &WBMVBUJPOBTGSBNFMFWFMDMBTTJGJDBUJPO ɾ".%&53BDIJFWFE'TDPSFPGPWFSPGTVQFSWJTFENPEFMXJUIPVUUVOJOH ɾ5IFDPNCJOBUJPOPG$-"1BOETMJEJOHXJOEPXJTTFOTJUJWFUPUIFUISFTIPME ɾ".%&53JTSPCVTUUPUISFTIPME  .PEFM ;FSPTIPU

    5ISFTIPME 5VOJOH 1SFDJTJPO 3FDBMM ' $-"1XTMJXJO ✔      $-"1XTMJXJO ✔  ✔    ".%&53 ✔      ".%&53 ✔  ✔    3//  /" /" /" /" 
  15. ˜-:$PSQPSBUJPO &YQFSJNFOU;FSPTIPU4&%QFSGPSNBODF ;FSPTIPU4&%GPS5654PVOE&WFOUT &WBMVBUJPOBTGSBNFMFWFMDMBTTJGJDBUJPO ɾ".%&53BDIJFWFE'TDPSFPGPWFSPGTVQFSWJTFENPEFMXJUIPVUUVOJOH ɾ5IFDPNCJOBUJPOPG$-"1BOETMJEJOHXJOEPXJTTFOTJUJWFUPUIFUISFTIPME ɾ".%&53JTSPCVTUUPUISFTIPME  .PEFM ;FSPTIPU

    5ISFTIPME 5VOJOH 1SFDJTJPO 3FDBMM ' $-"1XTMJXJO ✔      $-"1XTMJXJO ✔  ✔    ".%&53 ✔      ".%&53 ✔  ✔    3//  /" /" /" /" 
  16. ˜-:$PSQPSBUJPO &YQFSJNFOU;FSPTIPU4&%QFSGPSNBODF ;FSPTIPU4&%GPS5654PVOE&WFOUT &WBMVBUJPOBTGSBNFMFWFMDMBTTJGJDBUJPO ɾ".%&53BDIJFWFE'TDPSFPGPWFSPGTVQFSWJTFENPEFMXJUIPVUUVOJOH ɾ5IFDPNCJOBUJPOPG$-"1BOETMJEJOHXJOEPXJTTFOTJUJWFUPUIFUISFTIPME ɾ".%&53JTSPCVTUUPUISFTIPME  .PEFM ;FSPTIPU

    5ISFTIPME 5VOJOH 1SFDJTJPO 3FDBMM ' $-"1XTMJXJO ✔      $-"1XTMJXJO ✔  ✔    ".%&53 ✔      ".%&53 ✔  ✔    3//  /" /" /" /" 
  17. ˜-:$PSQPSBUJPO &YQFSJNFOU;FSPTIPU4&%QFSGPSNBODF ;FSPTIPU4&%GPS5654PVOE&WFOUT &WBMVBUJPOBTGSBNFMFWFMDMBTTJGJDBUJPO ɾ".%&53BDIJFWFE'TDPSFPGPWFSPGTVQFSWJTFENPEFMXJUIPVUUVOJOH ɾ5IFDPNCJOBUJPOPG$-"1BOETMJEJOHXJOEPXJTTFOTJUJWFUPUIFUISFTIPME ɾ".%&53JTSPCVTUUPUISFTIPME  .PEFM ;FSPTIPU

    5ISFTIPME 5VOJOH 1SFDJTJPO 3FDBMM ' $-"1XTMJXJO ✔      $-"1XTMJXJO ✔  ✔    ".%&53 ✔      ".%&53 ✔  ✔    3//  /" /" /" /"