マルチモーダル基盤モデルに基づく動画と音の解析技術

LINEヤフー株式会社で研究開発しているマルチモーダル基盤モデルを活用した動画と音の解析技術について紹介する．LINEヤフーでは動画や音を扱うサービスを提供しており，サービスの改善に向けて検索やタギング技術について研究開発しており，さまざまなサービスへの応用可能な日本語版のマルチモーダル基盤モデルに注目している．本発表では，日本語版の動画-テキスト基盤モデルの構築と，基盤モデルのさらなる応用例として動画区間検索技術について紹介する．

Transcript

1. ˜
   -:
   $PSQPSBUJPO -*/&Ϡϑʔגࣜձࣾ σʔλάϧʔϓ %4౷ׅຊ෦ ຊ෦ .VMUJNPEBM
   "*෦ 7JEFP
   "OBMZTJTνʔϜ फ૾ ๺ే ϚϧνϞʔμϧج൫Ϟσϧʹجͮ͘ ಈըͱԻͷղੳٕज़ 
2. ˜
   -:
   $PSQPSBUJPO ུྺ • 
   େࡕେֶ ޻ֶݚڀՊ ۨ୩ݚڀࣨ ֶ࢜ɼम࢜ • ਂ૚ֶश౷ܭత৴߸ॲཧʹجͮ͘Իݯ෼཭ • 
   -*/&גࣜձࣾ • ՎএऀμΠΞϥΠθʔγϣϯ • ָۂλΪϯάɼָۂਪનγεςϜ • 
   -*/&ϠϑʔגࣜձࣾɼϚϧνϞʔμϧ"*෦ • ಈըղੳ • ϚϧνϞʔμϧج൫Ϟσϧ • Իڹ۠ؒݕࡧ ޷͖ͳ΋ͷ • Իָɼόϯυɼߚ஡ɼݘ  फ૾ ๺ే .VOBLBUB
   )PLVUP muna_dementia ͜ͷลΓͷ࿩Λ͠·͢ʂ
3. ˜
   -:
   $PSQPSBUJPO ը૾΍ԻɼಈըͳͲͱςΩετͷؔ܎ੑΛѻ͏Ϟσϧ ҰͭͷϞσϧͰ͞·͟·ͳԠ༻͕ՄೳɼλεΫʹԠͨ͡ݸผͷֶश͕ෆཁ • େྔͷը૾ΩϟϓγϣϯͳͲͷϖΞσʔλΛ༻͍ͯϞʔμϧؒͷରԠؔ܎Λࣄલʹֶश • ը૾΍ςΩετΛͦΕͧΕಛ௃ϕΫτϧ΁ͱΤϯίʔυ͠ɼϕΫτϧؒͷྨࣅ౓Ͱؔ܎Λද͢  ϚϧνϞʔμϧج൫Ϟσϧ    ը૾ͱΩϟϓγϣϯ ྨࣅ౓ߴ ը૾ ͱΩϟϓγϣϯ ྨࣅ౓௿ ը૾ Τϯίʔμ ςΩετ Τϯίʔμ ج൫Ϟσϧ ಛ௃ۭؒ Ωϟϓγϣϯ̍ ʜ ը૾̍ ʜ ը૾̎
4. ˜
   -:
   $PSQPSBUJPO  -*/&ϠϑʔͷϚϧνϞʔμϧ"*෦ͰͷऔΓ૊Έ ಈըɼԻָɼ޿ࠂͳͲΛѻ͏ࣗࣾαʔϏεͰ࢖͑ΔϚϧνϞʔμϧٕज़ͷ։ൃ • ॴଐνʔϜͰ͸ಈըσʔλʹର͢Δ෼ੳٕज़Λத৺ʹݚڀ։ൃ • ͞·͟·ͳαʔϏε΁ͷԠ༻͕ݕ౼Ͱ͖ΔϚϧνϞʔμϧ ಈըςΩετ ج൫Ϟσϧʹ஫໨ ࠓճͷ5BML  ೔ຊޠͰͷಈըղੳʹ޲͚ͯ ɿ೔ຊޠ൛ͷಈըςΩετج൫Ϟσϧ  ج൫Ϟσϧͷ͞ΒͳΔԠ༻ ɿಈը۠ؒݕࡧɾϋΠϥΠτݕग़ ָۂݕࡧ ಈըݕࡧ ݕࡧ ޿ࠂɾ6($ಈը ੍࡞ࢧԉ ੜ੒ λά ෇༩ ಈըγʔϯ ෼ੳɾݕग़ ෼ੳ ਪન ߦಈ༧ଌ 700. -*/&
   .64*$ ϦΞϧλΠϜݕࡧ ޿ࠂ
5. ˜
   -:
   $PSQPSBUJPO ಈըͱ೔ຊޠςΩετͷؔ܎ੑΛѻ͏Ϟσϧ • ࣗ༝هड़͞ΕͨΫΤϦͰͷಈըݕࡧ • ;FSPTIPU৚݅ԼͰͷಈը෼ྨ ೔ຊޠ൛ͷಈըςΩετج൫Ϟσϧͷ։ൃʹ޲͚ͯ ᶃ ಈը೔ຊޠςΩετϖΞσʔλͷߏங ᶄ ڧྗͳը૾ςΩετϞσϧ͔ΒಈըςΩετϞσϧ΁ͷ֦ு  ೔ຊޠ൛ͷಈըςΩετج൫Ϟσϧ ࢄาΛݏ͕Δ ࣲݘͷಈը ج൫Ϟσϧ ಈը%# ෼ྨ ج൫Ϟσϧ ϖοτɿ μϯεɿ ˋ άϧϝɿ ˋ αʔϏε͝ͱʹ ઃܭͨ͠ϥϕϧ ݕࡧ
6. ˜
   -:
   $PSQPSBUJPO طଘͷಈըӳޠςΩετϖΞσʔλΛऩूɼ຋༁ • Ϟσϧੑೳͷվળ 
   ֶशσʔλͷେن໛Խ • ৴པͰ͖ΔϞσϧධՁ 
   ਖ਼֬ͳ຋༁ ֶशσʔλ • 8FC7JE.ɿ.αϯϓϧͷେن໛σʔληοτ • ػց຋༁Ͱ೔ຊޠԽ ධՁσʔλ • छྨͷݕࡧɼछྨͷ෼ྨλεΫͷϕϯνϚʔΫ • ݕࡧɿ.43755
   "DUJWJUZ/FU$BQUJPOT • ෼ྨɿ).%#
   ,JOFUJDT
   4PNFUIJOH4PNFUIJOH7 • ຋༁ۀ຿Λߦ͏ઐ໳ελοϑͷڠྗͷ΋ͱ຋༁  ᶃ ಈը೔ຊޠςΩετͷϖΞσʔλͷߏங
7. ˜
   -:
   $PSQPSBUJPO -*/&Ϡϑʔͷը૾೔ຊޠςΩετج൫Ϟσϧʢ೔ຊޠ൛$-*1ʣΛϕʔεʹ֦ு ڧྗͳը૾ͱ೔ຊޠςΩετͷදݱೳྗΛҾ͖ܧ͛Δ ֦ுख๏ • ୯७ͳख๏ɿ$-*1$MJQ
   <-VP
   /FVSPDPNQVUJOH`> • ը૾ςΩετج൫ϞσϧΛͦͷ··ಈըʹద༻ • ಈըͷܥྻ৘ใͳͲ͸ແࢹ • ΑΓൃలతख๏ɿ$-*17J1 <9VF
   *$-3`> • ϑϨʔϜؒͷؔ܎ੑΛ"UUFOUJPO
   NBTLʹج͖ͮಋೖ • 1SPYZͱݺ͹ΕΔಛघτʔΫϯʹ৘ใΛू໿ • ࣌ؒํ޲ͷ1PTJUJPOBM
   FODPEJOHΛ௥Ճ  ᶄ ը૾ςΩετϞσϧ͔ΒಈըςΩετϞσϧ΁֦ு ֤ը૾ύον͸ಉ͡ϑϨʔϜ಺ͷύον ͓Αͼ1SPYZͱΠϯλϥΫγϣϯՄೳ
8. ˜
   -:
   $PSQPSBUJPO • ը૾ςΩετج൫Ϟσϧ ೔ຊޠ൛$-*1 ͱൺֱͯ͠ʜ ಈըςΩετͰͷ௥ՃֶशʹΑΓੑೳվળ $-*17J1΁ͷ֦ுͰݕࡧੑೳվળ ࠓޙͷऔΓ૊Έ • Ϟσϧͱ೔ຊޠ൛ϕϯνϚʔΫΛळࠒެ։༧ఆʂ • ֶशσʔληοτͷվળɼ͞ΒͳΔϞʔμϧͷ௥Ճ΍--.ͱͷ౷߹  ϞσϧੑೳͱࠓޙͷऔΓ૊Έ ೔ຊޠ൛$-*1 ಈըςΩετͰ௥Ճֶश $-*17J1΁ͷ֦ு .43755 "DU/FU$BQ ).%# 447 ,JOFUJDT ݕࡧੑೳ 3FDBMM! ෼ྨੑೳ
   "DDVSBDZ 
   
   
   
   
   
      
   
   
   
   
   
   
   
   
      
9. ˜
   -:
   $PSQPSBUJPO  -*/&ϠϑʔͷϚϧνϞʔμϧ"*෦ͰͷऔΓ૊Έʢ࠶ܝʣ ಈըɼԻָɼ޿ࠂͳͲΛѻ͏ࣗࣾαʔϏεͰ࢖͑Δٕज़։ൃ • 7JEFP
   "OBMZTJTνʔϜ͸ಈըσʔλʹର͢Δ෼ੳٕज़Λத৺ʹݚڀ։ൃ • ͞·͟·ͳαʔϏε΁ͷԠ༻͕ݕ౼Ͱ͖ΔϚϧνϞʔμϧج൫Ϟσϧʹ஫໨ ࠓճͷ5BML  ೔ຊޠͰͷಈըղੳʹ޲͚ͯ ɿ೔ຊޠ൛ͷಈըςΩετج൫Ϟσϧ  ج൫Ϟσϧͷ͞ΒͳΔԠ༻ ɿಈը۠ؒݕࡧɾϋΠϥΠτݕग़ ָۂݕࡧ ಈըݕࡧ ݕࡧ ޿ࠂɾ6($ಈը ੍࡞ࢧԉ ੜ੒ λά ෇༩ ಈըγʔϯ ෼ੳɾݕग़ ෼ੳ ਪન ߦಈ༧ଌ 700. -*/&
   .64*$ ϦΞϧλΠϜݕࡧ ޿ࠂ
10. ˜
    -:
    $PSQPSBUJPO ࣗ༝هड़͞ΕͨΫΤϦΛ΋ͱʹ௕͍ಈը͔Β޷͖ͳ۠ؒΛݕग़͢Δٕज़ ಈըͷνϟϓλʔ΍੾Γൈ͖ूͷࣗಈੜ੒ͳͲʹԠ༻Ͱ͖Δ • ը૾ಈըςΩετج൫Ϟσϧͱ௕͍ܥྻ৘ใΛѻ͏Ϟσϧͷ૊Έ߹Θͤ ୯ͳΔج൫ϞσϧͰ͸ۤखͩͬͨγʔϯͷ੾ΓସΘΓΛؚΉ௕͍ಈըΛѻ͑Δ ϚϧνϞʔμϧ"*෦ͰͷऔΓ૊Έ • Իڹ৘ใͷ׆༻ ɿԻڹ۠ؒݕࡧλεΫͷఏҊ • ։ൃͷޮ཰Խʹ޲͚ͯ ɿઐ༻ϥΠϒϥϦͷ։ൃ  ಈը۠ؒݕࡧɾϋΠϥΠτݕग़
11. ˜
    -:
    $PSQPSBUJPO ಈը۠ؒݕࡧͰԻڹ৘ใ΋༗ޮ׆༻͍ͨ͠ طଘͷಈը۠ؒݕࡧͰ͸Իʹ·ͭΘΔΫΤϦ ྫɿݘͷ໐͖੠͕͢Δ۠ؒ Λѻ͑ͳ͍ ΦʔσΟΦʹಛԽͨ͠Իڹ۠ؒݕࡧλεΫͷఏҊ <.VOBLBUB
    *$"441`> • Իڹ৘ใͷΈʹண໨ͨ͠σʔληοτͱϞσϧΛߏஙɼධՁ • ࣮σʔλ͔ΒͳΔେن໛ͳֶशɼධՁσʔληοτߏஙத ळࠒʹެ։༧ఆʂ  Իڹ۠ؒݕࡧ Input long audio Freq. [kHz] 0 16 8 0 10 20 30 50 40 60 Time [second] Input text query Output moment "Spectators are cheering and shouting in a sports game" 44s 16s [16s, 44s] Audio moment retrieval
12. ˜
    -:
    $PSQPSBUJPO ैདྷ͸֤ʑͷٕज़ऀ͕ಠࣗͷ؀ڥͰݚڀ։ൃ ࢖༻͍ͯ͠Δσʔλ΍ಛ௃ྔɼ࣮૷ͷҧ͍ͳͲ͔Βख๏ಉ࢜ͷੑೳͷൺֱ͕ࠔ೉ ৽نࢀೖऀ͸σϞ΍"1*ΛҰ͔Β࡞Δඞཁ طଘख๏Λ౷Ұతʹѻ͑ΔϥΠϒϥϦͷ։ൃ -JHIUIPVTF
    </JTIJNVSB
    &./-1`> Իڹ۠ؒݕࡧΛؚΉطଘख๏Ͱ࣮ݧ͕؆୯ʹՄೳ σϞ΍"1*ͷఏڙ  ಈը۠ؒݕࡧɾϋΠϥΠτݕग़ͷϥΠϒϥϦ։ൃ (JU)VC
13. ˜
    -:
    $PSQPSBUJPO -*/&ϠϑʔͷϚϧνϞʔμϧ"*෦ͰͷऔΓ૊Έ • ࣗࣾαʔϏεͰѻ͏ಈըɼԻָɼ޿ࠂσʔλΛϚϧνϞʔμϧج൫ϞσϧͰղੳ ೔ຊޠ൛ͷಈըςΩετج൫Ϟσϧ • ࣗ༝هड़͞ΕͨΫΤϦͰͷಈըݕࡧ΍;FSPTIPU෼ྨʹԠ༻ • ೔ຊޠ൛Ϟσϧͷ։ൃʹ޲͚ͯ • ֶशɼධՁʹ޲͚ͨಈը೔ຊޠςΩετσʔλͷऩू • ೔ຊޠ൛$-*1Λ$-*17J1ʹ֦ு • Ϟσϧɼ೔ຊޠ൛ϕϯνϚʔΫެ։༧ఆ ಈը۠ؒݕࡧɾϋΠϥΠτݕग़ • ௕͍ಈը͔Β޷͖ͳγʔϯͷ੾Γൈ͖ • Իڹ৘ใͷ׆༻ɿԻڹ۠ؒݕࡧͷఏҊ • ઐ༻ϥΠϒϥϦɿ-JHIUIPVTF
    ͷ։ൃ • σʔληοτެ։༧ఆ  ·ͱΊ -JOL IUUQTHJUIVCDPNMJOFMJHIUIPVTF -JHIUIPVTF