タグ情報とコメント密度を用いた画像サムネイル推薦システム

動画内の魅力的かつ動画タグに合ったいい感じの画像サムネイルを推薦するシステムのお話

〜 動画投稿者が動画を投稿する際に, 動画をアップロードした段階で自分の投稿するカテゴリを動画から予測して, そのカテゴリに合った"いい感じ"の画像サムネイル候補が出てきたら便利だな という気持ちを込めて構築したシステムです♪

[17年度 Dwango Media Village インターン成果報告会 資料(公開ver)]

Transcript

1. `JOUFSO੒Ռใࠂձ
   λά৘ใͱίϝϯτີ౓Λ༻͍ͨ

   ը૾αϜωΠϧਪનγεςϜ
   :BNBHVDIJ4PBLBXLUL
   
   1VCMJD
   

   View Slide

2. ˒໨త
   
   ಈըΛೖྗͨ͠ΒͦͷಈըΒ͍͠λάΧςΰϦٴͼ

   ͦͷλάΧςΰϦʹ;͞Θ͍͠ը૾αϜωΠϧͷਪન
   ಈը
   ೖྗ
   λά
   ը૾αϜωΠϧͷީิ
   ਪન
   Ϟσϧ
   

   View Slide

3. ˒ϑϨʔϜ͔ΒλάΛ༧ଌ͢ΔϞσϧ
   
   ϑϨʔϜ
   5BH
   5BH
   5BH
   ʜ
   5BH
   5BH
   ʜ
   5BH
   5BH
   λάείΞ
   Ϟσϧ
   

   View Slide

4. ˒ίϝϯτີ౓ͷߴ͍ϑϨʔϜ͕ಈըΛ࠷΋આ໌͍ͯ͠ΔͱԾఆ
   
   2:27 で動画が最も盛り上がり大量のコメントがついている
   ඵ
   
   ίϝϯτ਺
   
   ग़యͨΘ͠Ͷ͜ɹߥͿΔͨΘ͠ͷϙʔζIUUQXXXOJDPWJEFPKQXBUDITN
   

   View Slide

5. ˒ϑϨʔϜ͔Βίϝϯτີ౓Λ༧ଌ͢ΔϞσϧ
   
   ϑϨʔϜ
   ίϝϯτ਺
   ίϝϯτ਺
   Ϟσϧ
   

   View Slide

6. 
   λάਪఆϞσϧ
   ίϝϯτີ౓Ϟσϧ
   4DPSF
   ϑϨʔϜ Ϟσϧ
   ˒γεςϜλά౓ͷߴ͘ίϝϯτີ౓ͷߴ͍ϑϨʔϜ
   

   View Slide

7. 
   ݖར্ ը૾αϜωΠϧٴͼਪનαϜωΠϧ͸঺հͰ͖ͳ͍ͷͰߏ੒͚ͩ঺հ
   ౤ߘͨ͠ಈըͷ

   ը૾αϜωΠϧ
   ౤ߘͨ͠ಈըͷ

   ը૾αϜωΠϧ
   ީิ
   ީิ
   ީิ
   ީิ
   ީิ
   ީิ
   χίχίಈըʹ౤ߘ͞ΕͨಈըΛ༻͍ͨը૾αϜωΠϧਪનγεςϜ
   ˒࡞ͬͨ΋ͷʙτοϓϖʔδ
   

   View Slide

8. 
   4ZTUFNλά౓ͷߴ͘

   ίϝϯτີ౓ͷߴ͍ϑϨʔϜ

   Λද͍ࣔͯ͠Δ
   ˒࡞ͬͨ΋ͷʙղੳϖʔδ
   ग़యͨΘ͠Ͷ͜ɹߥͿΔͨΘ͠ͷϙʔζIUUQXXXOJDPWJEFPKQXBUDITN
   

   View Slide

9. 
   ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊʹ
   ࢹௌऀ͕ΫϦοΫͯ͘͠ΕΔΑ͏ͳ

   ັྗతͳϑϨʔϜ͕ཉ͍͠
   ࢹௌऀ
   ը૾αϜωΠϧΛࣗಈͰબ୒ਪનͯ͘͠ΕΔϝϦοτ
   ௼ΒΕͨ͘ͳ͍

   ಈը಺༰ͱؔ܎ͷ͋Δը૾αϜωΠϧ

   ͩͱخ͍͠
   
   ౤ߘऀ
   

   View Slide

10. ຊݚڀͷ໨త
    
    ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊ
    ʹࢹௌऀ͕ΫϦοΫͯ͘͠ΕΔΑ͏ͳ

    ັྗతͳϑϨʔϜ͕ཉ͍͠
    ௼ΒΕͨ͘ͳ͍

    ಈը಺༰ͱؔ܎ͷ͋Δ

    ը૾αϜωΠϧͩͱخ͍͠
    
    ͜ͷೋͭͷ໨తΛຬͨ͢ը૾αϜωΠϧਪનγεςϜ

    ͷߏஙΛ໨ࢦ͢
    

    View Slide

11. 
    ؔ࿈ݚڀᶃΫΤϦʹԊͬͨը૾αϜωΠϧਪનͷݚڀ
    ௼ΒΕͨ͘ͳ͍

    ಈը಺༰ͱؔ܎ͷ͋Δը૾αϜωΠϧͩͱخ͍͠
    
    IUUQTBSYJWPSHBCT
    2VFSZBEBQUJWF7JEFP4VNNBSJ[BUJPOWJB2VBMJUZBXBSF3FMFWBODF&TUJNBUJPO
    
    ಈը͔ΒΫΤϦ จষ୯ޠ
    ʹԊͬͨཁ໿Λੜ੒͢Δݚڀ
    ΫΤϦͷଟ༷ੑΛ૿΍ͨ͢Ίʹ #JOHͷσʔληοτΛ༻͍ͯ
    ୯ޠͱͦΕʹؔ܎͢Δը૾ͷFNCFEEJOHۭؒΛߏஙͨ͠
    จষ͝ͱϕΫτϧʹม׵͢Δ͜ͱʹΑͬͯ ݻ༗໊ࢺ΍จষʹ΋
    ରԠͰ͖ΔΑ͏ʹͳͬͨ
    τϥΠΞεϩϯͷಈըʹରͯ͠ਫӭͱ͍͏ΫΤϦͰੜ੒ͨ͠ཁ໿ͷྫ
    

    View Slide

12. 
    ຊݚڀͰ͸
    ௼ΒΕͨ͘ͳ͍

    ಈը಺༰ͱؔ܎ͷ͋Δը૾αϜωΠϧͩͱخ͍͠
    
    Ξχϝ
    ήʔϜ
    ಈ෺
    ϑϨʔϜ͔ΒͦͷϑϨʔϜͷλά ΧςΰϦؚΉ
    Λਪન͢Δ

    Ϛϧνλά༧ଌϞσϧΛߏஙͨ͠
    λά༧ଌ

    Ϟσϧ
    'SBNF
    χίχίಈըʹ౤ߘ͞Εͨಈը

    ͷසग़্ҐλάΛλάͱͯ͠༻͍Δ
    ग़యͨΘ͠Ͷ͜ɹߥͿΔͨΘ͠ͷϙʔζIUUQXXXOJDPWJEFPKQXBUDITN
    

    View Slide

13. 
    ؔ࿈ݚڀᶄັྗతͳը૾αϜωΠϧਪનͷݚڀ
    ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊʹࢹௌऀ͕ΫϦοΫͯ͘͠Ε
    ΔΑ͏ͳັྗతͳϑϨʔϜ͕ཉ͍͠
    IUUQTSFTFBSDIHPPHMFCMPHDPNJNQSPWJOHZPVUVCFWJEFPUIVNCOBJMTXJUIIUNM
    :0656#&ͷಈըͷ

    ը૾αϜωΠϧਪનͷهࣄ
    

    

    ಈըϑϨʔϜશମʹ͍ͭͯ

    ը૾αϜωΠϧ͔Ͳ͏͔ͷ

    ஋෼ྨثͰ൑அͯ͠

    αϜωΠϧ౓ͷߴ͍ϑϨʔϜΛਪન
    ‎αϜωΠϧ͔Ͳ͏͔ͱ͍͏஋ʹ஫໨ͨ͠
    

    View Slide

14. ؔ࿈ݚڀᶅ࣌ܥྻ͝ͱͷϑϨʔϜʹ෇ਵ͢Δ৘ใྔΛ༻͍ͨݚڀ
    
    ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊʹࢹௌऀ͕ΫϦοΫͯ͘͠Ε
    ΔΑ͏ͳັྗతͳϑϨʔϜ͕ཉ͍͠
    5XJUUFSͷπΠʔτ਺Λ༻͍ͨϋΠϥΠτݕग़ͷݚڀ
    αοΧʔͷࢼ߹ͱ5XJUUFS࣮گΛ༻͍ͯࢼ߹ͷϋΠϥΠτΛࣗಈ
    ੜ੒͢Δݚڀ
    NPWJOHUISFTIPMECVSTUEFUFDUJPOΛ༻͍ͯ ͦͷᮢ஋Λ

    ௒͑ͨΛϋΠϥΠτͱͨ͠
    -JWF4FNBOUJD4QPSU)JHIMJHIU%FUFDUJPO#BTFEPO"OBMZ[JOH5XFFUTPG5XJUUFS
    

    IUUQJFFFYQMPSFJFFFPSHEPDVNFOU SFMPBEUSVF
    

    View Slide

15. ؔ࿈ݚڀᶅ࣌ܥྻ͝ͱͷϑϨʔϜʹ෇ਵ͢Δ৘ใྔΛ༻͍ͨݚڀ
    
    ίϝϯτͷ੝Γ্͕Γ
    ಈըͷίϝϯτ਺ͷଟ͍Օॴ͸

    ϋΠϥΠτʹͳΓ͏Δ
    ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊʹࢹௌऀ͕ΫϦοΫͯ͘͠Ε
    ΔΑ͏ͳັྗతͳϑϨʔϜ͕ཉ͍͠
    2:27 で動画が最も盛り上がり大量のコメントがついている
    w IUUQTXXXTMJEFTIBSFOFU)J@LJOHTT
    w IUUQNVTUDVUPLZPBDKQTJHBNTJHBNTJHBNQEG
    ‎ಈըͷ֤ϑϨʔϜʹͲΕ͘Β͍

    ίϝϯτ͕෇͍͍ͯΔ͔ʹ஫໨ͨ͠
    ˞ಈըʹίϝϯτ͕͍͍ͭͯͳ͍ͱ͜ͷख๏͸࢖͑ͳ͍
    

    View Slide

16. ຊݚڀͰ͸
    
    ଟ͘ͷࢹௌऀʹݟͯ΋Β͏ͨΊʹࢹௌऀ͕ΫϦοΫͯ͘͠Ε
    ΔΑ͏ͳັྗతͳϑϨʔϜ͕ཉ͍͠
    'SBNF
    ίϝϯτີ౓

    ༧ଌϞσϧ
    
    ϑϨʔϜ͔ΒͦͷϑϨʔϜʹͭ͘ίϝϯτ਺Λ༧ଌ͢Δ

    ίϝϯτີ౓༧ଌϞσϧΛߏஙͨ͠
    ༧ଌͨ͠ίϝϯτີ౓
    ˞ωοτϫʔΫ͸JODFQUJPOWֶ͕श࣌ʹҰ൪MPTT͕Լ͕ͬͨͨΊ࢖༻
    ग़యͨΘ͠Ͷ͜ɹߥͿΔͨΘ͠ͷϙʔζIUUQXXXOJDPWJEFPKQXBUDITN
    

    View Slide

17. ຊݚڀͷγεςϜʹ͍ͭͯ
    
    ίϝϯτີ౓

    ༧ଌϞσϧ
    λά༧ଌ

    Ϟσϧ
    λάೣ
    4DPSF
    
    
    
    
    
    
    ਪન
    λάείΞ͕ߴ͍ίϝϯτີ౓ͷߴ͍

    ͱ༧૝ͨ͠ϑϨʔϜ͸

    ັྗత͔ͭͦͷλάͬΆ͍ϑϨʔϜͰ͋Δ
    ग़యͨΘ͠Ͷ͜ɹߥͿΔͨΘ͠ͷϙʔζIUUQXXXOJDPWJEFPKQXBUDITN
    

    View Slide