論文紹介 / Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model

KDD 2018@Research Trackの論文 "Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model" の紹介スライドです。（http://shichuan.org/doc/47.pdf）

Conextを埋め込むのはやられたなぁと感心しました。また、私が過去のMeta-path応用手法に感じていた "1つのMeta-pathはデータの一側面しか表現できない" という課題をAttentionによって解決しているのが鮮やかでした。推薦結果の質が顕著に向上したわけではないですが、解釈性という点で大きな貢献があると思います。

研究室のゼミでの紹介用につき、口頭での説明がないぶん分かりにくいところがあるかもしれませんが、ご容赦くださいませ。なお、本論文は説明不足な点があると感じたため、私の解釈にはなってしまいますが、 "ここはどういう意図で行なっている工程か" を所々加えています。

Transcript

1. -FWFSBHJOH.FUBQBUICBTFE
   $POUFYUGPS5PQ/3FDPNNFOEBUJPO
   XJUI"/FVSBM$P"UUFOUJPO.PEFM
   ,%%`
   
   #JOCJO )V $IVBO 4IJ 8BZOF9JO;IBP 1IJMJQ4:V
   ࿦จ঺հ !LVSJJWF
   

   View Slide

2. ໨࣍
   ݚڀ֓ཁ
   ݚڀഎܠ
   ఏҊख๏
   ࣮ূ࣮ݧ
   ·ͱΊ
   

   View Slide

3. ໨త
   5PQ/ਪનͷ࣭ͷ޲্
   ख๏
   1SJPSJUZCBTFE3BOEPN8BMLʹΑΓ$POUFYUͷ෼ࢄදݱΛੜ੒
   $P"UUFOUJPOػߏʹΑΓ6TFS *UFN $POUFYUͷ෼ࢄදݱΛվྑ
   ݁Ռ
   ਪનͷ࣭ͱղऍੑͷ޲্
   ݚڀ֓ཁ
   
   

   View Slide

4. ໨࣍
   ݚڀ֓ཁ
   ݚڀഎܠ
   ఏҊख๏
   ࣮ূ࣮ݧ
   ·ͱΊ
   

   View Slide

5. ݚڀഎܠʛ5PQ/ਪન
   ϢʔβʔʹΦεεϝͷΞΠςϜΛਪન
   ྫʣөըɺΞʔςΟετɺϨετϥϯʜ
   ͋ͳͨʹΦεεϝʓʓ
   ˚˚˚˚˚˚˚
   ˘˘˘˘˘
   ˕˕˕˕˕˕˕
   ººººººººº
   
   

   View Slide

6. ݚڀഎܠʛਪનγεςϜ
   ਪનγεςϜ͸
   ༷ʑͳαʔϏεͰ
   த৺తͳ໾ׂ>
   ݹయతख๏ͱͯ͠
   ߦྻ෼ղ>ͳͲ
   
   

   View Slide

7. ݚڀഎܠʛ$POUFYU׆༻
   
   ࠓ೔ɺଟ༷ͳ$POUFYU
   σʔλ͕ར༻Մೳʹ
   ݕࡧཤྺɺҐஔ৘ใͳͲ
   
   $POUFYUΛ׆༻ͨ͠
   ਪનख๏ͷొ৔ >
   

   View Slide

8. ݚڀഎܠʛ)FUFSPHFOFPVT*OGPSNBUJPO/FUXPSL )*/
   
   
   ෳ਺छྨͷϊʔυ΍
   ΤοδΛ࣋ͭάϥϑ
   ଟ༷ͳσʔλΛ
   ॊೈʹϞσϧԽՄೳ
   

   View Slide

9. ݚڀഎܠʛ.FUBQBUI>
   
   ϝλϨϕϧͰ
   QBUIΛ੍ޚ
   ྨࣅݕࡧͰ
   ໨֮·͍͠੒Ռ
   

   View Slide

10. ݚڀഎܠʛஶऀʹΑΔ.FUBQBUIԠ༻ͷઌߦݚڀ>
    
    .FUBQBUIͰ
    ϢʔβʔΞΠςϜΛ
    ຒΊࠐΉ
    ධՁ༧ଌʹ͓͍ͯ
    405"
    

    View Slide

11. 
    ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶃ
    ϝλύεͰγʔέϯεΛ
    ੜ੒͢Δͱ͖
    ભҠ͕ϥϯμϜͳͷ͸
    ݱ࣮తͰͳ͍ͷͰ͸ʁ
    ࣄલʹྨࣅ౓ܭࢉͯ͠
    ༏ઌ౓͚ͭΑ͏ʂ
    

    View Slide

12. 
    ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶄ
    طଘख๏ɺ
    ϢʔβʔͱΞΠςϜͷ
    ྨࣅ౓͔͠ݟͯͳ͍ΑͶʁ
    $POUFYU΋ຒΊࠐΜͰ
    ؔ܎ੑΛ൓өͤ͞Α͏ʂ
    

    View Slide

13. 
    ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶅ
    ΞΠςϜ͕
    ਪન͞ΕΔཧ༝ͬͯ
    ͦΕͧΕҧ͏ΑͶʁ
    $POUFYUͷຒΊࠐΈʹ
    ॏཁ౓Λ͚ͭΑ͏ʂ
    

    View Slide

14. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ
    

    View Slide

15. ఏҊख๏ʛλεΫఆٛ
    )*/͕༩͑ΒΕͨͱ͖ɺ
    Ϣʔβʔʹͱͬͯ
    ڵຯਂ͍ΞΠςϜϦετͷਪન
    ͋ͳͨʹΦεεϝʓʓ
    ˚˚˚˚˚˚˚
    ˘˘˘˘˘
    ˕˕˕˕˕˕˕
    ººººººººº
    
    

    View Slide

16. ఏҊख๏ʛ$POUFYUຒΊࠐΈΛ༻͍Δҙਤ
    Ϣʔβʔ͕ΞΠςϜΛબͿͱ͖ɺͦ͜ʹ͸͍ΖΜͳจ຺͕ଘࡏ
    ʢྫɿ޷͖ͳδϟϯϧͷ΋ͷͩͬͨɺ༑ୡ͕Φεεϝͯͨ͠ʣ
    ˣ
    ྲྀߦΓͷөըʹඈͼ͖͕ͭͪͳਓɺ
    ಛࡱ޷͖ͷਓʹΑ͘ݟΒΕΔөըɺ
    ͱ͍ͬͨ৘ใ͕)*/ʹ಺ࡏ͍ͯ͠ΔɺͱԾఆ
    ˣ
    ͦ͏͍ͬͨؔ܎Λ൓өͨ͠ਪનΛ͍ͨ͠
    
    

    View Slide

17. ఏҊख๏ʛ֓ཁ
    ᶃ)*/্Ͱ1SJPSJUZCBTFE3BOEPN8BML
    ᶄ6TFS *UFN $POUFYUͷ&NCFEEJOHܭࢉ
    ᶅ$P"UUFOUJPOػߏΛ༻͍ͯվྑ
    ᶆ݁߹
    
    

    View Slide

18. ఏҊख๏ʛ֓ཁ
    ᶃ)*/্Ͱ1SJPSJUZCBTFE3BOEPN8BML
    
    

    View Slide

19. ఏҊख๏ʛ1SJPSJUZCBTFE3BOEPN8BMLͷҙਤ
    ϢʔβʔͱΞΠςϜͷؔ܎Λ
    ΑΓਖ਼֬ʹදݱ͍ͨ͠
    
    

    View Slide

20. ఏҊख๏ʛ 1SJPSJUZCBTFE3BOEPN8BML
    ࣍ʹભҠ͢Δϊʔυ͸.FUBQBUIʹԊ͍ͬͯΔதͰ
    47%'FBUVSF>
    Ͱࣄલʹࢉग़ͨ͠ྨࣅ౓Ͱܾఆ
    ʢطଘख๏Ͱ͸ϥϯμϜʣ
    ྫʣV
    ͔ΒN
    N
    ͷͲͪΒʹભҠ͢Δ͔͸ྨࣅ౓࣍ୈ
    
    

    View Slide

21. ఏҊख๏ʛ֓ཁ
    ᶄ6TFS *UFN $POUFYUͷ&NCFEEJOHܭࢉ
    
    

    View Slide

22. ఏҊख๏ʛ6TFS *UFN&NCFEEJOH
    
    Ϣʔβʔ ͷ&NCFEEJOH
    ɺ
    ΞΠςϜ ͷ&NCFEEJOH
    ͸
    47%'FBUVSF>
    Ͱੜ੒ͨ͠&NCFEEJOHΛͦͷ··༻͍Δ
    

    View Slide

23. ఏҊख๏ʛ$POUFYU &NCFEEJOHͷҙਤ
    ϢʔβʔͱΞΠςϜͷؔ܎ΛϞσϧʹ૊ΈࠐΈ͍ͨ
    
    

    View Slide

24. ఏҊख๏ʛ$POUFYU&NCFEEJOH
    
    ᾇͭͷQBUIΠϯελϯεΛຒΊࠐΉ
    ᾈᾇΛू໿ͯͭ͠ͷ.FUBQBUIΛຒΊࠐΉ
    

    View Slide

25. ఏҊख๏ʛᾇͭͷQBUIΠϯελϯεΛຒΊࠐΉ
    .FUBQBUIʹैͬͯQBUIΠϯελϯε ͕༩͑ΒΕͨͱ͖ɺ
    Λߏ੒͢Δ֤ϊʔυͷ&NCFEEJOHΛ࿈݁ͨ͠ߦྻ
    ʹର͠ɺ
    ͷ&NCFEEJOH͸
    ℎ
    = (
    ; Θ)
    ʢΘ͸$//ͷύϥϝʔλʔʣ
    
    

    View Slide

26. ఏҊख๏ʛᾈᾇΛू໿ͯͭ͠ͷ.FUBQBUIΛຒΊࠐΉ
    
    &NCFEEJOHℎ
    ͕ݸੜ੒͞Εͨͱ͖ɺ
    {ℎ
    }456
    7
    Λͦͷू߹ͱ͢Δͱ.FUBQBUIͷ&NCFEEJOH͸
    9
    = max−( ℎ 456
    7 )
    

    View Slide

27. ఏҊख๏ʛ֓ཁ
    ᶅ$P"UUFOUJPOػߏΛ༻͍ͯվྑ
    
    

    View Slide

28. ఏҊख๏ʛ$P"UUFOUJPO
    ᾇ"UUFOUJPOGPS.FUBQBUICBTFE$POUFYU
    ᾈ"UUFOUJPOGPS6TFSTBOE*UFNT
    
    

    View Slide

29. ఏҊख๏ʛҙਤᾇ
    ෳ਺͋Δ.FUBQBUIͷ͏ͪɺ
    ϢʔβʔͱΞΠςϜͷؔ܎Λద੾ʹઆ໌͢Δ.FUBQBUIΛ
    ΑΓڧ͘൓өͨ͠$POUFYUʹ͍ͨ͠
    
    

    View Slide

30. ఏҊख๏ʛᾇ"UUFOUJPOGPS.FUBQBUICBTFE$POUFYU
    Ϣʔβʔ ͱΞΠςϜʹͱͬͯ.FUBQBUI ͷॏཁ౓Λܭࢉ
    ˣ
    ॏཁ౓Λ$POUFYU&NCFEEJOHB→D
    ʹ൓ө
    ʢྫɿB→D
    = 0.5 HIJI
    + 0.2 HIHI
    + 0.1 HIJI
    + ⋯ʣ
    
    

    View Slide

31. ఏҊख๏ʛҙਤᾈ
    $POUFYU&NCFEEJOHΛ༻͍ͯ
    Ͳ͏͍͏จ຺ͰΞΠςϜΛબͿϢʔβʔͳͷ͔ɺ
    Ͳ͏͍͏จ຺Ͱબ͹Ε΍͍͢ΞΠςϜͳͷ͔Λ൓ө͍ͨ͠
    
    

    View Slide

32. ఏҊख๏ʛᾈ"UUFOUJPOGPS6TFSTBOE*UFNT
    FMFNFOUXJTFੵʹΑΓ B→D
    ͷ&NCFEEJOHΛ൓ө
    ˣ
    B
    ʹ൓өͨ͠
    OB
    ɺD
    ʹ൓өͨ͠
    OD
    ͕
    ࠷ऴతͳ6TFS *UFN&NCFEEJOH
    
    

    View Slide

33. ఏҊख๏ʛ֓ཁ
    ᶆ݁߹
    
    

    View Slide

34. ఏҊख๏ʛᶆ݁߹
    ϕΫτϧ࿈݁ૢ࡞Λ⊕ͱͯ͠ɺ
    
    OB,D
    =
    OB
    ⊕ B→D
    ⊕
    OD
    ̂B,D
    = (
    OB,D
    )
    
    

    View Slide

35. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ
    

    View Slide

36. ࣮ূ࣮ݧʛσʔληοτ
    
    .PWJFMFOT
    өըϨϏϡʔαΠτ
    -BTU'.
    Իָ4/4
    :FMQ
    ΫνίϛαΠτ
    

    View Slide

37. /FV.'>
    5PQ/ਪનͰ
    405"ͳख๏
    ڠௐ
    ϑΟϧλϦϯά
    ϕʔε
    ࣮ূ࣮ݧʛ୅දతͳൺֱख๏ͭͱఏҊख๏
    
    '.(SBOL
    >
    ධՁ༧ଌͰ
    405"ͳख๏
    ʢ5PQ/ਪન༻
    ʹमਖ਼ʣ
    ߦྻ෼ղϕʔε
    .$3FD
    ᾇ1SJPSJUZCBTFE
    3BOEPN8BML
    ͳ͠
    ᾈ$P"UUFOUJPO
    ͳ͠
    ᾉ6TFS *UFN
    "UUFOUJPO
    ͳ͠
    .$3FD
    ׬શ൛
    

    View Slide

38. ࣮ূ࣮ݧʛ݁Ռ
    
    .$3FD͕Ұ؏ͯ͠༏Ε͍ͯΔ
    ˣ
    ఏҊख๏ͷ༗ޮੑ
    

    View Slide

39. ࣮ূ࣮ݧʛ$PMETUBSUਪન
    
    ܇࿅σʔλྔΛม͑ͯ
    #13>͔Βͷվળ཰Λܭଌ
    ˣ
    ఏҊख๏.$3FD͸$PMETUBSUͰ΋ڧ͍
    

    View Slide

40. ࣮ূ࣮ݧʛਪન݁Ռղऍੑͷఆੑ෼ੳ
    
    6.6.΍666.ͷ"UUFOUJPO 4DPSFେˠෳ਺ͷ༑ਓ͕ࢹௌࡁͩͬͨ
    6.(.ͷ"UUFOUJPO 4DPSFେˠ޷͖ͳδϟϯϧͩͬͨ
    ˣ
    ͦͷΞΠςϜ͕ਪન͞Εͨཧ༝͸
    "UUFOUJPO 4DPSF͕ߴ͍.FUBQBUIΛݟΕ͹Θ͔Δ
    

    View Slide

41. ࣮ূ࣮ݧʛ"UUFOUJPO4DPSFͷ෼෍
    
    ଞͷ.FUBQBUIΑΓ
    ॏཁͳ.FUBQBUI͕ଘࡏ
    

    View Slide

42. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ
    

    View Slide

43. ໨త
    5PQ/ਪનͷ࣭ͷ޲্
    ख๏
    1SJPSJUZCBTFE3BOEPN8BMLʹΑΓ$POUFYUͷ෼ࢄදݱΛੜ੒
    $P"UUFOUJPOػߏʹΑΓ6TFS *UFN $POUFYUͷ෼ࢄදݱΛվྑ
    ݁Ռ
    ਪનͷ࣭ͱղऍੑͷ޲্
    ·ͱΊ
    
    

    View Slide