Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介 / Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model

kuri8ive
October 22, 2018

論文紹介 / Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model

KDD [email protected] Trackの論文 "Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model" の紹介スライドです。(http://shichuan.org/doc/47.pdf

Conextを埋め込むのはやられたなぁと感心しました。また、私が過去のMeta-path応用手法に感じていた "1つのMeta-pathはデータの一側面しか表現できない" という課題をAttentionによって解決しているのが鮮やかでした。推薦結果の質が顕著に向上したわけではないですが、解釈性という点で大きな貢献があると思います。

研究室のゼミでの紹介用につき、口頭での説明がないぶん分かりにくいところがあるかもしれませんが、ご容赦くださいませ。なお、本論文は説明不足な点があると感じたため、私の解釈にはなってしまいますが、 "ここはどういう意図で行なっている工程か" を所々加えています。

kuri8ive

October 22, 2018
Tweet

More Decks by kuri8ive

Other Decks in Research

Transcript

  1. -FWFSBHJOH.FUBQBUICBTFE
    $POUFYUGPS5PQ/3FDPNNFOEBUJPO
    XJUI"/FVSBM$P"UUFOUJPO.PEFM
    ,%%`

    #JOCJO )V $IVBO 4IJ 8BZOF9JO;IBP 1IJMJQ4:V
    ࿦จ঺հ !LVSJJWF

    View Slide

  2. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ

    View Slide

  3. ໨త
    5PQ/ਪનͷ࣭ͷ޲্
    ख๏
    1SJPSJUZCBTFE3BOEPN8BMLʹΑΓ$POUFYUͷ෼ࢄදݱΛੜ੒
    $P"UUFOUJPOػߏʹΑΓ6TFS *UFN $POUFYUͷ෼ࢄදݱΛվྑ
    ݁Ռ
    ਪનͷ࣭ͱղऍੑͷ޲্
    ݚڀ֓ཁ

    View Slide

  4. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ

    View Slide

  5. ݚڀഎܠʛ5PQ/ਪન
    ϢʔβʔʹΦεεϝͷΞΠςϜΛਪન
    ྫʣөըɺΞʔςΟετɺϨετϥϯʜ
    ͋ͳͨʹΦεεϝʓʓ
    ˚˚˚˚˚˚˚
    ˘˘˘˘˘
    ˕˕˕˕˕˕˕
    ººººººººº

    View Slide

  6. ݚڀഎܠʛਪનγεςϜ
    ਪનγεςϜ͸
    ༷ʑͳαʔϏεͰ
    த৺తͳ໾ׂ>
    ݹయతख๏ͱͯ͠
    ߦྻ෼ղ>ͳͲ

    View Slide

  7. ݚڀഎܠʛ$POUFYU׆༻

    ࠓ೔ɺଟ༷ͳ$POUFYU
    σʔλ͕ར༻Մೳʹ
    ݕࡧཤྺɺҐஔ৘ใͳͲ

    $POUFYUΛ׆༻ͨ͠
    ਪનख๏ͷొ৔ >

    View Slide

  8. ݚڀഎܠʛ)FUFSPHFOFPVT*OGPSNBUJPO/FUXPSL )*/


    ෳ਺छྨͷϊʔυ΍
    ΤοδΛ࣋ͭάϥϑ
    ଟ༷ͳσʔλΛ
    ॊೈʹϞσϧԽՄೳ

    View Slide

  9. ݚڀഎܠʛ.FUBQBUI>

    ϝλϨϕϧͰ
    QBUIΛ੍ޚ
    ྨࣅݕࡧͰ
    ໨֮·͍͠੒Ռ

    View Slide

  10. ݚڀഎܠʛஶऀʹΑΔ.FUBQBUIԠ༻ͷઌߦݚڀ>

    .FUBQBUIͰ
    ϢʔβʔΞΠςϜΛ
    ຒΊࠐΉ
    ධՁ༧ଌʹ͓͍ͯ
    405"

    View Slide


  11. ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶃ
    ϝλύεͰγʔέϯεΛ
    ੜ੒͢Δͱ͖
    ભҠ͕ϥϯμϜͳͷ͸
    ݱ࣮తͰͳ͍ͷͰ͸ʁ
    ࣄલʹྨࣅ౓ܭࢉͯ͠
    ༏ઌ౓͚ͭΑ͏ʂ

    View Slide


  12. ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶄ
    طଘख๏ɺ
    ϢʔβʔͱΞΠςϜͷ
    ྨࣅ౓͔͠ݟͯͳ͍ΑͶʁ
    $POUFYU΋ຒΊࠐΜͰ
    ؔ܎ੑΛ൓өͤ͞Α͏ʂ

    View Slide


  13. ݚڀഎܠʛஶऀ͸͜͏ࢥͬͨᶅ
    ΞΠςϜ͕
    ਪન͞ΕΔཧ༝ͬͯ
    ͦΕͧΕҧ͏ΑͶʁ
    $POUFYUͷຒΊࠐΈʹ
    ॏཁ౓Λ͚ͭΑ͏ʂ

    View Slide

  14. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ

    View Slide

  15. ఏҊख๏ʛλεΫఆٛ
    )*/͕༩͑ΒΕͨͱ͖ɺ
    Ϣʔβʔʹͱͬͯ
    ڵຯਂ͍ΞΠςϜϦετͷਪન
    ͋ͳͨʹΦεεϝʓʓ
    ˚˚˚˚˚˚˚
    ˘˘˘˘˘
    ˕˕˕˕˕˕˕
    ººººººººº

    View Slide

  16. ఏҊख๏ʛ$POUFYUຒΊࠐΈΛ༻͍Δҙਤ
    Ϣʔβʔ͕ΞΠςϜΛબͿͱ͖ɺͦ͜ʹ͸͍ΖΜͳจ຺͕ଘࡏ
    ʢྫɿ޷͖ͳδϟϯϧͷ΋ͷͩͬͨɺ༑ୡ͕Φεεϝͯͨ͠ʣ
    ˣ
    ྲྀߦΓͷөըʹඈͼ͖͕ͭͪͳਓɺ
    ಛࡱ޷͖ͷਓʹΑ͘ݟΒΕΔөըɺ
    ͱ͍ͬͨ৘ใ͕)*/ʹ಺ࡏ͍ͯ͠ΔɺͱԾఆ
    ˣ
    ͦ͏͍ͬͨؔ܎Λ൓өͨ͠ਪનΛ͍ͨ͠

    View Slide

  17. ఏҊख๏ʛ֓ཁ
    ᶃ)*/্Ͱ1SJPSJUZCBTFE3BOEPN8BML
    ᶄ6TFS *UFN $POUFYUͷ&NCFEEJOHܭࢉ
    ᶅ$P"UUFOUJPOػߏΛ༻͍ͯվྑ
    ᶆ݁߹

    View Slide

  18. ఏҊख๏ʛ֓ཁ
    ᶃ)*/্Ͱ1SJPSJUZCBTFE3BOEPN8BML

    View Slide

  19. ఏҊख๏ʛ1SJPSJUZCBTFE3BOEPN8BMLͷҙਤ
    ϢʔβʔͱΞΠςϜͷؔ܎Λ
    ΑΓਖ਼֬ʹදݱ͍ͨ͠

    View Slide

  20. ఏҊख๏ʛ 1SJPSJUZCBTFE3BOEPN8BML
    ࣍ʹભҠ͢Δϊʔυ͸.FUBQBUIʹԊ͍ͬͯΔதͰ
    47%'FBUVSF>
    Ͱࣄલʹࢉग़ͨ͠ྨࣅ౓Ͱܾఆ
    ʢطଘख๏Ͱ͸ϥϯμϜʣ
    ྫʣV
    ͔ΒN
    N
    ͷͲͪΒʹભҠ͢Δ͔͸ྨࣅ౓࣍ୈ

    View Slide

  21. ఏҊख๏ʛ֓ཁ
    ᶄ6TFS *UFN $POUFYUͷ&NCFEEJOHܭࢉ

    View Slide

  22. ఏҊख๏ʛ6TFS *UFN&NCFEEJOH

    Ϣʔβʔ ͷ&NCFEEJOH
    ɺ
    ΞΠςϜ ͷ&NCFEEJOH
    ͸
    47%'FBUVSF>
    Ͱੜ੒ͨ͠&NCFEEJOHΛͦͷ··༻͍Δ

    View Slide

  23. ఏҊख๏ʛ$POUFYU &NCFEEJOHͷҙਤ
    ϢʔβʔͱΞΠςϜͷؔ܎ΛϞσϧʹ૊ΈࠐΈ͍ͨ

    View Slide

  24. ఏҊख๏ʛ$POUFYU&NCFEEJOH

    ᾇͭͷQBUIΠϯελϯεΛຒΊࠐΉ
    ᾈᾇΛू໿ͯͭ͠ͷ.FUBQBUIΛຒΊࠐΉ

    View Slide

  25. ఏҊख๏ʛᾇͭͷQBUIΠϯελϯεΛຒΊࠐΉ
    .FUBQBUIʹैͬͯQBUIΠϯελϯε ͕༩͑ΒΕͨͱ͖ɺ
    Λߏ੒͢Δ֤ϊʔυͷ&NCFEEJOHΛ࿈݁ͨ͠ߦྻ
    ʹର͠ɺ
    ͷ&NCFEEJOH͸

    = (
    ; Θ)
    ʢΘ͸$//ͷύϥϝʔλʔʣ

    View Slide

  26. ఏҊख๏ʛᾈᾇΛू໿ͯͭ͠ͷ.FUBQBUIΛຒΊࠐΉ

    &NCFEEJOHℎ
    ͕ݸੜ੒͞Εͨͱ͖ɺ
    {ℎ
    }456
    7
    Λͦͷू߹ͱ͢Δͱ.FUBQBUIͷ&NCFEEJOH͸
    9
    = max−( ℎ 456
    7 )

    View Slide

  27. ఏҊख๏ʛ֓ཁ
    ᶅ$P"UUFOUJPOػߏΛ༻͍ͯվྑ

    View Slide

  28. ఏҊख๏ʛ$P"UUFOUJPO
    ᾇ"UUFOUJPOGPS.FUBQBUICBTFE$POUFYU
    ᾈ"UUFOUJPOGPS6TFSTBOE*UFNT

    View Slide

  29. ఏҊख๏ʛҙਤᾇ
    ෳ਺͋Δ.FUBQBUIͷ͏ͪɺ
    ϢʔβʔͱΞΠςϜͷؔ܎Λద੾ʹઆ໌͢Δ.FUBQBUIΛ
    ΑΓڧ͘൓өͨ͠$POUFYUʹ͍ͨ͠

    View Slide

  30. ఏҊख๏ʛᾇ"UUFOUJPOGPS.FUBQBUICBTFE$POUFYU
    Ϣʔβʔ ͱΞΠςϜʹͱͬͯ.FUBQBUI ͷॏཁ౓Λܭࢉ
    ˣ
    ॏཁ౓Λ$POUFYU&NCFEEJOHB→D
    ʹ൓ө
    ʢྫɿB→D
    = 0.5 HIJI
    + 0.2 HIHI
    + 0.1 HIJI
    + ⋯ʣ

    View Slide

  31. ఏҊख๏ʛҙਤᾈ
    $POUFYU&NCFEEJOHΛ༻͍ͯ
    Ͳ͏͍͏จ຺ͰΞΠςϜΛબͿϢʔβʔͳͷ͔ɺ
    Ͳ͏͍͏จ຺Ͱબ͹Ε΍͍͢ΞΠςϜͳͷ͔Λ൓ө͍ͨ͠

    View Slide

  32. ఏҊख๏ʛᾈ"UUFOUJPOGPS6TFSTBOE*UFNT
    FMFNFOUXJTFੵʹΑΓ B→D
    ͷ&NCFEEJOHΛ൓ө
    ˣ
    B
    ʹ൓өͨ͠
    OB
    ɺD
    ʹ൓өͨ͠
    OD
    ͕
    ࠷ऴతͳ6TFS *UFN&NCFEEJOH

    View Slide

  33. ఏҊख๏ʛ֓ཁ
    ᶆ݁߹

    View Slide

  34. ఏҊख๏ʛᶆ݁߹
    ϕΫτϧ࿈݁ૢ࡞Λ⊕ͱͯ͠ɺ

    OB,D
    =
    OB
    ⊕ B→D

    OD
    ̂B,D
    = (
    OB,D
    )

    View Slide

  35. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ

    View Slide

  36. ࣮ূ࣮ݧʛσʔληοτ

    .PWJFMFOT
    өըϨϏϡʔαΠτ
    -BTU'.
    Իָ4/4
    :FMQ
    ΫνίϛαΠτ

    View Slide

  37. /FV.'>
    5PQ/ਪનͰ
    405"ͳख๏
    ڠௐ
    ϑΟϧλϦϯά
    ϕʔε
    ࣮ূ࣮ݧʛ୅දతͳൺֱख๏ͭͱఏҊख๏

    '.(SBOL
    >
    ධՁ༧ଌͰ
    405"ͳख๏
    ʢ5PQ/ਪન༻
    ʹमਖ਼ʣ
    ߦྻ෼ղϕʔε
    .$3FD
    ᾇ1SJPSJUZCBTFE
    3BOEPN8BML
    ͳ͠
    ᾈ$P"UUFOUJPO
    ͳ͠
    ᾉ6TFS *UFN
    "UUFOUJPO
    ͳ͠
    .$3FD
    ׬શ൛

    View Slide

  38. ࣮ূ࣮ݧʛ݁Ռ

    .$3FD͕Ұ؏ͯ͠༏Ε͍ͯΔ
    ˣ
    ఏҊख๏ͷ༗ޮੑ

    View Slide

  39. ࣮ূ࣮ݧʛ$PMETUBSUਪન

    ܇࿅σʔλྔΛม͑ͯ
    #13>͔Βͷվળ཰Λܭଌ
    ˣ
    ఏҊख๏.$3FD͸$PMETUBSUͰ΋ڧ͍

    View Slide

  40. ࣮ূ࣮ݧʛਪન݁Ռղऍੑͷఆੑ෼ੳ

    6.6.΍666.ͷ"UUFOUJPO 4DPSFେˠෳ਺ͷ༑ਓ͕ࢹௌࡁͩͬͨ
    6.(.ͷ"UUFOUJPO 4DPSFେˠ޷͖ͳδϟϯϧͩͬͨ
    ˣ
    ͦͷΞΠςϜ͕ਪન͞Εͨཧ༝͸
    "UUFOUJPO 4DPSF͕ߴ͍.FUBQBUIΛݟΕ͹Θ͔Δ

    View Slide

  41. ࣮ূ࣮ݧʛ"UUFOUJPO4DPSFͷ෼෍

    ଞͷ.FUBQBUIΑΓ
    ॏཁͳ.FUBQBUI͕ଘࡏ

    View Slide

  42. ໨࣍
    ݚڀ֓ཁ
    ݚڀഎܠ
    ఏҊख๏
    ࣮ূ࣮ݧ
    ·ͱΊ

    View Slide

  43. ໨త
    5PQ/ਪનͷ࣭ͷ޲্
    ख๏
    1SJPSJUZCBTFE3BOEPN8BMLʹΑΓ$POUFYUͷ෼ࢄදݱΛੜ੒
    $P"UUFOUJPOػߏʹΑΓ6TFS *UFN $POUFYUͷ෼ࢄදݱΛվྑ
    ݁Ռ
    ਪનͷ࣭ͱղऍੑͷ޲্
    ·ͱΊ

    View Slide