Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介 / Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings

kuri8ive
November 23, 2018

論文紹介 / Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings

CIKM 2018の論文 "Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings"( https://dl.acm.org/citation.cfm?id=3271777 ) の紹介スライドです。(英語で発表したものをそのままアップしたので英語です)

以前紹介したmetapath2vec( https://speakerdeck.com/kuri8ive/metapath2vec-scalable-representation-learning-for-heterogeneous-networks )により、meta-pathベースのランダムウォーク手法は有用であると考えられるようになりました。しかし、どのmeta-pathを選択するかが分散表現の質に大きく影響するという課題があり、Attentionにより複数のmeta-pathの影響を統合する( https://speakerdeck.com/kuri8ive/leveraging-meta-path-based-context-for-top-n-recommendation-with-a-neural-co-attention-model )といった研究が行われています。

本研究ではmeta-pathを利用せず、同一タイプのノードへの遷移or別タイプのノードへの遷移を確率で制御するという手法が提案されました。実験では良好な結果を示していますが、データセットのグラフがいずれも4種類のノードタイプかつエッジの張り方も似ており、知識グラフのような一般的で複雑なグラフに対しても機能するかは疑問が残ります。(Future Workとはしていますが…)また、メモリーサイズは結果にはあまり影響しなかった、としていますが、同一タイプへのエッジが張られているノードタイプが少なかったために、同一タイプへの遷移が不可能なノードが多かったからでは…というのも疑問点。(例えば、DBLPデータセットでP以外のノードに遷移した時、次はPのノードに遷移するしかない)さらに、meta-pathの選択が不要になった代わりに、どのタイプのノードに同一タイプへのエッジを張るか、という選択の必要性が生じていて、これもまたドメイン知識を必要とする困難なタスクであると思われるため、本質的な解決はできていないのではないかとも思います。

研究室のゼミでの発表用スライドにつき、口頭で説明した部分を反映できていないかと思いますが、あらかじめご容赦くださいませ。

kuri8ive

November 23, 2018
Tweet

More Decks by kuri8ive

Other Decks in Research

Transcript

  1. 1BQFS*OUSPEVDUJPO
    "SF.FUB1BUIT/FDFTTBSZ
    3FWJTJUJOH)FUFSPHFOFPVT
    (SBQI&NCFEEJOHT
    $*,.`

    3BOB)VTTFJO %JOHRJ :BOH 1IJMJQQF$VESÉ.BVSPVY
    !LVSJJWF

    View full-size slide

  2. 5BCMFPG$POUFOUT
    *OUSPEVDUJPO
    0WFSWJFX
    1SPQPTFENFUIPE
    &YQFSJNFOU
    $PODMVTJPO

    View full-size slide

  3. *OUSPEVDUJPOʛ)*/EFGJOJUJPONPUJWBUJPOUPVTF<>

    )FUFSPHFOFPVT*OGPSNBUJPO
    /FUXPSL )*/

    ˣ
    (SBQIXJUITFWFSBMUZQFTPG
    OPEFTPSFEHFT
    8BOUUPEJTDPWFSOFXGBDUT
    FY
    3FMBUJPOT 4JNJMBSJUJFT
    ʁ

    View full-size slide

  4. *OUSPEVDUJPOʛ1PQVMBSJUZPG(SBQI&NCFEEJOHJO)*/<>

    2)PXUPHFUVTFGVM
    SFQSFTFOUBUJPOT
    ˣ
    "(SBQI&NCFEEJOH
    /PEFTJOUPBDPOUJOVPVT
    MPXEJNFOTJPOBMWFDUPSTQBDF
    W 4VO

    W )BO

    W 1BUI4JN

    W ,%%

    View full-size slide

  5. *OUSPEVDUJPOʛ)PXUPHFU(SBQI&NCFEEJOH<>

    (FOFSBUFOPEFTFRVFODFTCZ
    NFUBQBUI CBTFESBOEPNXBML
    FY
    "1" BVUIPSQBQFSBVUIPS

    4VO/FU$MVT)BO(FO$MVTʜ
    6TF4LJQ(SBN UFDIOJRVF
    JOUIFTBNFXBZBT
    8PSEWFD<>

    ʜ
    W 4VO

    W )BO

    W 1BUI4JN

    W ,%%

    View full-size slide

  6. *OUSPEVDUJPOʛ*TTVFTPGNFUBQBUICBTFENFUIPET< >

    ᶃ)PXUPTFMFDU
    NFUBQBUIT
    3FRVJSFTEPNBJOLOPXMFEHF
    ᶄ)PXNBOZ
    NFUBQBUIT
    &YQPOFOUJBMMZCFDPNFMBSHFS

    View full-size slide

  7. *OUSPEVDUJPOʛ5IJOLJOHUJNF

    NFUBQBUITBSFVTFGVM
    CVU
    EPVCMFFEHFETXPSEʜ
    "SFNFUBQBUIT
    OFDFTTBSSZ

    View full-size slide

  8. 5BCMFPG$POUFOUT
    *OUSPEVDUJPO
    0WFSWJFX
    1SPQPTFENFUIPE
    &YQFSJNFOU
    $PODMVTJPO

    View full-size slide


  9. (PBM
    1SPQPTFBHSBQI
    FNCFEEJOHUFDIOJRVF
    UIBUEPFTOPUJOWPMWF
    BOZNFUBQBUI
    6TJOHSBOEPNXBMLT
    XJUI
    KVNQBOETUBZTUSBUFHJFT
    #FUUFSSFTVMUTJOOPEF
    DMBTTJGJDBUJPODMVTUFSJOH
    BCPVUYTQFFEVQ
    MFBSOJOHUJNF
    .FUIPE 3FTVMUT
    0WFSWJFX

    View full-size slide

  10. 5BCMFPG$POUFOUT
    *OUSPEVDUJPO
    0WFSWJFX
    1SPQPTFENFUIPE
    &YQFSJNFOU
    $PODMVTJPO

    View full-size slide

  11. 1SPQPTFENFUIPEʛ*OQVU0VUQVU

    *OQVU
    )FUFSPHFOFPVT
    *OGPSNBUJPO/FUXPSL
    )ZQFSQBSBNFUFST
    0VUQVU
    /PEF&NCFEEJOHT
    W 4VO

    W )BO

    W 1BUI4JN

    W ,%%

    View full-size slide

  12. 1SPQPTFENFUIPEʛ0WFSWJFX

    (FOFSBUFOPEFTFRVFODFTCZ
    SBOEPNXBMLXJUI
    KVNQTUBZ
    TUSBUFHJFT
    6TF4LJQ(SBN UFDIOJRVF
    JOUIFTBNFXBZBT
    8PSEWFD<>

    ʜ
    W 4VO

    W )BO

    W 1BUI4JN

    W ,%%

    View full-size slide

  13. 1SPQPTFENFUIPEʛ8IBU`T+VNQ4UBZ

    +VNQ
    NPWJOHUPOFYUOPEF
    JOBOPUIFS EPNBJO
    4UBZ
    NPWJOHUPOFYUOPEF
    JOUIFTBNF EPNBJO

    View full-size slide

  14. 1SPQPTFENFUIPEʛ)PXXBML

    +VNQPS4UBZ
    EFQFOETPOЋ TUBZQSPCBCJMJUZ

    NFNPSZ
    Ћ
    Ћ

    View full-size slide

  15. 1SPQPTFENFUIPEʛ)PXXBML

    4UBZ
    ЋJTEFDSFBTJOHOPUUPTUBZUPPMPOHJOUIFTBNFEPNBJO
    *GTUBZ
    ZPVNPWFUPB
    OFYUOPEFJOUIF
    TBNF EPNBJO
    NFNPSZ
    Ћ

    View full-size slide

  16. 1SPQPTFENFUIPEʛ)PXXBML

    +VNQ
    *GZPVWJTJUFEBEPNBJOSFDFOUMZ JONFNPSZ
    JUJTPVUPGDIPJDFT
    *OUIJTTMJEF "JTPVUPGDIPJDFTCFDBVTFZPVWJTJUFE"SFDFOUMZ

    *GKVNQ
    ZPVNPWFUPB
    OFYUOPEFJO
    BOPUIFS EPNBJO
    BOENFNPSJ[FUIF
    EPNBJOUZQF
    NFNPSZ
    Ћ

    View full-size slide

  17. 1SPQPTFENFUIPEʛ4LJQ(SBN

    USBJO/FVSBM/FUXPSLUPNBYJNJ[FT
    UIFDPPDDVSSFODFQSPCBCJMJUZPGOPEFT
    BQQFBSJOHXJUIJOBDPOUFYUXJOEPX

    View full-size slide

  18. 5BCMFPG$POUFOUT
    *OUSPEVDUJPO
    0WFSWJFX
    1SPQPTFENFUIPE
    &YQFSJNFOU
    $PODMVTJPO

    View full-size slide


  19. %#-1
    CJCMJPHSBQIZ
    BEEMBCFMUP"
    lEBUBCBTFz lEBUB
    NJOJOHz ʜ

    :"(0
    NPWJF
    BEEMBCFMUP.
    lBDUJPOz lIPSSPSz ʜ

    'PVSTRVBSF
    DIFDLJO
    BEEMBCFMUP$
    lCBSz lSFTUBVSBOUz ʜ

    &YQFSJNFOUʛ%BUBTFU

    View full-size slide


  20. $MBTTJDBM
    ɾ%FFQ8BML
    ɾ-*/&
    ɾ15&
    .FUBQBUICBTFE
    ɾ.FUBQBUIWFD
    ɾ)JOWFD
    1SPQPTBM
    ɾ+645
    ɾ+645@OP@NFNPSZ
    &YQFSJNFOUʛ.FUIPET
    ʜ

    View full-size slide


  21. &YQFSJNFOUʛ/PEF$MBTTJGJDBUJPO
    +645JTTU PSBMNPTUTU

    View full-size slide


  22. &YQFSJNFOUʛ/PEF$MVTUFSJOH
    +645JTTU
    +645@OP@NFNPSZ TJNQMJGJFEWFS
    JTOE

    View full-size slide


  23. &YQFSJNFOUʛ*NQBDUPGTUBZQSPCBCJMJUZЋ
    PQUJNBMЋNPTUMZMJFTJOUIFSBOHF< >

    View full-size slide


  24. &YQFSJNFOUʛ*NQBDUPGNFNPSZTJ[FN
    QFSGPSNBODFTBSFMFTTTFOTJUJWFUPN
    PQUJNBMNWBSJFTBDSPTTEJGGFSFOUEBUBTFUT

    View full-size slide


  25. &YQFSJNFOUʛ3VOUJNF1FSGPSNBODF
    BNJOPSPWFSIFBEPOUIFMFBSOJOHUJNF
    PVUQFSGPSNT)JOWFD QSFWJPVT405"

    ESBNBUJDBMMZSFEVDFEMFBSOJOHUJNF YTQFFEVQ

    ʙ
    MFBSOJOHUJNF TFD

    View full-size slide

  26. 5BCMFPG$POUFOUT
    *OUSPEVDUJPO
    0WFSWJFX
    1SPQPTFENFUIPE
    &YQFSJNFOU
    $PODMVTJPO

    View full-size slide


  27. (PBM
    1SPQPTFBHSBQI
    FNCFEEJOHUFDIOJRVF
    UIBUEPFTOPUJOWPMWF
    BOZNFUBQBUI
    6TJOHSBOEPNXBMLT
    XJUI
    KVNQBOETUBZTUSBUFHJFT
    #FUUFSSFTVMUTJOOPEF
    DMBTTJGJDBUJPODMVTUFSJOH
    BCPVUYTQFFEVQ
    MFBSOJOHUJNF
    .FUIPE 3FTVMUT
    $PODMVTJPOʛ0WFSWJFX

    View full-size slide


  28. $PODMVTJPOʛ%JTDVTTJPO
    ᶃ"QQMJDBUJPOUP
    NPSFDPNQMFYHSBQI
    ᶄ"VUPNFUBQBUI
    EJTDPWFSZ

    View full-size slide