Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介 / Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings

kuri8ive
November 23, 2018

論文紹介 / Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings

CIKM 2018の論文 "Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings"( https://dl.acm.org/citation.cfm?id=3271777 ) の紹介スライドです。(英語で発表したものをそのままアップしたので英語です)

以前紹介したmetapath2vec( https://speakerdeck.com/kuri8ive/metapath2vec-scalable-representation-learning-for-heterogeneous-networks )により、meta-pathベースのランダムウォーク手法は有用であると考えられるようになりました。しかし、どのmeta-pathを選択するかが分散表現の質に大きく影響するという課題があり、Attentionにより複数のmeta-pathの影響を統合する( https://speakerdeck.com/kuri8ive/leveraging-meta-path-based-context-for-top-n-recommendation-with-a-neural-co-attention-model )といった研究が行われています。

本研究ではmeta-pathを利用せず、同一タイプのノードへの遷移or別タイプのノードへの遷移を確率で制御するという手法が提案されました。実験では良好な結果を示していますが、データセットのグラフがいずれも4種類のノードタイプかつエッジの張り方も似ており、知識グラフのような一般的で複雑なグラフに対しても機能するかは疑問が残ります。(Future Workとはしていますが…)また、メモリーサイズは結果にはあまり影響しなかった、としていますが、同一タイプへのエッジが張られているノードタイプが少なかったために、同一タイプへの遷移が不可能なノードが多かったからでは…というのも疑問点。(例えば、DBLPデータセットでP以外のノードに遷移した時、次はPのノードに遷移するしかない)さらに、meta-pathの選択が不要になった代わりに、どのタイプのノードに同一タイプへのエッジを張るか、という選択の必要性が生じていて、これもまたドメイン知識を必要とする困難なタスクであると思われるため、本質的な解決はできていないのではないかとも思います。

研究室のゼミでの発表用スライドにつき、口頭で説明した部分を反映できていないかと思いますが、あらかじめご容赦くださいませ。

kuri8ive

November 23, 2018
Tweet

More Decks by kuri8ive

Other Decks in Research

Transcript

  1. 1BQFS*OUSPEVDUJPO "SF.FUB1BUIT/FDFTTBSZ  3FWJTJUJOH)FUFSPHFOFPVT (SBQI&NCFEEJOHT $*,.` 3BOB)VTTFJO %JOHRJ :BOH 1IJMJQQF$VESÉ.BVSPVY

    !LVSJJWF
  2. 5BCMFPG$POUFOUT *OUSPEVDUJPO 0WFSWJFX 1SPQPTFENFUIPE &YQFSJNFOU $PODMVTJPO

  3. *OUSPEVDUJPOʛ)*/EFGJOJUJPONPUJWBUJPOUPVTF<>  )FUFSPHFOFPVT*OGPSNBUJPO /FUXPSL )*/ ˣ (SBQIXJUITFWFSBMUZQFTPG OPEFTPSFEHFT 8BOUUPEJTDPWFSOFXGBDUT FY

    3FMBUJPOT 4JNJMBSJUJFT ʁ
  4. *OUSPEVDUJPOʛ1PQVMBSJUZPG(SBQI&NCFEEJOHJO)*/<>  2)PXUPHFUVTFGVM SFQSFTFOUBUJPOT ˣ "(SBQI&NCFEEJOH /PEFTJOUPBDPOUJOVPVT MPXEJNFOTJPOBMWFDUPSTQBDF W 4VO

    W )BO W 1BUI4JN W ,%%
  5. *OUSPEVDUJPOʛ)PXUPHFU(SBQI&NCFEEJOH<>  (FOFSBUFOPEFTFRVFODFTCZ NFUBQBUI CBTFESBOEPNXBML FY "1" BVUIPSQBQFSBVUIPS 4VO/FU$MVT)BO(FO$MVTʜ 6TF4LJQ(SBN

    UFDIOJRVF JOUIFTBNFXBZBT 8PSEWFD<> ʜ W 4VO W )BO W 1BUI4JN W ,%%
  6. *OUSPEVDUJPOʛ*TTVFTPGNFUBQBUICBTFENFUIPET< >  ᶃ)PXUPTFMFDU NFUBQBUIT 3FRVJSFTEPNBJOLOPXMFEHF ᶄ)PXNBOZ NFUBQBUIT &YQPOFOUJBMMZCFDPNFMBSHFS

  7. *OUSPEVDUJPOʛ5IJOLJOHUJNF  NFUBQBUITBSFVTFGVM CVU EPVCMFFEHFETXPSEʜ "SFNFUBQBUIT OFDFTTBSSZ

  8. 5BCMFPG$POUFOUT *OUSPEVDUJPO 0WFSWJFX 1SPQPTFENFUIPE &YQFSJNFOU $PODMVTJPO

  9.  (PBM 1SPQPTFBHSBQI FNCFEEJOHUFDIOJRVF UIBUEPFTOPUJOWPMWF BOZNFUBQBUI 6TJOHSBOEPNXBMLT XJUI KVNQBOETUBZTUSBUFHJFT #FUUFSSFTVMUTJOOPEF

    DMBTTJGJDBUJPODMVTUFSJOH  BCPVUYTQFFEVQ MFBSOJOHUJNF .FUIPE 3FTVMUT 0WFSWJFX
  10. 5BCMFPG$POUFOUT *OUSPEVDUJPO 0WFSWJFX 1SPQPTFENFUIPE &YQFSJNFOU $PODMVTJPO

  11. 1SPQPTFENFUIPEʛ*OQVU0VUQVU  *OQVU )FUFSPHFOFPVT *OGPSNBUJPO/FUXPSL )ZQFSQBSBNFUFST 0VUQVU /PEF&NCFEEJOHT W 4VO

    W )BO W 1BUI4JN W ,%%
  12. 1SPQPTFENFUIPEʛ0WFSWJFX  (FOFSBUFOPEFTFRVFODFTCZ SBOEPNXBMLXJUI KVNQTUBZ TUSBUFHJFT 6TF4LJQ(SBN UFDIOJRVF JOUIFTBNFXBZBT 8PSEWFD<>

    ʜ W 4VO W )BO W 1BUI4JN W ,%%
  13. 1SPQPTFENFUIPEʛ8IBU`T+VNQ4UBZ  +VNQ NPWJOHUPOFYUOPEF JOBOPUIFS EPNBJO 4UBZ NPWJOHUPOFYUOPEF JOUIFTBNF EPNBJO

  14. 1SPQPTFENFUIPEʛ)PXXBML  +VNQPS4UBZ EFQFOETPOЋ TUBZQSPCBCJMJUZ NFNPSZ Ћ Ћ

  15. 1SPQPTFENFUIPEʛ)PXXBML  4UBZ ЋJTEFDSFBTJOHOPUUPTUBZUPPMPOHJOUIFTBNFEPNBJO *GTUBZ ZPVNPWFUPB OFYUOPEFJOUIF TBNF EPNBJO NFNPSZ

    Ћ
  16. 1SPQPTFENFUIPEʛ)PXXBML  +VNQ *GZPVWJTJUFEBEPNBJOSFDFOUMZ JONFNPSZ JUJTPVUPGDIPJDFT *OUIJTTMJEF "JTPVUPGDIPJDFTCFDBVTFZPVWJTJUFE"SFDFOUMZ *GKVNQ ZPVNPWFUPB

    OFYUOPEFJO BOPUIFS EPNBJO BOENFNPSJ[FUIF EPNBJOUZQF NFNPSZ Ћ
  17. 1SPQPTFENFUIPEʛ4LJQ(SBN  USBJO/FVSBM/FUXPSLUPNBYJNJ[FT UIFDPPDDVSSFODFQSPCBCJMJUZPGOPEFT BQQFBSJOHXJUIJOBDPOUFYUXJOEPX

  18. 5BCMFPG$POUFOUT *OUSPEVDUJPO 0WFSWJFX 1SPQPTFENFUIPE &YQFSJNFOU $PODMVTJPO

  19.  %#-1 CJCMJPHSBQIZ BEEMBCFMUP" lEBUBCBTFz lEBUB NJOJOHz ʜ :"(0 NPWJF

    BEEMBCFMUP. lBDUJPOz lIPSSPSz ʜ 'PVSTRVBSF DIFDLJO BEEMBCFMUP$ lCBSz lSFTUBVSBOUz ʜ &YQFSJNFOUʛ%BUBTFU
  20.  $MBTTJDBM ɾ%FFQ8BML ɾ-*/& ɾ15& .FUBQBUICBTFE ɾ.FUBQBUIWFD ɾ)JOWFD 1SPQPTBM ɾ+645

    ɾ[email protected]@NFNPSZ &YQFSJNFOUʛ.FUIPET ʜ
  21.  &YQFSJNFOUʛ/PEF$MBTTJGJDBUJPO +645JTTU PSBMNPTUTU

  22.  &YQFSJNFOUʛ/PEF$MVTUFSJOH +645JTTU [email protected]@NFNPSZ TJNQMJGJFEWFS JTOE

  23.  &YQFSJNFOUʛ*NQBDUPGTUBZQSPCBCJMJUZЋ PQUJNBMЋNPTUMZMJFTJOUIFSBOHF< >

  24.  &YQFSJNFOUʛ*NQBDUPGNFNPSZTJ[FN QFSGPSNBODFTBSFMFTTTFOTJUJWFUPN PQUJNBMNWBSJFTBDSPTTEJGGFSFOUEBUBTFUT

  25.  &YQFSJNFOUʛ3VOUJNF1FSGPSNBODF  BNJOPSPWFSIFBEPOUIFMFBSOJOHUJNF  PVUQFSGPSNT)JOWFD QSFWJPVT405"  ESBNBUJDBMMZSFEVDFEMFBSOJOHUJNF YTQFFEVQ

    ʙ MFBSOJOHUJNF TFD
  26. 5BCMFPG$POUFOUT *OUSPEVDUJPO 0WFSWJFX 1SPQPTFENFUIPE &YQFSJNFOU $PODMVTJPO

  27.  (PBM 1SPQPTFBHSBQI FNCFEEJOHUFDIOJRVF UIBUEPFTOPUJOWPMWF BOZNFUBQBUI 6TJOHSBOEPNXBMLT XJUI KVNQBOETUBZTUSBUFHJFT #FUUFSSFTVMUTJOOPEF

    DMBTTJGJDBUJPODMVTUFSJOH  BCPVUYTQFFEVQ MFBSOJOHUJNF .FUIPE 3FTVMUT $PODMVTJPOʛ0WFSWJFX
  28.  $PODMVTJPOʛ%JTDVTTJPO ᶃ"QQMJDBUJPOUP NPSFDPNQMFYHSBQI ᶄ"VUPNFUBQBUI EJTDPWFSZ