論文紹介 / Real-time Personalization using Embeddings for Search Ranking at Airbnb

KDD 2018のApplied Data Science部門でBest Paperを受賞した "Real-time Personalization using Embeddings for Search Ranking at Airbnb" の紹介スライドです。（https://dl.acm.org/citation.cfm?id=3219885）

元々使っていた特徴（ユーザーや物件の属性など）だけでなく、Embeddingを用いた特徴を計算に組み込むことで予約件数の増加に成功したとのことです。短期的/長期的個人最適化のいずれにも様々な工夫が見られます。産業界でのEmbedding応用事例として必見の論文かもしれません。

研究室のゼミでの紹介用につき、口頭での説明がないぶん分かりにくいところがあるかもしれませんが、ご容赦くださいませ。

Transcript

1. Mihajlo Grbovic, Haibin Cheng
   (KDD’18 Best Paper @Applied Data Science)
   ࿦จ঺հ !LVSJJWF
   

   View Slide

2. ࣮ݧ
   ؔ࿈ݚڀ
   ఏҊख๏
   ݁࿦
   ࿦จ֓ཁ
   ݚڀഎܠ
   

   View Slide

3. ҰൠਓͰ΋෦԰ΛཱྀߦऀʹିͤΔαʔϏε
   3
   

   View Slide

4. 4
   ৔ॴ Ձ֨ ظؒFUDΛ
   ೖྗ
   ࣗ෼͕༧໿͢Δ΂͖
   ෺্͕݅Ґʹ
   දࣔ͞Εͯ΄͍͠
   

   View Slide

5. 5
   ड͚ೖΕΒΕΔͷ͸
   ೔ఔʹήετ
   ͳΔ΂͘
   ྑ͍ήετʹ
   ༧໿ͯ͠΄͍͠
   

   View Slide

6. 6
   ήετɾϗετ͔Β
   ੒໿ख਺ྉΛಘΔ
   ༧໿ ച্
   

   View Slide

7. 7
   ฏۉతཱྀߦճ਺͸
   ೥ʹʙճ
   ࠷΋ॏཁͳࢦඪ
   ʮ༧໿ʯʹ͍ͭͯ
   ૄͳσʔλ
   

   View Slide

8. 8
   ༧໿਺૿ՃͷͨΊ
   ݕࡧ݁ՌΛ࠷దԽ͢Δ
   ख๏ͷ։ൃ
   

   View Slide

9. ᶃ஍Ҭɺ೔ఔɺ
   Ձ֨ଳ౳Λೖྗ
   ᶄϢʔβʔ΍
   ΫΤϦͷ৘ใ
   ᶅશ෺݅ͷ
   είΞΛࢉग़
   ᶆείΞॱʹ
   ݕࡧ݁Ռදࣔ
   9
   

   View Slide

10. ࣮ݧ
    ؔ࿈ݚڀ
    ఏҊख๏
    ݁࿦
    ࿦จ֓ཁ
    ݚڀഎܠ
    

    View Slide

11. 11
    Ϣʔβʔˍ෺݅&NCFEEJOHΛ༻͍ͨ
    ݕࡧ݁Ռͷݸਓ࠷దԽख๏Λ։ൃ
    &NCFEEJOHʹΑΓੜ੒ͨ͠ಛ௃Λ௥Ճͨ͜͠ͱʹΑΓ
    ݕࡧ݁Ռ͕ΑΓ࠷దԽ͞Ε༧໿͕େ෯ʹ૿Ճ
    

    View Slide

12. ࣮ݧ
    ؔ࿈ݚڀ
    ఏҊख๏
    ݁࿦
    ࿦จ֓ཁ
    ݚڀഎܠ
    

    View Slide

13. ϝλσʔλͱԋ૗ه࿥͔Β
    ۂͷ&NCFEEJOHੜ੒
    Իָਪન>
    ߪೖཤྺ͔Β
    ঎඼ͷ&NCFEEJOHੜ੒
    &$ͷ঎඼ਪન>
    εϚϗͷϩά͔Β
    ΞϓϦͷ&NCFEEJOHੜ੒
    ΞϓϦਪન>
    13
    >%POHKJOH 8BOHFUBM-FBSOJOHNVTJDFNCFEEJOHXJUINFUBEBUBGPSDPOUFYUBXBSFSFDPNNFOEBUJPO*O1SPDFFEJOHTPGUIF"$.PO*OUFSOBUJPOBM
    $POGFSFODFPO.VMUJNFEJB3FUSJFWBM
    >7MBEBO 3BEPTBWMKFWJD FUBM4NBSUQIPOFBQQDBUFHPSJ[BUJPOGPSJOUFSFTUUBSHFUJOHJOBEWFSUJTJOHNBSLFUQMBDF*O1SPDFFEJOHTPGUIFUI*OUFSOBUJPOBM$POGFSFODF
    $PNQBOJPOPO8PSME8JEF8FC*OUFSOBUJPOBM8PSME8JEF8FC$POGFSFODFT4UFFSJOH$PNNJUUFF r
    >.JIBKMP(SCPWJD /FNBOKB %KVSJD FUBM4DBMBCMFTFNBOUJDNBUDIJOHPGRVFSJFTUPBETJOTQPOTPSFETFBSDIBEWFSUJTJOH*O4*(*3"$. r
    

    View Slide

14. ࣮ݧ
    ؔ࿈ݚڀ
    ఏҊख๏
    ݁࿦
    ࿦จ֓ཁ
    ݚڀഎܠ
    

    View Slide

15. 15
    ݩʑܭࢉʹ࢖͍ͬͯͨ
    • ෺݅ಛ௃
    • Ϣʔβʔಛ௃
    ͳͲʹՃ͑ɺ
    • -JTUJOH&NCFEEJOHT
    • 6TFSUZQF-JTUJOHUZQF
    &NCFEEJOHT
    ʹΑΓੜ੒ͨ͠ಛ௃Λ௥Ճ͠
    ݕࡧॱҐΛ࠷దԽ
    

    View Slide

16. 16
    -JTUJOH
    &NCFEEJOHT
    6TFSUZQF-JTUJOHUZQF
    &NCFEEJOHT
    

    View Slide

17. 4LJQHSBN
    #PPLFE-JTUJOHBT
    (MPCBM$POUFYU
    "EBQUJOH5SBJOJOHGPS
    $POHSFHBUFE4FBSDI
    17
    

    View Slide

18. 18
    ೖྗ୯ޠ͔Βपล୯ޠͷ༧ଌΛ͢Δ
    χϡʔϥϧωοτϫʔΫͷɺೖྗ૚͔Β
    ӅΕ૚ͷॏΈ͕ೖྗ୯ޠͷ෼ࢄදݱ
    *XBOUUPFBU BOBQQMFFWFSZEBZ
    *XBOUUPFBU BOBQQMFFWFSZEBZ
    

    View Slide

19. 19
    ೖྗ ͔Βपล ͷ༧ଌΛ͢Δ
    χϡʔϥϧωοτϫʔΫͷɺೖྗ૚͔Β
    ӅΕ૚ͷॏΈ͕ೖྗ ͷ෼ࢄදݱ
    ࣌ࠁ
    ༧໿ʹࢸͬͨ
    Ұ࿈ͷΫϦοΫΛ
    ࣌ܥྻʹฒ΂ͨ
    

    View Slide

20. 4LJQHSBN
    #PPLFE-JTUJOHBT
    (MPCBM$POUFYU
    "EBQUJOH5SBJOJOHGPS
    $POHSFHBUFE4FBSDI
    20
    

    View Slide

21. 21
    ͋Δήετ͕
    ༧໿·Ͱʹ
    ΫϦοΫͨ͠෺݅ͷ
    ࣌ܥྻॱ
    

    View Slide

22. 22
    DPOUFYUʹ
    ༧໿͞Εͨ
    ෺݅Λ௥Ճ
    

    View Slide

23. 4LJQHSBN
    #PPLFE-JTUJOHBT
    (MPCBM$POUFYU
    "EBQUJOH5SBJOJOHGPS
    $POHSFHBUFE4FBSDI
    23
    

    View Slide

24. 24
    ී௨ʮߦ͖͍ͨʂʯ৔ॴͷΈௐ΂ΔͨΊɺ
    ಉ஍Ҭͷ෺͕݅DPOUFYUʹ͸ݱΕ΍͍͢
    /FHBUJWF4BNQMF͸ϥϯμϜʹબ୒͢Δ
    ͨΊଞ஍Ҭͷ෺͕݅ݱΕ΍͍͢
    ಉ஍Ҭͷ෺݅ͱྨࣅ౓͕ա৒ʹߴ͘ग़ͯ
    ͠·͏ͷͰɺಉ஍Ҭͷ෺͔݅Β
    /FHBUJWF4BNQMFΛબ୒
    

    View Slide

25. 25
    4LJQHSBN
    #PPLFE-JTUJOHBT
    (MPCBM$POUFYU
    "EBQUJOH5SBJOJOHGPS
    $POHSFHBUFE4FBSDI
    

    View Slide

26. 26
    ৽نܝࡌ෺݅͸
    &NCFEEJOHܭࢉෆՄ
    ෦԰λΠϓɾՁ֨ଳ͕
    ಉ͡࠷΋஍ཧతʹ͍ۙ
    ෺݅ͷฏۉΛ࢖͏
    

    View Slide

27. ສηογϣϯΛ༻͍ͯ
    ࣍ݩͷ&NCFEEJOHΛ܇࿅
    LNFBOTͰ$BMJGPSOJBͷ෺݅Λ
    DMVTUFSʹ
    ͞Βʹɺ&NCFEEJOHT
    &WBMVBUJPO5PPMͷ࣮૷
    IUUQTZPVUVCFL+4"(5S*
    
    27
    

    View Slide

28. 28
    -JTUJOH
    &NCFEEJOHT
    6TFSUZQF-JTUJOHUZQF
    &NCFEEJOHT
    

    View Slide

29. ৔ॴ໰Θͣಉ͡Α͏ͳ෦԰ʹധ·Δ͸ͣ
    ྫʣϗεςϧΛసʑͱ͢ΔόοΫύοΧʔ
    29
    

    View Slide

30. ଟ͘ͷ෺݅ͷ
    ༧໿݅਺͸݅ະຬ
    ਓؾ෺݅͸গͳ͍
    ΫϦοΫ਺ʹൺͯ͠
    ༧໿͸ѹ౗తʹগͳ͍ˍ
    ଟ͘ͷήετ͸Ұ౓͖Γ
    ༧໿݅਺͕গͳ͍
    ΩϟϦΞΞοϓ౳Ͱ
    ٻΊΔՁ֨ଳ౳͕มԽ
    ࣌ؒͰ޷ΈมԽ
    30
    

    View Slide

31. JEUZQF΁ͬ͘͟Γ
    ಉҰۭؒ΁ͷຒΊࠐΈ
    SFKFDU৘ใͷ׆༻
    31
    

    View Slide

32. ֤ཁૉ͝ͱʹNBQQJOHͯͬ͘͟͠Γଊ͑Δ
    ྫʣΠχΤελ +ͰϓϨʔ͢ΔαοΧʔબख
    32
    

    View Slide

33. ΞϝϦΧͷɺՈશମɺҰധͷ஋ஈ͸ʓʓɺʜ
    → US_lt1
    _pn3
    _pg3
    _r3
    _5s4
    _c2
    _b1
    _bd2
    _bt2
    _nu3 33
    

    View Slide

34. 4'ग़਎ɺӳޠ࿩ऀɺࣗݾ঺հࣸਅ෇͖ɺʜ
    → SF_lg1
    _dt1
    _fp1
    _pp1
    _nb1
    _ppn2
    _ppg3
    _c2
    _nr3
    _nl53
    _g5s3 34
    

    View Slide

35. JEUZQF΁ͬ͘͟Γ
    ಉҰۭؒ΁ͷຒΊࠐΈ
    SFKFDU৘ใͷ׆༻
    35
    

    View Slide

36. 36
    ͋ΔήετͷλΠϓ
    ͦͷήετ͕
    ༧໿ͨ͠෺݅ͷλΠϓ
    ͷλϓϧ
    ༧໿ͷൃੜॱʹ
    λϓϧΛฒ΂Δ
    ʢ˞ಉҰήετͷ༧໿
    Ͱ͸ͳ͍ʣ
    ผήετ
    

    View Slide

37. JEUZQF΁ͬ͘͟Γ
    ಉҰۭؒ΁ͷຒΊࠐΈ
    SFKFDU৘ใͷ׆༻
    37
    

    View Slide

38. 38
    ड͚ೖΕΒΕΔͷ͸
    ೔ఔʹήετ
    ೔ఔɺաڈͷධՁ౳
    ͔Βબ୒͢Δ
    

    View Slide

39. 39
    ͋ΔήετͷλΠϓ͕
    ༧໿ΛSFKFDU͞Εͨ
    ෺݅ͷλΠϓΛ
    /FHBUJWF4BNQMF
    ͱͯ͠ѻ͏
    

    View Slide

40. 40
    4LJQHSBN
    3FKFDU৘ใͷ׆༻
    

    View Slide

41. ࣮ݧ
    ؔ࿈ݚڀ
    ఏҊख๏
    ݁࿦
    ࿦จ֓ཁ
    ݚڀഎܠ
    

    View Slide

42. -JTUJOH&NCFEEJOHT
    ΦϑϥΠϯධՁ
    ྨࣅ෺݅ਪન
    ΦϯϥΠϯධՁ
    ݕࡧͰͷϦΞϧλΠϜ
    ݸਓ࠷దԽධՁ
    42
    

    View Slide

43. 43
    ࣍ݩˠ
    ૭αΠζˠ
    JUFSBUJPOTˠ
    .BQ3FEVDFͰ
    ෼ࢄॲཧ
    ສηογϣϯ
    ෼ඇΞΫςΟϒͷ
    ࣌఺Ͱ෼ׂ
    ඵҎ಺ͷ๚໰Λআڈ
    ಗ໊Խ
    

    View Slide

44. -JTUJOH&NCFEEJOHT
    ΦϑϥΠϯධՁ
    ྨࣅ෺݅ਪન
    ΦϯϥΠϯධՁ
    ݕࡧͰͷϦΞϧλΠϜ
    ݸਓ࠷దԽධՁ
    44
    

    View Slide

45. 45
    4LJQHSBNͷΈ
    #PPLFE-JTUJOH
    BT(MPCBM
    $POUFYU
    "EBQUJOH
    5SBJOJOHGPS
    $POHSFHBUFE
    4FBSDI
    ޙड़ͷ4FBSDI
    3BOLJOH
    ௿͍΄ͲॱҐ͕
    ࠷దԽͰ͖͍ͯΔ
    ༧໿෺݅·Ͱͷ
    ࢒ΓΫϦοΫ਺
    ༧໿෺݅
    ͷॱҐ
    

    View Slide

46. -JTUJOH&NCFEEJOHT
    ΦϑϥΠϯධՁ
    ྨࣅ෺݅ਪન
    ΦϯϥΠϯධՁ
    ݕࡧͰͷϦΞϧλΠϜ
    ݸਓ࠷దԽධՁ
    46
    

    View Slide

47. ʮྨࣅͷϦεςΟϯάʯΫϦοΫ཰ VQ
    ʮྨࣅͷϦεςΟϯάʯͷ෺݅Ͱͷ༧໿ VQ 47
    

    View Slide

48. -JTUJOH&NCFEEJOHT
    ΦϑϥΠϯධՁ
    ྨࣅ෺݅ਪન
    ΦϯϥΠϯධՁ
    ݕࡧͰͷϦΞϧλΠϜ
    ݸਓ࠷దԽධՁ
    48
    

    View Slide

49. 49
    ݩʑܭࢉʹ࢖͍ͬͯͨ
    • ෺݅ಛ௃
    • Ϣʔβʔಛ௃
    ͳͲʹՃ͑ɺ
    • -JTUJOH&NCFEEJOHT
    • 6TFSUZQF-JTUJOHUZQF
    &NCFEEJOHT
    ʹΑΓੜ੒ͨ͠ಛ௃Λ௥Ճ͠
    ݕࡧॱҐΛ࠷దԽ
    

    View Slide

50. 50
    (x1
    , y1
    )
    (x2
    , y2
    )
    (x3
    , y3
    )
    ೔෼
    

    View Slide

51. 51
    xi
    • ෺݅ಛ௃
    ʢ෦԰ͷ਺ͳͲʣ
    • Ϣʔβʔಛ௃
    ʢධՁ஋ͳͲʣ
    • ΫΤϦಛ௃
    ʢήετ਺ͳͲʣ
    • Ϋϩεಛ௃
    ʢΫΤϦՁ֨ͱ෺݅Ձ֨ͷࠩͳͲʣ
    yi
    •
    ʢΫϦοΫ͞Εͳ͔ͬͨ৔߹ʣ
    •
    ʢΫϦοΫ͞Εͨ৔߹ʣ
    •
    ʢ࿈བྷ͕ͨ͠༧໿ෆ੒ཱͷ৔߹ʣ
    •
    ʢ༧໿੒ཱͷ৔߹ʣ
    •
    ʢϗετ͕SFKFDUͨ͠৔߹ʣ
    

    View Slide

52. 52
    ෺݅Jʹ͍ͭͯͷ
    (xi
    , yi
    )Λ༻͍ͯ
    ݕࡧॱҐΛܭࢉ
    ʢܭࢉํ๏͸ඇެ։ʣ
    xi
    • ෺݅ಛ௃
    ʢ෦԰ͷ਺ͳͲʣ
    • Ϣʔβʔಛ௃
    ʢධՁ஋ͳͲʣ
    • ΫΤϦಛ௃
    ʢήετ਺ͳͲʣ
    • Ϋϩεಛ௃
    ʢΫΤϦՁ֨ͱ෺݅Ձ֨ͷࠩͳͲʣ
    ʢ&NC$MJDL4JN &NC#PPL4JN
    6TFS5ZQF-JTUJOH5ZQF4JNͳͲʣ
    ຊݚڀͰ͸Y
    Jʹ
    &NCFEEJOHΛ༻͍ͯ
    ੜ੒ͨ͠ಛ௃Λ௥Ճ
    

    View Slide

53. 53
    िؒҎ಺ͷσʔλͰɺ
    શϢʔβʔ*%ʹର͠ɺ
    • ΫϦοΫͨ͠෺݅ͷϦετ
    • ༧໿ͨ͠෺݅ͷϦετ
    • ʜFUD
    Λ࡞੒͠-JTUJOH&NCFEEJOHTͰ
    &NCFEEJOHΛੜ੒
    ・
    ・
    ・
    ΫϦοΫͨ͠෺݅Ϧετ
    ໰͍߹Θͤͨ෺݅Ϧετ
    ༧໿ͨ͠෺݅Ϧετ
    

    View Slide

54. 54
    ண໨෺݅&NCFEEJOHͱϦετ಺ͷ
    ෺݅&NCFEEJOHͱͷ
    DPTྨࣅ౓Λܭࢉ͠ɺͦͷ࠷େ஋
    • &NC$MJDL4JN
    • &NC#PPL4JN
    • ʜFUD
    Λಛ௃ͱ͢Δ
    ʜ
    ݕࡧϢʔβʔ͕
    ΫϦοΫͨ͠෺݅Ϧετ
    είΞΛࢉग़
    ͍ͨ͠෺݅
    

    View Slide

55. 55
    ʜ
    6TFSUZQF-JTUJOHUZQF
    &NCFEEJOHTͰ&NCFEEJOHΛੜ੒ɺ
    ͦΕͧΕͷ&NCFEEJOHʹର͠
    DPTྨࣅ౓Λܭࢉ͠ɺͦͷ࠷େ஋
    • 6TFS5ZQF-JTUJOH5ZQF4JN
    Λಛ௃ͱ͠ੜ੒֤ͨ͠ಛ௃ΛՃ͑ͯ
    ৽͍͠4FBSDI3BOLJOHͱ͢Δ
    ݕࡧ
    Ϣʔβʔ
    िؒҎ಺ʹ༧໿੒ཱͨ͠
    ϢʔβʔλΠϓ ෺݅λΠϓ
    
    ͷϦετ
    

    View Slide

56. 56
    ଟ͘ͷ෺݅Λ
    Χόʔ
    

    View Slide

57. 57
    ্ҐˋʹೖΔ
    ॏཁ౓ͷߴ͍ಛ௃
    Λੜ੒Ͱ͖ͨ
    

    View Slide

58. 58
    6TFS5ZQF-JTUJOH
    5ZQF4JNͷ஋ʹ
    ൺྫ͠ߴείΞ
    

    View Slide

59. 59
    &NCFEEJOHಛ௃
    ͷ௥ՃʹΑΓ
    શ໘తʹ޲্
    

    View Slide

60. ࣮ݧ
    ؔ࿈ݚڀ
    ఏҊख๏
    ݁࿦
    ࿦จ֓ཁ
    ݚڀഎܠ
    

    View Slide

61. 61
    Ϣʔβʔˍ෺݅&NCFEEJOHΛ༻͍ͨ
    ݕࡧ݁Ռͷݸਓ࠷దԽख๏Λ։ൃ
    &NCFEEJOHʹΑΓੜ੒ͨ͠ಛ௃Λ௥Ճͨ͜͠ͱʹΑΓ
    ݕࡧ݁Ռ͕ΑΓ࠷దԽ͞Ε༧໿͕େ෯ʹ૿Ճ
    

    View Slide