KDD2023 論文読み会 Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation

Transcript

1. 公開 © LY Corporation LINEヤフー株式会社 吉井 和輝 | Kazuki YOSHII Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation KDD2023 論⽂読み会
2. © LY Corporation 公開 2 ⾃⼰紹介 • ٢Ҫ ࿨ً • ུྺ • େֶɾେֶӃͰҎԼͷྖҬͷݚڀΛ࣮ࢪ • $SPTT%PNBJO
   3FDPNNFOEBUJPO • *NBHF
   $BQUJPOJOH • ৽ଔͰϠϑʔגࣜձࣾ ౰࣌ ʹೖࣾ ೖࣾͰࠓ೥Ͱ೥໨ • ۀ຿Ͱ͸Ϩίϝϯσʔγϣϯ
   ԣஅσʔλར׆༻ྖҬʹܞΘΔ • ݱࡏ-*/&ϠϑʔגࣜձࣾͰ .-ϓϩμΫτͷϚωʔδϟʔ ЈΞΧ΢ϯτ
   !FWF@ZL ࠷ۙ͸30.ઐ
3. © LY Corporation 公開 (PPHMFࣾ಺ʹ͓͚Δʮ৽نίϯςϯπϨίϝϯυʯͷ੒ޭࣄྫΛ·ͱΊͨ࿦จ ৽نίϯςϯπϨίϝϯυઐ༻ͷܝग़໘Λ࡞Δ͜ͱͰϓϥοτϑΥʔϜશମʹԸܙ͕ಘΒΕͨ ৽نίϯςϯπ޲͚ͷϨίϝϯυϞσϧఏҊͱ࣮ূ࣮ݧΛߦͬͨ 01 03 02 3 論⽂三⾏まとめ
4. © LY Corporation 公開 導⼊: ⼀般的な ⼤規模レコメンドモデルについて 4
5. © LY Corporation 公開 5 ⼀般的な⼤規模レコメンドモデル 引⽤: Two-Towerモデルと近似最近傍探索による候補⽣成ロジックの導⼊ (Recuruit Data Blog) • TUBHFͷϞσϧ͕Ұൠత • TU TUBHF
   େྔͷΞΠςϜू߹͔Β Ϩίϝϯυީิू߹Λ ߴ଎ʹ࡞੒ d਺ඦ • OE TUBHF ࣌ؒ͸͔͔Δ͕ߴਫ਼౓ͳ ϦϥϯΩϯάΛ࣮ࢪ • TU TUBHFͰ͸ਫ਼౓ͱ଎౓ͷόϥϯεΛऔΔ ͨΊʹΑ͘5XP5PXFSϞσϧ͕࠾༻͞ΕΔ • Ϣʔβͷ৘ใͱΞΠςϜͷ৘ใΛ ͦΕͧΕ%//Ͱ&NCFEEJOH • ഑৴࣌͸ɺࣄલʹܭࢉ͓͍ͯͨ͠ ΞΠςϜ&NCFEEJOHʹରͯ͠ ϦΞϧλΠϜʹ࡞੒͞ΕͨϢʔβ &NCFEEJOHͰۙࣅۙ๣୳ࡧ
6. © LY Corporation 公開 6 ⼀般的な⼤規模レコメンドモデルの課題 • TUBHFͷͲͪΒͷϞσϧ΋ϢʔβͷΠϯλϥΫγϣϯΛ ݩʹֶश͞Ε͍ͯΔͨΊɺڧྗͳϑΟʔυόοΫϧʔϓ ͕ൃੜ͢Δ • zSJDI
   HFUT
   SJDIFSz
   FGGFDU • ਓؾͳίϯςϯπ͸Ϩίϝϯυ͞Ε΍͍͢ ˢˣ Ϩίϝϯυ͞Ε΍͍͢ίϯςϯπ͸Α͘ݟΒΕΔ • ৽͘͠౤ߘ͞Εͨ৽نίϯςϯπ͸ΠϯλϥΫγϣϯ σʔλ͕ͳ͍ͨΊɺద੾ͳϢʔβʹܝࡌ͢Δ·Ͱʹߴ͍ োน͕ଘࡏ͢Δ • lΞΠςϜͷίʔϧυελʔτ໰୊z • ৽نίϯςϯπ͸๲େͳྔଘࡏ͢Δ • :PV5VCF
   ຖ෼࣌ؒͷಈը͕Ξοϓϩʔυ • 4QPUJGZ
   ඵ͝ͱʹ৽نτϥοΫ͕Ξοϓϩʔυ গ਺ͷਓؾίϯςϯπ ϑΟʔυόοΫϧʔϓΛஅͪ੾Γɺ࣭ͷߴ͍৽نίϯςϯπΛద੾ʹఏڙ͍ͨ͠ʂ େଟ਺ͷ ɾ৽نίϯςϯπ ɾςʔϧίϯςϯπ
7. © LY Corporation 公開 ৽نίϯςϯπϨίϝϯυύΠϓϥΠϯΛఏҊ͠ɺΦϯϥΠϯ؀ڥͰޮՌΛܭଌ ৽نίϯςϯπϨίϝϯυͷϞσϧΛվળ͠ɺΦϯϥΠϯ؀ڥͰޮՌΛܭଌ छྨͷ৽نίϯςϯπϨίϝϯυϞσϧͷ࢖͍෼͚ʹ͍ͭͯ෼ੳ 01 03 02 7 本論⽂の貢献 ࠓ೔࿩͢ ࠓ೔࿩͢
8. © LY Corporation 公開 8 本論⽂の⼿法は(おそらく)本番導⼊済み ৽نίϯςϯπ ౤ߘ೔͕৽͍͠ PS
   ࢹௌճ਺͕গͳ͍ ͕ Ϩίϝϯυཝʹࠞ͟ΔΑ͏ʹͳͬͯΔʂʂ Α͍͠ͷ:PV5VCFϨίϝϯυ
9. © LY Corporation 公開 新規コンテンツレコメンドパイプライン 9
10. © LY Corporation 公開 10 新規コンテンツレコメンドで考えること • ୹ظతͳϢʔβମݧͷѱԽͱ௕ظతͳϓϥοτϑΥʔϜվળͷόϥϯεΛऔΓ͍ͨ • Ϣʔβʹ৽نίϯςϯπΛݟͤΔ
    ϑΟʔυόοΫ͸ू·Δ͕ଟ͘ͷ৔߹Ϣʔβମݧ͸ѱԽ ͳΔ΂͘ϢʔβମݧΛଛͳΘͣʹϑΟʔυόοΫΛूΊ͍ͨ • ҎԼͷͭͷࢦඪΛߟ͑Δ • $PWFSBHF
    
    ύΠϓϥΠϯ͕Ͳͷ͘Β͍ͷ৽نίϯςϯπΛϢʔβʹఏࣔͰ͖Δ͔ • 3FMFWBODF
    ύΠϓϥΠϯ͕Ͳͷ͘Β͍Ϣʔβʹڵຯͷ͋ΔίϯςϯπΛఏࣔͰ͖Δ͔ ϢʔβʹఏࣔͰ͖Δ ΞΠςϜͷछྨ਺ $PWFSBHFͷΠϝʔδ Ϣʔβʹఏࣔͨ͠ΞΠςϜ͕ ͲΕ͚ͩϢʔβͷڵຯͷ͋Δ ΋ͷ͔ 3FMFWBODFͷΠϝʔδ ˓ ˓ º º
11. © LY Corporation 公開 11 新規コンテンツレコメンドパイプライン ҎԼͷίϯϙʔωϯτ͔Βߏ੒͞ΕΔ  'SFTI
    DPOUFOU
    OPNJOBUPS  (SBEVBUJPO
    GJMUFS  .VMUJBSN
    CBOEJU
    1SFTDPSFS
    
    3BOLFS  ৽نίϯςϯπઐ༻εϩοτ    
12. © LY Corporation 公開 12 新規コンテンツレコメンドパイプライン  'SFTI
    DPOUFOU
    OPNJOBUPS • ίϯςϯπϕʔεͷ5XP5PXFSϞσϧʹΑΓߏங • ϢʔβλϫʔͰ͸ɺϢʔβͷӾཡཤྺ͔Β&NCFEEJOHΛֶश • ΞΠςϜλϫʔͰ͸ɺίϯςϯπͷ৘ใ λΠτϧ΍ΧςΰϦͳͲ ͷΈ͔Β&NCFEEJOHΛֶश • ࣮੷৘ใΛ࢖Θͳ͍ͷͰ৽نίϯςϯπʹରͯ͠΋ਪ࿦Մೳ • ਪ࿦࣌͸ۙࣅۙ๣୳ࡧʹΑΓ5PQͷΞΠςϜू߹Λฦ͢ 
13. © LY Corporation 公開 13 新規コンテンツレコメンドパイプライン 
    (SBEVBUJPO
    GJMUFS • OճҎ্ϢʔβʹΠϯλϥΫγϣϯ͞ΕͨΞΠςϜΛީิू߹͔ΒऔΓআ͘ • ϏδωεϩδοΫʹ֘౰ • ҰఆҎ্ͷΠϯλϥΫγϣϯ͕஝ੵ͞ΕͨΞΠςϜ͸ϝΠϯͷϨίϝϯυύΠϓϥΠϯͰ ॲཧ͞ΕΔΑ͏ʹͳΔͨΊ 
14. © LY Corporation 公開 14 新規コンテンツレコメンドパイプライン 
    .VMUJBSN
    CBOEJU
    1SFTDPSFS
    
    3BOLFS • 3BOLFS͸ϝΠϯͷϨίϝϯυύΠϓϥΠϯͰ΋࢖ΘΕΔ%//Λ༻͍ͨϦϥϯΧ • ࠷ऴతʹఏࣔ͢ΔͭͷΞΠςϜΛܾఆ͢Δ • .VMUJBSN
    CBOEJU
    1SFTDPSFS͸֤ΞʔϜ͕ίϯςϯπʹରԠ͢Δ#FSOPVMMJ
    NVMUJBSN
    CBOEJU • 𝑟! 
    ใु
    
    lΞΠςϜJ͕ඵҎ্Ӿཡ͞ΕΔ$53z • α"
    β" 
    ௚ۙΠϯϓϨογϣϯͷ৽نίϯςϯπ͔Β ࠷໬ਪఆ͞Εͨάϩʔόϧͳࣄલ෼෍ • 𝑥! 
    ΞΠςϜJͷΠϯλϥΫγϣϯͷ૯਺ • 𝑛! 
    ΞΠςϜJͷΠϯϓϨογϣϯͷ૯਺ 
15. © LY Corporation 公開 15 新規コンテンツレコメンドパイプライン 
    ৽نίϯςϯπઐ༻εϩοτ • ҎԼͷޮՌΛૂͬͯɺ৽نίϯςϯπઐ༻ͷεϩοτΛͭઃ͚Δ • ഑৴Մೳੑ
    ৽نίϯςϯπͷϨίϝϯυΛඞͣܝग़Ͱ͖Δ • ଌఆՄೳੑ
    ͜ͷεϩοτͷ࣮੷ΛݟΔ͜ͱͰ༰қʹޮՌܭଌ͕Ͱ͖Δ • ֦ுੑ
    ୯Ұεϩοτʹର͢ΔύΠϓϥΠϯ͸༰қʹ֦ுɾԣల։Ͱ͖Δ 
16. © LY Corporation 公開 16 新規コンテンツレコメンドパイプラインの効果検証 • Ϩίϝϯυͷίʔύε ީิू߹ Λڞ༗͍ͯ͠ΔͨΊɺԿ΋ߟ͑ͣςετ͢Δͱ 5SFBUNFOUͷӨڹ͕$POUSPMʹ΋z࿙Εग़͢z
    • Ұൠతͳ"#ςετͰ͸ϢʔβΛ෼͢Δ͕ɺͦͷ৔߹ͲͪΒͷϢʔβʹ΋৽نίϯς ϯπ͕ܝग़͞ΕΔՄೳੑ͕͋ΔͨΊɺޮՌଌఆ͕ࠔ೉ • ίʔύεΛ$POUSPMͱ5SFBUNFOUͰಠཱͤ͞Δ͜ͱͰ͜ͷ໰୊Λճආ
17. © LY Corporation 公開 18 効果検証結果 • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • $POUSPM ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜͷΈܝग़ • 5SFBUNFOU
    ৽نίϯςϯπύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜ΋ܝग़ ೔ʹ9ճҎ্ΠϯϓϨογϣϯ͞ΕΔ ΞΠςϜ਺͕$POUSPMΑΓd૿Ճ :೔ؒʹ9ճҎ্ΠϯλϥΫγϣϯ͞ΕΔ ΞΠςϜ਺Λݟͯ΋͍ͣΕ΋૿Ճ܏޲ 9͕େ͖͍ΞΠςϜͰ΋:೔ؒ͘Β͍Ͱ ऩଋ͢Δ͜ͱ͕Θ͔ͬͨ 5SFBUNFOU܈Ͱ͸ɺΞοϓϩʔυ͞ΕΔ ίϯςϯπ਺͕Ұ؏ͯ͠վળͨ͠  ৽نίϯςϯπ༻ͷύΠϓϥΠϯΛ࡞Δ͚ͩͰ ΑΓͨ͘͞Μͷίϯςϯπ͕Ξοϓϩʔυ͞Ε ΔΑ͏ʹͳΔ $PWFSBHF؍఺ͷ֤ࢦඪʹ͍ͭͯ
18. © LY Corporation 公開 19 効果検証結果 ϓϥοτϑΥʔϜ :PV5VCF શମͷ Ϣʔβͷฏۉ଺ࡏ࣌ؒ͸ͱएׯѱԽ ৽نίϯςϯπͷฏۉ଺ࡏ࣌ؒ͸ ͱ େ͖͘૿Ճ ௕ظతͳޮՌΛߟ͑Δͱे෼ͳτϨʔυΦϑ • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • $POUSPM ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜͷΈܝग़ • 5SFBUNFOU
    ৽نίϯςϯπύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜ΋ܝग़ 3FMFWBODF؍఺ͷ֤ࢦඪʹ͍ͭͯ
19. © LY Corporation 公開 新規コンテンツレコメンドモデル改善 Multi-funnel Fresh Content Recommendation 20
20. © LY Corporation 公開 21 新規コンテンツレコメンドをさらに改善させるために • ઌ΄ͲύΠϓϥΠϯͰ࢖ΘΕ͍ͯΔϞσϧΛϕʔεϥΠϯͱ͠ ͞Βʹࢦඪ $PWFSBHF
    3FMFWBODF Λվળ͍ͨ͠ • ৽نίϯςϯπ͸ɺ͞ΒʹҎԼͷೋͭͷGVOOFMʹ෼ྨͰ͖Δ • -PX
    GVOOFM
    ΠϯλϥΫγϣϯ͕͘͝গ਺ɺ ΋͘͠͸શ͘ଘࡏ͠ͳ͍ίϯςϯπ • .JE
    GVOOFM
    ͍͔ͭ͘ͷॳظϑΟʔυόοΫΛ ऩूͰ͖ͨίϯςϯπ • ೋͭͷࢦඪͷ࠷େԽΛ໨ࢦͨ͢Ίʹɺ্هGVOOFMͷͨΊͷ छྨͷϞσϧͷซ༻Λߦ͏ • -PX
    GVOOFM
    ίϯςϯπϕʔεͷ5XP5PXFSϞσϧ ϓϩτλΠϓͷ5XP5PXFSϞσϧͷ ಛ௃ྔΛ͞Βʹվળ • .JE
    GVOOFM
    3FBMUJNF
    3FDPNNFOEBUJPO ͜Ε΋5XP5PXFSϞσϧ
21. © LY Corporation 公開 23 Real-time Two-Towerモデル • લड़ͷίϯςϯπϕʔεͷϞσϧ͸৽نίϯςϯπʹ΋ ద༻Մೳͳ൓໘ɺϢʔβ͔ΒͷϑΟʔυόοΫʹૉૣ͘ ରԠ͢Δೳྗʹ͚ܽΔ • 3FMFWBODF޲্ͷͨΊʹྑ͘ͳ͍৽نίϯςϯπͷܝग़Λ ૉૣ͘ࢭΊ͍ͨ • ྑ࣭ͳ৽نίϯςϯπ͸ଞͷଟ͘ͷϢʔβʹ΋ܝग़͠ ΠϯλϥΫγϣϯσʔλΛूΊ͍ͨ • ϢʔβͷΠϯλϥΫγϣϯΛ਺࣌ؒͰ൓өͤ͞Δ 3FBMUJNFϞσϧΛߏங • ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͸࣌ؒd਺೔͔͔Δ • ֶशσʔλ͸௚ۙ෼ؒͷ৽نίϯςϯπɾςʔϧ ίϯςϯπͷΠϯλϥΫγϣϯσʔλ • લճֶशͨ͠Ϟσϧύϥϝʔλ͔ΒXBSN
    TUBSUֶͯ͠श • ਺࣌ؒʹҰ౓ɺ্هֶशσʔλΛֶ࣌ؒश͠൓ө
22. © LY Corporation 公開 24 Real-time Two-Towerモデル • Ϣʔβ͕࣍ʹΠϯλϥΫγϣϯ͢ΔίϯςϯπΛ౰ͯΔ ໰୊ͰϞσϧΛֶश͢Δ • ΞΠςϜλϫʔ͸ίϯςϯπ*%ͷΈΛ࢖ͬͨγϯϓϧͳ ΋ͷΛར༻͢Δ • Ϣʔβλϫʔ͸Ϣʔβ͕௚ۙӾཡͨ͠O݅ͷίϯςϯπͷ ಛ௃ྔ͔ΒϢʔβͷಛ௃Λ࡞੒͢Δ • O݅ͷίϯςϯπͷ&NCFEEJOHΛॏΈ͚ͭฏۉ • ॏΈ͸ҎԼͷಛ௃ྔ͔Βܭࢉ • EXFMMUJNF ίϯςϯπ𝑉! ͷ଺ࡏ࣌ؒ • UJNFHBQ
    ݱࡏ࣌ࠁͱΠϯλϥΫγϣϯͨ͠ ࣌ࠁͱͷࠩ • QPTJUJPO
    Կ൪໨ʹܝग़͞Ε͍͔ͯͨ • G͸ಛ௃ΛεΧϥʔ஋ʹม׵͢Δؔ਺
23. © LY Corporation 公開 25 Multi-funnel Fresh Content Recommendation • ৽نίϯςϯπ͸ɺ͞ΒʹҎԼͷೋͭͷGVOOFMʹ෼ྨͰ͖Δ • -PX GVOOFM ΠϯλϥΫγϣϯ͕͘͝গ਺ɺ΋͘͠͸શ͘ଘࡏ͠ͳ͍ίϯςϯπ • .JE GVOOFM
    ͍͔ͭ͘ͷॳظϑΟʔυόοΫΛऩूͰ͖ͨίϯςϯπ • -PX
    GVOOFMͳίϯςϯπ O ʹ͸ίϯςϯπϕʔεͷ5XP5PXFSϞσϧΛɺ .JE
    GVOOFMͳίϯςϯπʹ͸3FBMUJNF
    5XP5PXFSϞσϧΛར༻͢Δ • Կ΋ߟ͑ͣซ༻͢ΔͱਓؾόΠΞε͕͔͔Δ 3BOLFS͕.JE
    GVOOFMΛภॏ͢Δ ͨΊ ֬཰Q  Ͱ-PX GVOOFMΛɺQͰ.JE
    GVOOFMΛ࢖͏Α͏ʹ͢Δ ΫΤϦଟॏԽ
24. © LY Corporation 公開 26 効果検証結果 • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • 4UXPUPXFS
    ίϯςϯπϕʔεͷ5XP5PXFSϞσϧͷΈར༻ • 4SFBMUJNF
    3FBMUJNF
    5XP5PXFSϞσϧͷΈར༻ • .VMUJGVOOFM
    ্هϞσϧΛQͰซ༻ 4UXPUPXFSΛϕʔεϥΠϯʹ4SFBMUJNFͱൺֱ 9ճҎ্ΠϯϓϨογϣϯ͢ΔϢχʔΫΞΠςϜ਺͕ 9͕େ͖͘ͳΔ΄ͲSFBMUJNF͕ڧ͍ $PWFSBHF؍఺ͷ֤ࢦඪʹ͍ͭͯ 4UXPUPXFSΛϕʔεϥΠϯʹ.VMUJGVOOFMͱൺֱ ϞσϧΛซ༻͢Δ͜ͱͰऑ͔ͬͨ9͕খ͍͞ྖҬ MPX
    GVOOFMͳίϯςϯπ ͷΧόϨοδ͕େ͖͘վળ
25. © LY Corporation 公開 27 効果検証結果 ϓϥοτϑΥʔϜશମͷฏۉ଺ࡏ࣌ؒ େ͖ͳมԽ͸ͳ͘Ϣʔβ΁ͷѱӨڹͳ͠ʹ $PWFSBHFվળͰ͖͍ͯΔ͜ͱΛ͍ࣔͯ͠Δ 3FMFWBODF؍఺ͷ֤ࢦඪʹ͍ͭͯ ϕʔεϥΠϯ
    4UXPUPXFS
    ੨
    4SFBMUJNF
    ੺
    .VMUJGVOOFM ৽نίϯςϯπͷ೔ؒͷϙδςΟϒͳ ΠϯλϥΫγϣϯ਺ 4SFBMUJNF͸ΑΓਖ਼֬ʹϢʔβͷᅂ޷Λ ൓өͰ͖͍ͯΔ
26. © LY Corporation 公開 まとめと感想 32
27. © LY Corporation 公開 (PPHMFࣾ಺ʹ͓͚Δʮ৽نίϯςϯπϨίϝϯυʯͷ੒ޭࣄྫΛ·ͱΊͨ࿦จ ৽نίϯςϯπϨίϝϯυઐ༻ͷܝग़໘Λ࡞Δ͜ͱͰϓϥοτϑΥʔϜશମʹԸܙ͕ಘΒΕͨ ৽نίϯςϯπ޲͚ͷϨίϝϯυϞσϧఏҊͱ࣮ূ࣮ݧΛߦͬͨ 01 03 02 33 まとめ • ײ૝ • ՝୊ʹରͯ͠ద੾ͳ෼ੳɺख๏બఆɺݕূΛߦ͍ɺͦͷ஌ݟΛ੯͛͠΋ແ͘ެ։ͯ͘͠Ε͍ͯΔ ඇৗʹྑ͍࿦จͩͱײͨ͡ • ৽نίϯςϯπઐ༻εϩοτΛ༻ҙ͢Δͷ͸ ൺֱత ؆୯ʹࢼͤͦ͏ͰޮՌ΋େ͖ͦ͏ɻ ίϯςϯπͷΞοϓϩʔυ਺૿͑Δͷຊ౰ʜ • ՝୊ײ͕େن໛ϓϥοτϑΥʔϚʔಛ༗ʹ΋ײͨ͡ɻ͜ͷ஌ݟΛ׆͔ͤΔձࣾ͸ଟ͘ͳ͍ʜ