KDD2023 論文読み会 Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation

Slide 1

Slide 1 text

公開 © LY Corporation LINEヤフー株式会社吉井和輝 | Kazuki YOSHII Fresh Content Needs More Attention: Multi-funnel Fresh Content Recommendation KDD2023 論⽂読み会

Slide 2

Slide 2 text

© LY Corporation 公開 2 ⾃⼰紹介 • ٢Ҫ ࿨ً • ུྺ • େֶɾେֶӃͰҎԼͷྖҬͷݚڀΛ࣮ࢪ • $SPTT%PNBJO3FDPNNFOEBUJPO • *NBHF$BQUJPOJOH • ৽ଔͰϠϑʔגࣜձࣾ ౰࣌ ʹೖࣾ ೖࣾͰࠓ೥Ͱ೥໨ • ۀ຿Ͱ͸Ϩίϝϯσʔγϣϯ ԣஅσʔλར׆༻ྖҬʹܞΘΔ • ݱࡏ-*/&ϠϑʔגࣜձࣾͰ .-ϓϩμΫτͷϚωʔδϟʔ ЈΞΧ΢ϯτ!FWF@ZL ࠷ۙ͸30.ઐ

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© LY Corporation 公開 5 ⼀般的な⼤規模レコメンドモデル引⽤: Two-Towerモデルと近似最近傍探索による候補⽣成ロジックの導⼊ (Recuruit Data Blog) • TUBHFͷϞσϧ͕Ұൠత • TU TUBHFେྔͷΞΠςϜू߹͔Β Ϩίϝϯυީิू߹Λ ߴ଎ʹ࡞੒ d਺ඦ • OE TUBHF ࣌ؒ͸͔͔Δ͕ߴਫ਼౓ͳ ϦϥϯΩϯάΛ࣮ࢪ • TU TUBHFͰ͸ਫ਼౓ͱ଎౓ͷόϥϯεΛऔΔ ͨΊʹΑ͘5XP5PXFSϞσϧ͕࠾༻͞ΕΔ • Ϣʔβͷ৘ใͱΞΠςϜͷ৘ใΛ ͦΕͧΕ%//Ͱ&NCFEEJOH • ഑৴࣌͸ɺࣄલʹܭࢉ͓͍ͯͨ͠ ΞΠςϜ&NCFEEJOHʹରͯ͠ ϦΞϧλΠϜʹ࡞੒͞ΕͨϢʔβ &NCFEEJOHͰۙࣅۙ๣୳ࡧ

Slide 6

Slide 6 text

© LY Corporation 公開 6 ⼀般的な⼤規模レコメンドモデルの課題 • TUBHFͷͲͪΒͷϞσϧ΋ϢʔβͷΠϯλϥΫγϣϯΛ ݩʹֶश͞Ε͍ͯΔͨΊɺڧྗͳϑΟʔυόοΫϧʔϓ ͕ൃੜ͢Δ • zSJDIHFUTSJDIFSzFGGFDU • ਓؾͳίϯςϯπ͸Ϩίϝϯυ͞Ε΍͍͢ ˢˣ Ϩίϝϯυ͞Ε΍͍͢ίϯςϯπ͸Α͘ݟΒΕΔ • ৽͘͠౤ߘ͞Εͨ৽نίϯςϯπ͸ΠϯλϥΫγϣϯ σʔλ͕ͳ͍ͨΊɺద੾ͳϢʔβʹܝࡌ͢Δ·Ͱʹߴ͍ োน͕ଘࡏ͢Δ • lΞΠςϜͷίʔϧυελʔτ໰୊z • ৽نίϯςϯπ͸๲େͳྔଘࡏ͢Δ • :PV5VCFຖ෼࣌ؒͷಈը͕Ξοϓϩʔυ • 4QPUJGZඵ͝ͱʹ৽نτϥοΫ͕Ξοϓϩʔυ গ਺ͷਓؾίϯςϯπ ϑΟʔυόοΫϧʔϓΛஅͪ੾Γɺ࣭ͷߴ͍৽نίϯςϯπΛద੾ʹఏڙ͍ͨ͠ʂ େଟ਺ͷ ɾ৽نίϯςϯπ ɾςʔϧίϯςϯπ

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© LY Corporation 公開 10 新規コンテンツレコメンドで考えること • ୹ظతͳϢʔβମݧͷѱԽͱ௕ظతͳϓϥοτϑΥʔϜվળͷόϥϯεΛऔΓ͍ͨ • Ϣʔβʹ৽نίϯςϯπΛݟͤΔϑΟʔυόοΫ͸ू·Δ͕ଟ͘ͷ৔߹Ϣʔβମݧ͸ѱԽ ͳΔ΂͘ϢʔβମݧΛଛͳΘͣʹϑΟʔυόοΫΛूΊ͍ͨ • ҎԼͷͭͷࢦඪΛߟ͑Δ • $PWFSBHFύΠϓϥΠϯ͕Ͳͷ͘Β͍ͷ৽نίϯςϯπΛϢʔβʹఏࣔͰ͖Δ͔ • 3FMFWBODFύΠϓϥΠϯ͕Ͳͷ͘Β͍Ϣʔβʹڵຯͷ͋ΔίϯςϯπΛఏࣔͰ͖Δ͔ ϢʔβʹఏࣔͰ͖Δ ΞΠςϜͷछྨ਺ $PWFSBHFͷΠϝʔδ Ϣʔβʹఏࣔͨ͠ΞΠςϜ͕ ͲΕ͚ͩϢʔβͷڵຯͷ͋Δ ΋ͷ͔ 3FMFWBODFͷΠϝʔδ ˓ ˓ º º

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© LY Corporation 公開 12 新規コンテンツレコメンドパイプライン 'SFTIDPOUFOUOPNJOBUPS • ίϯςϯπϕʔεͷ5XP5PXFSϞσϧʹΑΓߏங • ϢʔβλϫʔͰ͸ɺϢʔβͷӾཡཤྺ͔Β&NCFEEJOHΛֶश • ΞΠςϜλϫʔͰ͸ɺίϯςϯπͷ৘ใ λΠτϧ΍ΧςΰϦͳͲ ͷΈ͔Β&NCFEEJOHΛֶश • ࣮੷৘ใΛ࢖Θͳ͍ͷͰ৽نίϯςϯπʹରͯ͠΋ਪ࿦Մೳ • ਪ࿦࣌͸ۙࣅۙ๣୳ࡧʹΑΓ5PQͷΞΠςϜू߹Λฦ͢

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© LY Corporation 公開 14 新規コンテンツレコメンドパイプライン .VMUJBSNCBOEJU1SFTDPSFS3BOLFS • 3BOLFS͸ϝΠϯͷϨίϝϯυύΠϓϥΠϯͰ΋࢖ΘΕΔ%//Λ༻͍ͨϦϥϯΧ • ࠷ऴతʹఏࣔ͢ΔͭͷΞΠςϜΛܾఆ͢Δ • .VMUJBSNCBOEJU1SFTDPSFS͸֤ΞʔϜ͕ίϯςϯπʹରԠ͢Δ#FSOPVMMJNVMUJBSNCBOEJU • 𝑟! ใु lΞΠςϜJ͕ඵҎ্Ӿཡ͞ΕΔ$53z • α" β" ௚ۙΠϯϓϨογϣϯͷ৽نίϯςϯπ͔Β ࠷໬ਪఆ͞Εͨάϩʔόϧͳࣄલ෼෍ • 𝑥! ΞΠςϜJͷΠϯλϥΫγϣϯͷ૯਺ • 𝑛! ΞΠςϜJͷΠϯϓϨογϣϯͷ૯਺

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© LY Corporation 公開 16 新規コンテンツレコメンドパイプラインの効果検証 • Ϩίϝϯυͷίʔύε ީิू߹ Λڞ༗͍ͯ͠ΔͨΊɺԿ΋ߟ͑ͣςετ͢Δͱ 5SFBUNFOUͷӨڹ͕$POUSPMʹ΋z࿙Εग़͢z • Ұൠతͳ"#ςετͰ͸ϢʔβΛ෼͢Δ͕ɺͦͷ৔߹ͲͪΒͷϢʔβʹ΋৽نίϯς ϯπ͕ܝग़͞ΕΔՄೳੑ͕͋ΔͨΊɺޮՌଌఆ͕ࠔ೉ • ίʔύεΛ$POUSPMͱ5SFBUNFOUͰಠཱͤ͞Δ͜ͱͰ͜ͷ໰୊Λճආ

Slide 17

Slide 17 text

© LY Corporation 公開 18 効果検証結果 • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • $POUSPM ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜͷΈܝग़ • 5SFBUNFOU৽نίϯςϯπύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜ΋ܝग़ ೔ʹ9ճҎ্ΠϯϓϨογϣϯ͞ΕΔ ΞΠςϜ਺͕$POUSPMΑΓd૿Ճ :೔ؒʹ9ճҎ্ΠϯλϥΫγϣϯ͞ΕΔ ΞΠςϜ਺Λݟͯ΋͍ͣΕ΋૿Ճ܏޲ 9͕େ͖͍ΞΠςϜͰ΋:೔ؒ͘Β͍Ͱ ऩଋ͢Δ͜ͱ͕Θ͔ͬͨ 5SFBUNFOU܈Ͱ͸ɺΞοϓϩʔυ͞ΕΔ ίϯςϯπ਺͕Ұ؏ͯ͠վળͨ͠ ৽نίϯςϯπ༻ͷύΠϓϥΠϯΛ࡞Δ͚ͩͰ ΑΓͨ͘͞Μͷίϯςϯπ͕Ξοϓϩʔυ͞Ε ΔΑ͏ʹͳΔ $PWFSBHF؍఺ͷ֤ࢦඪʹ͍ͭͯ

Slide 18

Slide 18 text

© LY Corporation 公開 19 効果検証結果 ϓϥοτϑΥʔϜ :PV5VCF શମͷ Ϣʔβͷฏۉ଺ࡏ࣌ؒ͸ͱएׯѱԽ ৽نίϯςϯπͷฏۉ଺ࡏ࣌ؒ͸ͱ େ͖͘૿Ճ ௕ظతͳޮՌΛߟ͑Δͱे෼ͳτϨʔυΦϑ • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • $POUSPM ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜͷΈܝग़ • 5SFBUNFOU৽نίϯςϯπύΠϓϥΠϯ͔ΒಘΒΕͨΞΠςϜ΋ܝग़ 3FMFWBODF؍఺ͷ֤ࢦඪʹ͍ͭͯ

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© LY Corporation 公開 21 新規コンテンツレコメンドをさらに改善させるために • ઌ΄ͲύΠϓϥΠϯͰ࢖ΘΕ͍ͯΔϞσϧΛϕʔεϥΠϯͱ͠ ͞Βʹࢦඪ $PWFSBHF 3FMFWBODF Λվળ͍ͨ͠ • ৽نίϯςϯπ͸ɺ͞ΒʹҎԼͷೋͭͷGVOOFMʹ෼ྨͰ͖Δ • -PXGVOOFMΠϯλϥΫγϣϯ͕͘͝গ਺ɺ ΋͘͠͸શ͘ଘࡏ͠ͳ͍ίϯςϯπ • .JEGVOOFM͍͔ͭ͘ͷॳظϑΟʔυόοΫΛ ऩूͰ͖ͨίϯςϯπ • ೋͭͷࢦඪͷ࠷େԽΛ໨ࢦͨ͢Ίʹɺ্هGVOOFMͷͨΊͷ छྨͷϞσϧͷซ༻Λߦ͏ • -PXGVOOFMίϯςϯπϕʔεͷ5XP5PXFSϞσϧ ϓϩτλΠϓͷ5XP5PXFSϞσϧͷ ಛ௃ྔΛ͞Βʹվળ • .JEGVOOFM3FBMUJNF3FDPNNFOEBUJPO ͜Ε΋5XP5PXFSϞσϧ

Slide 21

Slide 21 text

© LY Corporation 公開 23 Real-time Two-Towerモデル • લड़ͷίϯςϯπϕʔεͷϞσϧ͸৽نίϯςϯπʹ΋ ద༻Մೳͳ൓໘ɺϢʔβ͔ΒͷϑΟʔυόοΫʹૉૣ͘ ରԠ͢Δೳྗʹ͚ܽΔ • 3FMFWBODF޲্ͷͨΊʹྑ͘ͳ͍৽نίϯςϯπͷܝग़Λ ૉૣ͘ࢭΊ͍ͨ • ྑ࣭ͳ৽نίϯςϯπ͸ଞͷଟ͘ͷϢʔβʹ΋ܝग़͠ ΠϯλϥΫγϣϯσʔλΛूΊ͍ͨ • ϢʔβͷΠϯλϥΫγϣϯΛ਺࣌ؒͰ൓өͤ͞Δ 3FBMUJNFϞσϧΛߏங • ϝΠϯͷϨίϝϯυύΠϓϥΠϯ͸࣌ؒd਺೔͔͔Δ • ֶशσʔλ͸௚ۙ෼ؒͷ৽نίϯςϯπɾςʔϧ ίϯςϯπͷΠϯλϥΫγϣϯσʔλ • લճֶशͨ͠Ϟσϧύϥϝʔλ͔ΒXBSNTUBSUֶͯ͠श • ਺࣌ؒʹҰ౓ɺ্هֶशσʔλΛֶ࣌ؒश͠൓ө

Slide 22

Slide 22 text

© LY Corporation 公開 24 Real-time Two-Towerモデル • Ϣʔβ͕࣍ʹΠϯλϥΫγϣϯ͢ΔίϯςϯπΛ౰ͯΔ ໰୊ͰϞσϧΛֶश͢Δ • ΞΠςϜλϫʔ͸ίϯςϯπ*%ͷΈΛ࢖ͬͨγϯϓϧͳ ΋ͷΛར༻͢Δ • Ϣʔβλϫʔ͸Ϣʔβ͕௚ۙӾཡͨ͠O݅ͷίϯςϯπͷ ಛ௃ྔ͔ΒϢʔβͷಛ௃Λ࡞੒͢Δ • O݅ͷίϯςϯπͷ&NCFEEJOHΛॏΈ͚ͭฏۉ • ॏΈ͸ҎԼͷಛ௃ྔ͔Βܭࢉ • EXFMMUJNF ίϯςϯπ𝑉! ͷ଺ࡏ࣌ؒ • UJNFHBQݱࡏ࣌ࠁͱΠϯλϥΫγϣϯͨ͠ ࣌ࠁͱͷࠩ • QPTJUJPOԿ൪໨ʹܝग़͞Ε͍͔ͯͨ • G͸ಛ௃ΛεΧϥʔ஋ʹม׵͢Δؔ਺

Slide 23

Slide 23 text

© LY Corporation 公開 25 Multi-funnel Fresh Content Recommendation • ৽نίϯςϯπ͸ɺ͞ΒʹҎԼͷೋͭͷGVOOFMʹ෼ྨͰ͖Δ • -PX GVOOFM ΠϯλϥΫγϣϯ͕͘͝গ਺ɺ΋͘͠͸શ͘ଘࡏ͠ͳ͍ίϯςϯπ • .JE GVOOFM͍͔ͭ͘ͷॳظϑΟʔυόοΫΛऩूͰ͖ͨίϯςϯπ • -PXGVOOFMͳίϯςϯπ O ʹ͸ίϯςϯπϕʔεͷ5XP5PXFSϞσϧΛɺ .JEGVOOFMͳίϯςϯπʹ͸3FBMUJNF5XP5PXFSϞσϧΛར༻͢Δ • Կ΋ߟ͑ͣซ༻͢ΔͱਓؾόΠΞε͕͔͔Δ 3BOLFS͕.JEGVOOFMΛภॏ͢Δ ͨΊ ֬཰Q Ͱ-PX GVOOFMΛɺQͰ.JEGVOOFMΛ࢖͏Α͏ʹ͢Δ ΫΤϦଟॏԽ

Slide 24

Slide 24 text

© LY Corporation 公開 26 効果検証結果 • ϲ݄ؒͷ"#ςετΛ࣮ࢪ͠ޮՌݕূ • 4UXPUPXFSίϯςϯπϕʔεͷ5XP5PXFSϞσϧͷΈར༻ • 4SFBMUJNF3FBMUJNF5XP5PXFSϞσϧͷΈར༻ • .VMUJGVOOFM্هϞσϧΛQͰซ༻ 4UXPUPXFSΛϕʔεϥΠϯʹ4SFBMUJNFͱൺֱ 9ճҎ্ΠϯϓϨογϣϯ͢ΔϢχʔΫΞΠςϜ਺͕ 9͕େ͖͘ͳΔ΄ͲSFBMUJNF͕ڧ͍ $PWFSBHF؍఺ͷ֤ࢦඪʹ͍ͭͯ 4UXPUPXFSΛϕʔεϥΠϯʹ.VMUJGVOOFMͱൺֱ ϞσϧΛซ༻͢Δ͜ͱͰऑ͔ͬͨ9͕খ͍͞ྖҬ MPXGVOOFMͳίϯςϯπ ͷΧόϨοδ͕େ͖͘վળ

Slide 25

Slide 25 text

© LY Corporation 公開 27 効果検証結果 ϓϥοτϑΥʔϜશମͷฏۉ଺ࡏ࣌ؒ େ͖ͳมԽ͸ͳ͘Ϣʔβ΁ͷѱӨڹͳ͠ʹ $PWFSBHFվળͰ͖͍ͯΔ͜ͱΛ͍ࣔͯ͠Δ 3FMFWBODF؍఺ͷ֤ࢦඪʹ͍ͭͯ ϕʔεϥΠϯ4UXPUPXFS ੨4SFBMUJNF ੺.VMUJGVOOFM ৽نίϯςϯπͷ೔ؒͷϙδςΟϒͳ ΠϯλϥΫγϣϯ਺ 4SFBMUJNF͸ΑΓਖ਼֬ʹϢʔβͷᅂ޷Λ ൓өͰ͖͍ͯΔ

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© LY Corporation 公開 (PPHMFࣾ಺ʹ͓͚Δʮ৽نίϯςϯπϨίϝϯυʯͷ੒ޭࣄྫΛ·ͱΊͨ࿦จ ৽نίϯςϯπϨίϝϯυઐ༻ͷܝग़໘Λ࡞Δ͜ͱͰϓϥοτϑΥʔϜશମʹԸܙ͕ಘΒΕͨ ৽نίϯςϯπ޲͚ͷϨίϝϯυϞσϧఏҊͱ࣮ূ࣮ݧΛߦͬͨ 01 03 02 33 まとめ • ײ૝ • ՝୊ʹରͯ͠ద੾ͳ෼ੳɺख๏બఆɺݕূΛߦ͍ɺͦͷ஌ݟΛ੯͛͠΋ແ͘ެ։ͯ͘͠Ε͍ͯΔ ඇৗʹྑ͍࿦จͩͱײͨ͡ • ৽نίϯςϯπઐ༻εϩοτΛ༻ҙ͢Δͷ͸ ൺֱత ؆୯ʹࢼͤͦ͏ͰޮՌ΋େ͖ͦ͏ɻ ίϯςϯπͷΞοϓϩʔυ਺૿͑Δͷຊ౰ʜ • ՝୊ײ͕େن໛ϓϥοτϑΥʔϚʔಛ༗ʹ΋ײͨ͡ɻ͜ͷ஌ݟΛ׆͔ͤΔձࣾ͸ଟ͘ͳ͍ʜ