スタンプショップの推薦枠に2-stage制を導入した事例紹介

LINEでは、数億規模のユーザーに対して個別におすすめのスタンプを配信しており、ユーザーと新しいスタンプとの出会いを促進するために日々改善を重ねています。 本発表では、最大の推薦枠であるスタンプショップの「あなたへのおすすめスタンプ」において、2-stage制の推薦システムを導入した事例について、実験からリリース後の監視までの一連の開発過程を紹介します。

LINEヤフー株式会社 石河 純輝 様 (@じんゅき https://twitter.com/cafeal__）

※「Recommendation Industry Talks #2」での登壇資料です
https://recommendation-industry-talks.connpass.com/event/310180/

Transcript

1. ˜
   -:
   $PSQPSBUJPO %4(
   
   .-
   
   .PEFM
   %FWFMPQNFOU
   UFBN +VOLJ *TIJLBXB ελϯϓγϣοϓͷਪન࿮ʹ 2-stage੍Λಋೖͨ͠ࣄྫ঺հ
2. ˜
   -:
   $PSQPSBUJPO ੴՏ
   ७ً
   𝕏
   !DBGFBM@@ ೥݄ʙ
   ৽ଔೖࣾ ݚڀ
   େֶӃ • άϥϑߏ଄ͷදݱֶश ۀ຿ • -*/&ελϯϓͷਪન • ൚༻ΦϯϥΠϯਪનΤϯδϯ։ൃ • ࣾ಺޲͚.-ϓϥοτϑΥʔϜ։ൃ • ಺੡ϥΠϒϥϦ։ൃ
   ͳͲ  ࣗݾ঺հ γφϞϯจௗͷʮ;ʯ
3. ˜
   -:
   $PSQPSBUJPO "HFOEB  ελϯϓγϣοϓʹ͓͚Δਪનʹ͍ͭͯ  طଘϩδοΫͱTUBHFԽͷϞνϕʔγϣϯ  ΦϑϥΠϯݕূ  ຊ൪࣮૷ͱ"#ςετ  ϦϦʔεޙͷϞχλϦϯά 
4. ˜
   -:
   $PSQPSBUJPO -*/&ΞϓϦ಺ʹ͸ɺ ༷ʑͳ৔ॴʹ-*/&ελϯϓͷਪન࿮͕͋Δ • ελϯϓγϣοϓ
   ϗʔϜ • ελϯϓγϣοϓ
   ϓϨϛΞϜλϒ • ελϯϓৄࡉϖʔδԼ
   JUFNJUFN • 4NBSU$)
   5BMLIFBE • 4NBSU$)
   )PNFUBC • ʜ ελϯϓਪન 
5. ˜
   -:
   $PSQPSBUJPO -*/&ΞϓϦ಺ʹ͸ɺ ༷ʑͳ৔ॴʹ-*/&ελϯϓͷਪન࿮͕͋Δ • ελϯϓγϣοϓ
   ϗʔϜ • ελϯϓγϣοϓ
   ϓϨϛΞϜλϒ • ελϯϓৄࡉϖʔδԼ
   JUFNJUFN • 4NBSU$)
   5BMLIFBE • 4NBSU$)
   )PNFUBC • ʜ ελϯϓਪન 
6. ˜
   -:
   $PSQPSBUJPO ελϯϓγϣοϓͷτοϓϖʔδʹ͋Δ ʮ͋ͳͨ΁ͷ͓͢͢Ίελϯϓʯ͸ɺ ΄ͱΜͲͷ-*/&ελϯϓ͕ਪનର৅Ͱ͋Γɺ શ-*/&Ϣʔβʔ΁޲͚ͯϨίϝϯυ͢Δɻ ೔͓͖ʹϢʔβʔ͝ͱʹਪનϦετΛੜ੒͠ɺ ελϯϓγϣοϓαʔόʔ͕औΓࠐΈ࣍ୈɺ Ϣʔβʔʹ഑৴͞ΕΔɻ  ࢓༷ ελϯϓγϣοϓʹ͓͚Δਪન
7. ˜
   -:
   $PSQPSBUJPO ਪનର৅ ਺ઍສ λʔήοτ ਺ԯ ߋ৽ස౓ ೔࣍  ن໛ ελϯϓγϣοϓʹ͓͚Δਪન
8. ˜
   -:
   $PSQPSBUJPO  σʔληοτ طଘϩδοΫ ʜ αʔϏεԣஅಛ௃ྔ ΞϓϦϩά ΞΠςϜϚελ ߪങϩά ਪનީิ ϨʔςΟϯά ΞΠςϜಛ௃ྔ Ϣʔβʔಛ௃ྔ
9. ˜
   -:
   $PSQPSBUJPO ֶश طଘϩδοΫ ϨʔςΟϯά ΞΠςϜಛ௃ྔ Ϣʔβʔಛ௃ྔ 6TFS
   UPXFS *UFN
   UPXFS ! 𝑦!,# 𝑟!,# 5SBJOJOH X
   OFH
   TBNQMJOH 
   6TFS*UFN
   UPXFS
   ͸.-1NJYFSϕʔε 
   ϨʔςΟϯά͸ߪങ৘ใͷΈΛར༻  
10. ˜
    -:
    $PSQPSBUJPO ਪ࿦ طଘϩδοΫ ਪનީิ ΞΠςϜಛ௃ྔ Ϣʔβʔಛ௃ྔ "//
    *OEFY 6TFS
    UPXFS *UFN
    UPXFS 2VFSZ ʜ
11. ˜
    -:
    $PSQPSBUJPO 3F3BOLFS TUBHF੍ͷಋೖ "//
    *OEFY ʜ 3BOLFS ʜ
12. ˜
    -:
    $PSQPSBUJPO ਪનΞΠςϜ͝ͱͷJNQ৘ใͷऩू • ैདྷ͸ɺϢʔβʔͷਪન಺༰΁ͷΞΫγϣϯΛ औΔͷ͕೉͔ͬͨ͠ɻ • ਪન࿮ͷελϯϓͷJNQ৘ใ͕ه࿥͞ΕΔΑ͏ ʹͳΓɺ͜ΕʹΑͬͯ$53ͷܭࢉ͕Մೳʹ ͳͬͨɻ ਪનੑೳͷ޲্ • ैདྷͷ5XPUPXFSϞσϧͰ͸ɺϢʔβʔΞΠ ςϜؒͷ૬ޓ࡞༻Λ͏·͘ѻ͑ͳ͍ɻ • "//ͷਫ਼౓ͷ໰୊ɻ • TUBHFͷ৔߹ɺෳ਺ͷީิੜ੒ϩδοΫΛѻ ͑ΔͷͰɺϏδωεϩδοΫ౳΋ೖΕ΍͍͢ɻ • ,BHHMFͷ্Ґղ๏Ͱ΋Α͘༻͍ΒΕ͍ͯΔɻ  ϞνϕʔγϣϯͱͶΒ͍ TUBHF੍ͷಋೖ ʮਪન࿮ͷ$MJDLʯʮৄࡉϖʔδͷ*NQʯʮߪೖϘλϯͷ$MJDLʯ ʮߪೖ࣌ؒʯΛ૊Έ߹Θͤͯɺਪનܦ༝ͷ$7Λਪఆ͢ΔͳͲ
13. ˜
    -:
    $PSQPSBUJPO ໨త ਪન࿮΁3BOLFSΛద༻ͨ͠৔߹ʹɺ$MJDLˍ$7͞Ε΍͍͢ΞΠςϜΛ౰ͯΒΕΔͷ͔Λ֬ೝ͢Δɻ ํ๏ ࣮ݧظؒΛઃఆͯ͠ɺ5SBJO 
    5FTUظؒʹ෼͚Δɻ ͦΕͧΕηογϣϯ
    Ϣʔβʔ
    ΞΠςϜ
    ͝ͱͷ*NQɺ$MJDLɺ$7ϩάΛूܭ͓ͯ͘͠ɻ ֶशظؒͷϩάΛ༻͍ͯ3BOLFSΛֶशͤ͞Δɻ ϥϕϧ
    $MJDL
    $7 ݕূظؒͷϩάΛ3FSBOLJOH͠ɺϥϯΩϯάࢦඪͰධՁ͢Δɻ  ࣮ݧ֓ཁ ΦϑϥΠϯݕূ
14. ˜
    -:
    $PSQPSBUJPO ϩά • ηογϣϯɺϢʔβʔɺΞΠςϜ ͝ͱͷ*NQ
    $MJDL
    $7࣌ؒ TU
    εςʔδͷσʔλ • Ϣʔβʔಛ௃ • ΞΠςϜಛ௃ • ϨʔςΟϯά • ϞσϧͷϢʔβʔϕΫτϧ • ϞσϧͷΞΠςϜϕΫτϧ ԣஅϢʔβʔಛ௃ 4QBSTF • σϞάϥ৘ใ • ֤αʔϏεͷར༻৘ใ ͳͲ ԣஅϢʔβʔϕΫτϧΞΠςϜϕΫτϧ • ্هಛ௃Λར༻ͯ͠ਪનλεΫΛղ͍ ͨϞσϧͷதؒදݱ • *ODSFNFOUBMʹֶश͞Ε͍ͯΔͨΊɺ աڈʹੜ੒͞ΕͨϕΫτϧͱ΋ޓ׵ੑ ͕ߴ͍  σʔληοτ ΦϑϥΠϯݕূ
15. ˜
    -:
    $PSQPSBUJPO TU
    TUBHF
    ϞσϧͰͷSBOLJOH TU
    TUBHFͱಉ౳ͷಛ௃ྔͰ-JHIU(#.Λֶश ԣஅϢʔβʔΞΠςϜϕΫτϧɺ UBSHFU
    FODPEJOH ͳͲಛ௃ྔΤϯδχΞϦϯάΛ௥Ճ ӡ༻ʹ޲͚ͯTU
    TUBHFؔ࿈ͷಛ௃ྔΛআ֎ MJHIUHCN W TU
    TUBHF
    MJHIUHCN W MJHIUHCN W  Ϟσϧ ΦϑϥΠϯݕূ
16. ˜
    -:
    $PSQPSBUJPO ࢦඪͷൺֱ ΦϑϥΠϯݕূ OEDH! SFDBMM! $MJDL TU
    TUBHF MJHIUHCN
    W MJHIUHCN
    W MJHIUHCN
    W OEDH! SFDBMM! $7 TU
    TUBHF MJHIUHCN
    W MJHIUHCN
    W MJHIUHCN
    W
17. ˜
    -:
    $PSQPSBUJPO  'FBUVSF
    JNQPSUBODF্Ґͷಛ௃ ΦϑϥΠϯݕূ • ΞΠςϜͷ$53 • ೔ؒɺ೔ؒͳͲɺෳ਺ͷXJOEPXͷ΋ͷΛೖΕ͍ͯΔ • ԣஅϢʔβʔΞΠςϜϕΫτϧͷ಺ੵ • ϩά༝དྷͷϢʔβʔɾΞΠςϜϖΞҎ֎ʹ΋ɺ ϢʔβʔͱɺϢʔβʔ͕௚ۙͰӾཡͨ͠ΞΠςϜͱͷϖΞ ͳͲ΋ޮ͍͍ͯΔ • ૬ରతͳ࣌ؒ৘ใ • Ϣʔβʔͷελϯϓγϣοϓͷ࠷ऴӾཡ࣌ࠁ͔Βͷܦա࣌ؒ • ΞΠςϜͷൃച࣌ࠁ͔Βͷܦա࣌ؒ • Ϣʔβʔͷ࠷ऴߪೖ࣌ࠁ͔Βͷܦա࣌ؒ ͳͲ • ԣஅϢʔβʔΞΠςϜϕΫτϧͷ֤࣍ݩ • ্هͷಛ௃ྔʹൺ΂Δͱ*NQPSUBODF͸௿͍͕ɺ૯߹͢Δͱେ͖͘ޮ͍͍ͯΔ
18. ˜
    -:
    $PSQPSBUJPO શϢʔβʔΛର৅ʹ͢Δͷ͸ܭࢉ͕ॏ͍ͨΊɺޮՌͷେ͖͍ΞΫςΟϒϢʔβʔΛఆٛͨ͠ɻ ·ͨɺ࣮ߦ࣌ؒΛ੍ޚ͢ΔͨΊɺద༻͢Δ࠷େϢʔβʔ਺΋ઃఆͨ͠ɻ Ϧʔδϣϯ
    +1 58
    5) ৚݅ +1 
    ϲ݄Ҏ಺ʹਪન࿮ͷ*NQ͕ه࿥͞ΕͨϢʔβʔ ্ݶ +1  *NQ਺ॱʹιʔτͨ͠͏ͪɺ্Ґ਺ઍສਓ  λʔήοτϢʔβʔͷఆٛ ຊ൪࣮૷
19. ˜
    -:
    $PSQPSBUJPO ελϯϓγϣοϓͷਪન࿮ʹؔ͢Δ*NQ
    $MJDL
    $7৘ใΛɺ൚༻తͳςʔϒϧͱͯ͠੔උͨ͠ɻ ͜Ε͸ɺੜͷϩάͷѻ͍͕೉͔ͬͨ͠Γɺ$7ఆٛΛܭࢉ͢Δͷ͕େมͳͨΊͰ͋Δɻ ·ͨɺ*NQ
    $MJDLʹରͯ͠$7৘ใ͸஗Ԇͯ͠΍ͬͯ͘ΔͨΊɺ׬શͳϩά͔Ͳ͏͔ͷϑϥάΛઃ͚ɺ $7৘ใ͕֬ఆͨ͠λΠϛϯάͰվΊ্ͯॻ͖͢Δͱ͍͏ํ਑ʹͨ͠ɻ  5JQT
    ઐ༻ϩάͷ੔උ ຊ൪࣮૷ TFTTJPO VTFS
    JE JUFN
    JE JNQ
    UJNF DMJDL
    UJNF DW
    UJNF DW
    GMBH TFTTJPO  "  OVMM OVMM USVF TFTTJPO  #   OVMM USVF TFTTJPO  "   OVMM GBMTF ʜ ʜ ʜ ʜ ʜ ʜ ʜ
20. ˜
    -:
    $PSQPSBUJPO 3BOLFS͸ͦͷਪ࿦࣌ؒΑΓ΋ɺಛ௃ྔͷऩू͕ͱͯ΋ॏ͍ɻ ಛʹਪ࿦࣌ɺྫ͑͹+1
    SFHJPOͰ͸ɺ֤Ϣʔβʔʹରͯͦ͠ΕͧΕݸͷਪનΛੜ੒͍ͯ͠ΔͨΊɺ ๲େͳ VTFS
    Y
    JUFN
    ͷಛ௃Λ༻ҙ͢Δඞཁ͕͋Δɻ ಛ௃ྔͷ४උ͸4QBSLΛ༻͍͍ͯΔͨΊɺ͜ΕΒΛޮ཰తʹॲཧ͢ΔͨΊͷ4QBSLͷνϡʔχϯάΛߦͬ ͨɻ ͦͷதͰɺ࠷΋ޮՌ͕͋ͬͨ*UFNಛ௃ͷCSPBEDBTU
    KPJOʹ͍ͭͯ঺հ͢Δɻ  5JQT
    4QBSLͷνϡʔχϯά ຊ൪࣮૷
21. ˜
    -:
    $PSQPSBUJPO  5JQT
    4QBSLͷνϡʔχϯά ຊ൪࣮૷ VTFS JUFN  "  #  $ VTFS JUFN  #  "  % VTFS BHF         VTFS JUFN BHF  "   #   $  VTFS JUFN BHF  #   "   %  +0*/
22. ˜
    -:
    $PSQPSBUJPO  5JQT
    4QBSLͷνϡʔχϯά ຊ൪࣮૷ VTFS JUFN  "  #  $ VTFS JUFN  #  "  % JUFN QSJDF "  #  $  %  VTFS JUFN QSJDF  "   "   #   #  VTFS JUFN QSJDF  $   %  +0*/ 4IVGGMF
23. ˜
    -:
    $PSQPSBUJPO ESJWFS #30"%$"45
    +0*/  5JQT
    4QBSLͷνϡʔχϯά ຊ൪࣮૷ VTFS JUFN  "  #  $ VTFS JUFN  #  "  % JUFN QSJDF "  #  $  %  VTFS JUFN QSJDF  "   #   $  VTFS JUFN QSJDF  #   "   % 
24. ˜
    -:
    $PSQPSBUJPO Ϩίʔυ਺ 𝑂(10!) +PJOΩʔ 6TFS
    *%
    ͷΈ 6TFS  ຊ൪࣮૷ Ϩίʔυ਺ 𝑂(10") +PJOΩʔ *NQ͕͋ͬͨ*UFNҎ֎ʹɺ Ϣʔβʔ͕࠷ޙʹߪೖͨ͠*UFNͳͲɺ ݸҎ্ͷΩʔͰ+PJO *UFN *UFNಛ௃Λશͯ#SPBEDBTU
    +PJO΁ 👉 5JQT
    4QBSLͷνϡʔχϯά
25. ˜
    -:
    $PSQPSBUJPO $܈ 
    VTFS 
    ݱߦϞσϧ 5܈ 
    VTFS 
    ݱߦϞσϧ
    
    3BOLFS ظؒ
    िؒ ઃܭ  "#ςετ Ϧʔδϣϯ $53 4BMFT +1 ఔ౓ͷվળ ఔ౓ͷվળ ݁Ռ
26. ˜
    -:
    $PSQPSBUJPO "#ςετͷ݁Ռ͕ྑ͔ͬͨͷͰɺຊ൪ϦϦʔε͕Λߦͬͨɻ ͜͜Ͱɺ3BOLFSͷޮՌΛܧଓతʹϞχλϦϯά͢ΔͨΊɺͷϢʔβʔʹద༻ͤͣϦϦʔεͨ͠ɻ ·ͨɺະద༻ͷϢʔβʔ͕௕ظؒݻఆ͞Εͯ͠·Θͳ͍Α͏ɺະద༻Ϣʔβʔ͸݄͝ͱʹೖΕସ͑ͯ ͍͘࢓૊Έʹͨ͠ɻ ͜͜Ͱ͸ɺະద༻܈ʹՃ͑ͯɺద༻܈ͷϢʔβʔΛͣͭ܈ͭ͘Γɺ ͦΕΒͷ$53ɺ$73ΛՄࢹԽͯ͠ΈΔɻ  ϞχλϦϯά ӡ༻
27. ˜
    -:
    $PSQPSBUJPO  ϞχλϦϯά ӡ༻ $53 $73
28.  ൃද಺༰ͷΞδΣϯμΛ͜͜ʹೖྗ͍ͯͩ͘͠͞ ˜
    -:
    $PSQPSBUJPO ελϯϓγϣοϓͷʮ͋ͳͨ΁ͷ͓͢͢ΊʯʹTUBHF੍ͷਪનγεςϜΛಋೖͨ͠ɻ -JHIU(#.Λ࢖ͬͨ3BOLFSͷ1P$Λߦ͍ɺਫ਼౓ɾଟ༷ੑͱ΋ʹվળݟࠐΈ͕͋Δ͜ͱΛ֬ೝͨ͠ɻ ϦϦʔε΁޲͚ͯɺద༻Ϣʔβʔͷઃఆ΍ޮ཰తͳܭࢉͷͨΊͷνϡʔχϯάͳͲΛࢪͨ͠ɻ "#ςετͰ͸ɺ$53 ఔ౓
    4BMFT
    ఔ౓ͷվળΛୡ੒ͨ͠ɻ ϦϦʔε࣌ʹະద༻ϢʔβʔΛ༻ҙ͠ɺܧଓతʹ3BOLFSͷޮՌΛ֬ೝͰ͖ͨɻ  ·ͱΊ
29. ˜
    -:
    $PSQPSBUJPO 5IBOL
    ZPV