[CCSE] メルカリでのパーソナライゼーション機能の研究開発サイクル / CCSE2020-Pesonalization-Research-and-Development-Cycle

Slide 1

Slide 1 text

1 ϝϧΧϦͰͷύʔιφϥΠθʔγϣϯػೳͷ ݚڀ։ൃαΠΫϧ CCSE 2020 ݹᖒஐ༟

Slide 2

Slide 2 text

2 Twitter: @rilmayer_jp εΫϥϜϚελʔ from ϨίϝϯσʔγϣϯνʔϜ - ීஈͷۀ຿ - Personalization Platformͷ։ൃɾӡ༻ - ࢪࡦݕ౼ɾ࣮ݧઃܭ - νʔϜ։ൃͷਪਐ  - ݚڀ෼໺ - ਤॻؗ৘ใֶ - ৘ใݕࡧ/ਪનγεςϜ - ϢʔβʔߦಈͷϞσϦϯά - ΦϯϥΠϯ/ΦϑϥΠϯධՁ ࣗݾ঺հɿ ݹᖒஐ༟

Slide 3

Slide 3 text

3 ϨίϝϯσʔγϣϯνʔϜ ϝϧΧϦͷύʔιφϥΠθʔγϣϯػೳશൠʹؔͯ͠৽ػೳ։ൃ͔Β  ϓϥοτϑΥʔϜͷӡ༻·ͰΛ୲͏ - ํ਑ɿ࣮ݧʹج͍ͮͯՊֶతʹػೳվળ͢Δ - ։ൃɿεΫϥϜʹԊͬͯਐΊ͍ͯΔ - ϝϯόʔ - ιϑτ΢ΣΞΤϯδχΞ × 5 - σʔλΞφϦετ × 1 - ϓϩμΫτϚωʔδϟʔ × 1 - ΤϯδχΞϦϯάϚωʔδϟʔ × 1 ͜ͷ঎඼͓͢͢ΊͩΑ ঎඼ 3 ঎඼ 3 ঎඼ 1 ͓٬͞·

Slide 4

Slide 4 text

4 ݚڀ։ൃαΠΫϧ / ࣮ݱͷ࢓૊Έ ϝϧΧϦͷύʔιφϥΠθʔγϣϯ՝୊ ͜Ε·ͰͷऔΓ૊Έ ະղܾͷ՝୊ 02 03 04 01 ࠓ೔͓࿩͢Δ͜ͱ (01 & 02͕ࠓ೔ͷϝΠϯ)

Slide 5

Slide 5 text

5 ݚڀ։ൃαΠΫϧ / ࣮ݱͷ࢓૊Έ ϝϧΧϦͷύʔιφϥΠθʔγϣϯػೳ

Slide 6

Slide 6 text

6 ྑ͍ݚڀ։ൃαΠΫϧ ߴ඼࣭ ৴པੑߴ͍࣮ݧ݁Ռ͔Β  େ͖ͳֶͼ͕ಘΒΕΔ ߴ଎ ૉૣ͍ݕূ͔Βଟ͘ͷ  ࣮ݧΛ࣮ࢪͰ͖Δ

Slide 7

Slide 7 text

7 ࣭ΛߴΊΔ ߴ඼࣭ͳݚڀ։ൃαΠΫϧΛࢧ͑Δ࣮ݧઃܭ

Slide 8

Slide 8 text

8 ࣮ݧܭը … ΞΠσΟΞͷ࣮ݧઃܭʹؔ͢ΔυΩϡϝϯτΛ࡞੒&ϨϏϡʔ ػೳ࣮૷ … ΞΠσΟΞΛ΋ͱʹػೳΛ࣮૷(ػೳͷςετؚΉ) ΦϑϥΠϯςετ … σʔληοτΛ༻͍ͯϞσϧͷੑೳΛධՁ ΦϯϥΠϯςετ … ࣮ݧܭըʹԊͬͯA/BςετΛ࣮ࢪ ݁Ռͷ෼ੳ … ࣄલʹઃఆͨ͠෼ੳɺΠϯαΠτݟ͚ͭΔ or ੒൱ͷ݁࿦ ϨίϝϯσʔγϣϯνʔϜͷݚڀ։ൃαΠΫϧ

Slide 9

Slide 9 text

࣮ݧܭը ػೳ࣮૷ ΦϑϥΠϯςετ ΦϯϥΠϯςετ ݁Ռͷ෼ੳ 9 ϨίϝϯσʔγϣϯνʔϜͷݚڀ։ൃαΠΫϧ ͜Μͳػೳ࡞ͬͨΒ  UXྑ͘ͳΔ/ѱ͘ͳΔͷͰ͸ʁ    → Ͳ͏΍ͬͨΒݕূͰ͖Δ͔ ࣮ݧσβΠϯ υΩϡϝϯτ ։ൃऀ

Slide 10

Slide 10 text

10 - σβΠϯυΩϡϝϯτͷ໨త - ࣮ݧʹର͢ΔϨϏϡʔʢԾઆͷ߹ཧੑ / ࣮ݧϓϩηεʣ - ৼΓฦΓͷͨΊͷ౷ҰϑΥʔϚοτΛ༻ҙ͢Δ  - ࣮ݧσβΠϯͷϨϏϡʔϓϩηε - ࣮ݧΦʔφʔ͕࡞੒͠ɺผͷϝϯόʔ͕ϨϏϡʔ - ϨϏϡʔ͕׬ྃͨ͠Β࣮ݧ४උ׬ྃ  - υΩϡϝϯτͷ಺༰ - ςϯϓϨʔτ: ΞφϦετத৺ʹ߲໨΍ॻ͖ํΨΠυΛ੔උ - എܠ(Ծઆ)ɿ࣮ݧͷ໨తɾഎܠɾ՝୊ɾԾઆ(૝ఆ͢ΔϝτϦΫεͷಈ͖)ͳͲ - ࣮ݧϓϩηεɿର৅ػೳͷϢʔβʔτϥϑΟοΫ΍࣮ݧظؒʹجͮ͘ݕఆํ๏ͳͲ - ΞΫγϣϯϓϥϯɿ࣮ݧऴྃޙͷԾఆͷγφϦΦͱͦΕͧΕͷΞΫγϣϯϓϥϯ ࣮ݧσβΠϯυΩϡϝϯτ

Slide 11

Slide 11 text

11 - σβΠϯυΩϡϝϯτͷ໨త - ࣮ݧʹର͢ΔϨϏϡʔʢԾઆͷ߹ཧੑ / ࣮ݧϓϩηεʣ - ৼΓฦΓͷͨΊͷ౷ҰϑΥʔϚοτΛ༻ҙ͢Δ  - ࣮ݧσβΠϯͷϨϏϡʔϓϩηε - ࣮ݧΦʔφʔ͕࡞੒͠ɺผͷϝϯόʔ͕ϨϏϡʔ - ϨϏϡʔ͕׬ྃͨ͠Β࣮ݧ४උ׬ྃ  - υΩϡϝϯτͷ಺༰ - ςϯϓϨʔτ: ΞφϦετத৺ʹ߲໨΍ॻ͖ํΨΠυΛ੔උ - എܠ(Ծઆ)ɿ࣮ݧͷ໨తɾഎܠɾ՝୊ɾԾઆ (૝ఆ͢ΔϝτϦΫεͷಈ͖)ͳͲ - ࣮ݧϓϩηεɿର৅ػೳͷϢʔβʔτϥϑΟοΫ΍࣮ݧظؒʹجͮ͘ݕఆํ๏ͳͲ - ΞΫγϣϯϓϥϯɿ࣮ݧऴྃޙͷԾఆͷγφϦΦͱͦΕͧΕͷΞΫγϣϯϓϥϯ ࣮ݧσβΠϯυΩϡϝϯτ ࣭ͷߴ͍ݚڀ։ൃαΠΫϧͷͨΊʹ  ࠷ॳʹશମͷ࣮ݧσβΠϯΛ࡞ΓࠐΉ Point

Slide 12

Slide 12 text

12 εϐʔυΛߴΊΔ ߴ଎ͳݚڀ։ൃαΠΫϧΛࢧ͑ΔγεςϜ

Slide 13

Slide 13 text

13 νʔϜͰϚΠΫϩαʔϏεΛ։ൃɾӡ༻͠ɺػೳ࣮૷ɺΦϯϥΠϯςετɺ  ػೳϦϦʔε·Ͱͷ΄ͱΜͲ͕νʔϜ಺Ͱ׬݁͠ɺߴ଎ʹαΠΫϧΛճͤΔ ࣮ݱͷ࢓૊ΈɿνʔϜͰϚΠΫϩαʔϏεΛ։ൃӡ༻

Slide 14

Slide 14 text

14 νʔϜͰϚΠΫϩαʔϏεΛ։ൃɾӡ༻͠ɺػೳ࣮૷ɺΦϯϥΠϯςετɺ  ػೳϦϦʔε·Ͱͷ΄ͱΜͲ͕νʔϜ಺Ͱ׬݁͠ɺߴ଎ʹ࣮ݧαΠΫϧΛճͤΔ ػೳ։ൃ / ࣮ݧͷϑϩʔɿA/Bςετج൫ A/Bςετج൫  ࣮ݧΛઃఆ͢ΔͱϢʔβʔ͝ͱʹର৅ͷ  A/BςετٴͼͦͷA܈΍B܈ͳͲΛऔಘ  Ͱ͖Δ (ҎԼઃఆྫ) - ࣮ݧ໊: hogehoge - ظؒ: xx/yy~zz/zz - ର৅: iOS and Android - A/BςετͷϢʔβʔ & τϥϑΟοΫαΠζ - A:B = 50%:50%

Slide 15

Slide 15 text

15 ػೳ։ൃ / ࣮ݧͷϑϩʔɿϞσϧͷ։ൃ νʔϜͰϚΠΫϩαʔϏεΛ։ൃɾӡ༻͠ɺػೳ࣮૷ɺΦϯϥΠϯςετɺ  ػೳϦϦʔε·Ͱͷ΄ͱΜͲ͕νʔϜ಺Ͱ׬݁͠ɺߴ଎ʹ࣮ݧαΠΫϧΛճͤΔ ϞσϧAPI  ࣮ݧ͍ͨ͠ϞσϧΛϦϦʔε͠ A/Bςετج൫͔ΒͷઃఆʹԠͯ͡  Ϣʔβʔ͝ͱʹదͨ͠ϞσϧΛఏڙ σʔλύΠϓϥΠϯ  ࣮ݧ͢ΔϞσϧʹ߹Θͤͯ ύΠϓϥΠϯ΋௥Ճ or मਖ਼

Slide 16

Slide 16 text

16 ػೳ։ൃ / ࣮ݧͷϑϩʔɿ࣮ݧத A/Bςετج൫ 㱻 ϞσϧAPI  ϞσϧAPIͷ໰͍߹ΘͤʹԠͯ͡  Ϣʔβʔ͝ͱͷ࣮ݧ໊ɺA܈/B܈ ౳ͷ৘ใ͕ฦΔ σʔλՄࢹԽ  ࣮ݧظؒத͸ઃఆͨ͠ࢦඪ͕ GoogleSheetsͰ೔࣍ࣗಈߋ৽ νʔϜͰϚΠΫϩαʔϏεΛ։ൃɾӡ༻͠ɺػೳ࣮૷ɺΦϯϥΠϯςετɺ  ػೳϦϦʔε·Ͱͷ΄ͱΜͲ͕νʔϜ಺Ͱ׬݁͠ɺߴ଎ʹ࣮ݧαΠΫϧΛճͤΔ Endpoint 㱻 ෼ੳ༻DB  A/Bςετ༻ʹϩΪϯά

Slide 17

Slide 17 text

17 νʔϜͰϚΠΫϩαʔϏεΛ։ൃɾӡ༻͠ɺػೳ࣮૷ɺΦϯϥΠϯςετɺ  ػೳϦϦʔε·Ͱͷ΄ͱΜͲ͕νʔϜ಺Ͱ׬݁͠ɺߴ଎ʹ࣮ݧαΠΫϧΛճͤΔ ࣮ݱͷ࢓૊ΈɿνʔϜͰϚΠΫϩαʔϏεΛ։ൃӡ༻ ߴ଎ͳݚڀ։ൃαΠΫϧͷͨΊʹ  ୯ମͰՁ஋ݕূ͕ՄೳͳϚΠΫϩαʔϏεΛ։ൃӡ༻ Point

Slide 18

Slide 18 text

18 ϝϧΧϦͷύʔιφϥΠθʔγϣϯ՝୊ ϨίϝϯυγεςϜपΓΛத৺ʹ

Slide 19

Slide 19 text

19 ϝϧΧϦͰ͸ҰൠతͳECαʔϏεͱҟͳΓɺಉ͡঎඼Λಉ͡λΠϛϯάͰ  ෳ਺ͷ͓٬͞·ʹਪન͢Δ͜ͱ͕೉͍͠ → ԿΒ͔ͷ޻෉͕ඞཁ C2CϚʔέοτϓϨΠεͰͷϨίϝϯυͷ՝୊ ঎඼ A ਪન ਪન ࣌ؒ ߪೖʂ ߪೖͰ͖ͳ͍ ঎඼ A ਪન ਪન ࣌ؒ ߪೖʂ ߪೖʂ ࡏݿ1఺&͙͢ʹചΕΔੈք ࡏݿແݶ(ͱΈͳͤΔ)ͷੈք

Slide 20

Slide 20 text

20 τϐοΫΛ׆༻ͨ͠Ϩίϝϯυͷϑϩʔ 1. τϐοΫͷ࡞੒  ঎඼Λద੾ͳந৅౓ͰΫϥελϦϯά/ϥϕϦϯά  (γεςϜͱͯ͠ͷ࣮ମ͸ݕࡧͷϑΟϧλϦϯά৚݅)  2. τϐοΫͷϥϯΩϯά ← ࠓ೔ͷϝΠϯ  ϢʔβʔͷߦಈཤྺͳͲΛݩʹద੾ͳτϐοΫΛ  ఏڙ͢Δ  3. τϐοΫ಺ͷ঎඼ͷϥϯΩϯά  Ϣʔβʔ΍঎඼ͷσʔλΛݩʹ঎඼ͷϥϯΩϯάΛ  ߦ͏ ϝϧΧϦͰͷϨίϝϯυͷجຊతͳߟ͑ํ / ఏڙϑϩʔ ঎඼ 1 ΰϧϑ ίʔτ Χϝϥ ɾɾɾ ਫண ͓٬͞· εϐʔΧʔ ڵຯ͋ΔτϐοΫ  (ϑΟϧλϦϯά&ϥϯΩϯά) ਺ֶͷຊ ϑΟΪϡΞ ΰϧϑ Χϝϥ ίʔτ 1. 2. 3. ɾɾɾ ͓٬͞· ΰϧϑ ঎඼ 2 Χϝϥ ঎඼ 1 ঎඼ 2 τϐοΫ಺Ͱ ΞΠςϜΛ ϥϯΩϯά ɾɾɾ ɾɾɾ ɾɾɾ

Slide 21

Slide 21 text

21 ͲͷτϐοΫΛͲͷϢʔβʔʹఏڙ͢Δ͔ʹ͍ͭͯ͸఻౷తͳํ๏͕࢖͑Δ τϐοΫͷϥϯΩϯά (ϢʔβʔͱͷϚονϯά) Topic1 Topic2 Topic3 Topic4 Ϣʔβʔ×τϐοΫͷߦྻΛ༻͍ͨߦྻ෼ղ User1 r11 - r13 - User2 - r22 - r24 User3 - - r33 - User4 r41 - r43 r44 Ϣʔβʔ/τϐοΫಛ௃ྔΛ༻͍ͨద߹౓༧ଌ Topic 1 User 1 ద߹౓༧ଌؔ਺ Matching  Score ϥϯΫֶशख๏΍ϚχϡΞϧ  νϡʔχϯά౳Ͱ࡞੒

Slide 22

Slide 22 text

22 ͜Ε·ͰͷऔΓ૊Έ τϐοΫͷϥϯΩϯά໰୊ͱݚڀ։ൃαΠΫϧͷ࣮ྫ

Slide 23

Slide 23 text

23 ϨίϝϯσʔγϣϯνʔϜͷ։ൃ͍ͯ͠Δػೳ $ λΠϜϥΠϯ $ ϗʔϜίϯϙʔωϯτ← ͜Ε͔Β࿩͢಺༰   ϗʔϜίϯϙʔωϯτʹ͓͚ΔॳظͷGoal $ ༷ʑͳछྨͷίϯϙʔωϯτΛ։ൃ͠  ࣮ݧʹΑͬͯޮՌతͳ΋ͷΛ୳ࡧ͢Δ ϗʔϜը໘ͷύʔιφϥΠθʔγϣϯ

Slide 24

Slide 24 text

24 ݚڀ։ൃαΠΫϧͱ࣮ݧ݁Ռͷྫ (͋Δ࣌ظͷҰ෦ൈਮ) ௚ۙӾཡͨ͠τϐοΫʹΑΔ  ϦΞϧλΠϜ಺༰ϕʔεϨίϝϯυ ࢦඪ ࣮ݧ݁Ռ CTR via Home GMV via Home ※ CTR via Home … [Homeը໘ܦ༝ͷΞΠςϜλοϓճ਺ / Homeը໘දࣔճ਺], GMV via Home … Homeը໘ܦ༝ͷ૯ച্(ϥετλον) ※ … ෼ੳͷ݁Ռվળͱ݁࿦෇͚ΒΕͨ, … ෼ੳͷ݁Ռվѱͱ݁࿦෇͚ΒΕͨ, # … ෼ੳͷ݁Ռվળͱ΋վѱͱ΋ݴ͑ͳ͍ ڠௐϑΟϧλϦϯάʹΑΔ  Ϩίϝϯυ  ࢦඪ ࣮ݧ݁Ռ CTR via Home GMV via Home # ࢦඪ ࣮ݧ݁Ռ CTR via Home GMV via Home ύʔιφϥΠζ͞Εͳ͍  τϨϯυτϐοΫ ύʔιφϥΠζͰ  ച্্͕Βͳ͍!? ύʔιφϥΠζ͸ ΍ͬͺΓେࣄ!! ϦΞϧλΠϜͱ  ௚ۙӾཡߦಈ͔! 1~2εϓϦϯτ (2ʙ4िؒ)

Slide 25

Slide 25 text

25 ࣮ݧޙͷػೳͷϓϩμΫτల։͸ผ్৻ॏʹ൑அ͞ΕΔ - جຊతʹProduct Ownerͷ൑அޙʹػೳͷ100%ల։͸ͳ͞ΕΔ - ݁࿦Λग़ͨ͢Ίʹɺ࣮ݧ݁ՌʹՃ͑ͯҎԼͷΑ͏ͳ߲໨͕ݕ౼͞ΕΔ - ࣮ݧظؒதͦͷଞࢦඪʹͲͷΑ͏ͳมԽ͕͔͋ͬͨ - ࣮ݧͨ͠ػೳΛϦϦʔεͨ͠ࡍɺࠓޙ௕ظతʹ  ΞϓϦશମʹ༩͑ΔӨڹ͸ͲͷΑ͏ͳ΋ͷ͔ - ػೳΛҡ࣋͢ΔͨΊͷίετʹରͯ͠ಘΒΕΔ  Ϧλʔϯ͸Ϗδωεͱͯ͠੒Γཱ͔ͭ - ͳͲͳͲ ࣮ݧͱϓϩμΫτվળɿ KPI্͕ͬͨ ≠ ػೳϦϦʔε ※্ه؍఺ʹ͍ͭͯɺ࣮ݧσβΠϯυΩϡϝϯτͷʮΞΫγϣϯϓϥϯʯͱͯ͠  ࣄલʹϦετΞοϓ͢Δ৔߹΋͋Δ

Slide 26

Slide 26 text

26 ະղܾͷ՝୊ & ·ͱΊ

Slide 27

Slide 27 text

27 - ػೳผ → վળͷ༨஍͕ແݶʹ...ʂ - ϗʔϜը໘ - දࣔ͢ΔίϯϙʔωϯτͷύʔιφϥΠζʢछྨɾϥϯΩϯάͳͲʣ - ίϯϙʔωϯτ࡞੒ - λΠϜϥΠϯܗࣜϨίϝϯυ - ঎඼ৄࡉը໘ - ؔ࿈঎඼  - τϐοΫʹΑΔϨίϝϯυ → ࢼ͍ͤͯͳ͍ख๏͕ແݶʹ...ʂ - τϐοΫͷ࡞੒ (ΫϥελϦϯά&ϥϕϦϯά...) - τϐοΫͷϥϯΩϯά (ϥϯΫֶश...) - τϐοΫ಺Ͱͷ঎඼ͷϥϯΩϯά (ϥϯΫֶश/࠷దԽ...) ະղܾͷ՝୊

Slide 28

Slide 28 text

28 $ ϝϧΧϦͰͷύʔιφϥΠθʔγϣϯػೳͷݚڀ։ൃαΠΫϧ ○ ࣄલͷ࣮ݧઃܭΛஸೡʹߦ͍νʔϜ಺ͰϨϏϡʔ͢Δ͜ͱͰ  ʮԾઆࣗମʯͱʮ࣮ݧϓϩηεʯͷ඼࣭Λ্͍͛ͯΔ ○ ࣗνʔϜͰϚΠΫϩαʔϏεΛӡ༻͢Δ͜ͱʹΑͬͯߴ଎ʹݚڀ։ൃαΠΫϧΛճͤΔ  $ C2CϚʔέοτϓϨΠεͰͷ՝୊ͱϝϧΧϦͰͷϨίϝϯυ ○ 1఺΋ͷ&͙͢ʹചΕΔ঎඼ͷ՝୊ ○ τϐοΫͷ࡞੒ˠτϐοΫͷϥϯΩϯάˠτϐοΫ಺ͷ঎඼ͷϥϯΩϯά  $ ࣮ݧʹΑΔ࠷దͳίϯϙʔωϯτͷ୳ࡧ ○ ݚڀ։ൃαΠΫϧΛճ͢͜ͱʹΑͬͯޮՌతͳίϯϙʔωϯτΛݟ͚ͭΔ͜ͱ͕Ͱ͖ͨ ○ ࣮ݧαΠΫϧΛ੔උ͢Δ͜ͱͰɺͦΕΒ୳ࡧͷաఔΛֶͼʹͰ͖Δ ·ͱΊ