Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レコメンデーションのターゲットメトリックスの設定 / ML loft 3

レコメンデーションのターゲットメトリックスの設定 / ML loft 3

Wantedly Visitのレコメンデーションシステムの全体像を話をした後、ユーザエンゲージメントを良くするためのターゲットの設定方法についてお話しました。

Rei Kubonaga

June 21, 2019
Tweet

More Decks by Rei Kubonaga

Other Decks in Technology

Transcript

  1. ©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ λʔήοτϝτϦοΫε ML @ Loft #3 Jun

    21, 2019 - Rei Kubonaga ϢʔβΤϯήʔδϝϯτΛྑ͘͢ΔͨΊͷλʔήοτઃఆ
  2. ©2019 Wantedly, Inc. σʔλλΠϓ Ϣʔβͷߦಈσʔλ ɾInteraction (ΞΠςϜʹରͯ͠ɺӾཡɺΫϦοΫɺϒοΫϚʔΫͳͲ) ɾInteger (ΞΫηε਺, ࠷ऴΞΫηε೔ͳͲ)

    Ϣʔβ / ΞΠςϜͷσʔλ ɾInteger (બ୒͍ͯ͠Δ৬छɺ೥ྸͷൣғ, ϒοΫϚʔΫ਺ͳͲ) ɾBoolean (Ԡื͔ͨ͠ɺ࠷ۙొ࿥͔ͨ͠ɺֶੜ͔ɺΞϓϦΛ࢖͍ͬͯΔ͔) ɾText (ืूཁ߲ɺࣗݾ঺հɺֶྺɺ৬ྺ) ɾImage (ืूͷը૾ɺϓϩϑΟʔϧը૾)
  3. ©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ࣮૷ -JHIU(#. // Ϣʔβͷಛ௃ ΞΠςϜͷಛ௃ ΫΤϦͷಛ௃ ૊Έ߹Θͤͨಛ௃

    Ϣʔβ Τϯήʔδϝϯτ είΞ (SBQI 1SPDFTTJOH /-1 Ϣʔβͷߦಈσʔλ Ϣʔβͷଐੑ ΞΠςϜͷଐੑ ݕࡧΫΤϦ Interaction data Text Integer, Boolean Feature Data Target
  4. ©2019 Wantedly, Inc. Τϯήʔδϝϯτͱ͸ɺstickiness͕ߴ͍͜ͱ /FX 6TFS "DUJWF6TFS %PSNBOU6TFS Acquisition Activation

    Disengagement Disengagement Re-engagement Churn stickiness ͍͔ʹActiveͰ͋Γଓ͚Δ͔ ๚໰ස౓ɺར༻࣌ؒͰ൑அ
  5. ©2019 Wantedly, Inc. ΤϯήʔδϝϯτΛܾΊΔํ๏ ΠϯλϏϡʔ αʔϕΠ ΧελϚʔδϟʔχʔ FUD ΦϯϥΠϯ ෼ੳ

    ɾఆྔత ɾεέʔϧͯ͠ࢼͤΔ ɾϢʔβͷແҙࣝͷಈ͖ ɾ٬؍త ɾ୹ظత,௕ظత ɾఆੑ ɾ෦෼తʹߦ͏ ɾ࣮ݧதͷಈ͖ ɾओ؍త,٬؍త ɾ௕ظత
  6. ©2019 Wantedly, Inc. ΦϯϥΠϯͷ෼ੳͰߦ͏͜ͱ .FBTVSFNFOU .FUSJD ,1* αʔϏεͷதͰखʹೖΔ ఆྔతͳ஋ ɾӾཡ਺

    ɾӾཡ೔ ɾΫϦοΫ਺ Measurement͔Βܭࢉɾ෼ੳ ͠΍͍͢ܗʹ੔ܗͨ͠਺ࣈ ɾΫϦοΫ཰ ɾΞΫςΟϒϢʔβ ɾMRR/AUC/Precision/NDCG Business/Service্ͷ໨ඪʹରͯ͠ ॏཁͳӨڹΛ༩͑Δࢦඪ ɾϢʔβΤϯήʔδϝϯτείΞ ɾاۀͷܧଓ཰ɾARPU ɾ৽نϢʔβͷϦςϯγϣϯ཰ Measurement͔ΒMetricͱKPIΛܭࢉ͢Δ͜ͱ
  7. ©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉྫ .FBTVSFNFOU .FUSJD ,1* ɾ͋ΔΞΠςϜͷӾཡ࣌ؒ ɾ͋ΔΞΠςϜΛදࣔͨ͠ॱ൪ ɾ͋ΔΞΠςϜͷΫϦοΫͨ࣌ؒ͠

    ɾ͋ΔΞΠςϜ΁ͷΞΫγϣϯ (ϒοΫϚʔΫɺԠื) ɾηογϣϯͷ࣌ؒ ɾηογϣϯதͷӾཡ਺ͱԠื਺ ɾ࠶๚໰ͨ࣌ؒ͠ ɾΫϦοΫ཰/ϒοΫϚʔΫ཰ ɾԠื཰/࠾༻཰ ɾMRR/AUC/nDCG (্Ґʹදࣔͨ͠΋ͷ͕ ΞΫγϣϯ͞Ε͔ͨ) ɾܧଓ཰ ɾར༻࣌ؒ ɾΞΠςϜΧόϨοδ (ಛఆͷاۀʹूதͯ͠ͳ͍͔) ɾϢʔβΤϯήʔδϝϯτείΞ ෳ਺ͷࢦඪΛ૊Έ߹ΘͤΔ ֶशʹ࢖͏Ϣʔβͷݶఆ΋ ߦͬͨ
  8. ©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉ 5VOJOH &WBMVBUF 0OMJOF 5FTU Tuning ->

    Online Test -> EvaluateͷαΠΫϧΛΞϧΰϦζ Ϝ͚ͩͰͳ͘ɺϢʔβΤϯήʔδϝϯτείΞʹ͍ͭͯ΋ߦ ͏ ɾείΞࣗମͷ૊Έ߹Θͤํ͸ແݶɻৗʹਖ਼͍͠ղ͸ͳ͍ ɾΑΓΑ͍਺ࣈ͸ৗʹ͋Γɺඞͣ͠΋ෳࡶʹ͢Ε͹Α͍Θ ͚Ͱ͸ͳ͍ɻ(ΫϦοΫ࣌ؒ => ฏۉ, ۠ؒ, ࿈ଓ) ɾαʔϏεͷϑΣΠζʹΑͬͯ΋࠷దԽ͢Δ΋ͷ͸มΘΔ ɾΦϑϥΠϯͷςετͱΦϯϥΠϯͷςετ͕ಉ݁͡Ռ ͔ɺಛʹҟͳͬͨ࣌ʹཧ༝Λௐ΂Δ