Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Search
Rei Kubonaga
June 21, 2019
Technology
5
6.2k
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Wantedly Visitのレコメンデーションシステムの全体像を話をした後、ユーザエンゲージメントを良くするためのターゲットの設定方法についてお話しました。
Rei Kubonaga
June 21, 2019
Tweet
Share
More Decks by Rei Kubonaga
See All by Rei Kubonaga
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
reikubonaga
11
2.8k
機械学習を使った レコメンデーション / visit-recommendation2019
reikubonaga
5
2.1k
2017年度のインターン向け - Wantedlyの開発とは
reikubonaga
1
11k
Other Decks in Technology
See All in Technology
事業を差別化する技術を生み出す技術
pyama86
2
280
RayでPHPのデバッグをちょっと快適にする
muno92
PRO
0
190
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
230
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
偏光画像処理ライブラリを作った話
elerac
1
180
手を動かしてレベルアップしよう!
maruto
0
230
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.2k
IAMのマニアックな話2025
nrinetcom
PRO
6
1.2k
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
7
430
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
280
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
100
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.7k
Featured
See All Featured
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
520
Building Adaptive Systems
keathley
40
2.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Speed Design
sergeychernyshev
27
810
How GitHub (no longer) Works
holman
314
140k
4 Signs Your Business is Dying
shpigford
182
22k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
1k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Transcript
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ λʔήοτϝτϦοΫε ML @ Loft #3 Jun
21, 2019 - Rei Kubonaga ϢʔβΤϯήʔδϝϯτΛྑ͘͢ΔͨΊͷλʔήοτઃఆ
©2019 Wantedly, Inc. !LVCPOBHBSFJ3FJ,VCPOBHB w 8BOUFEMZਓͷࣾһ w 8BOUFEMZ7JTJUͷ։ൃνʔϜͷϚωʔδϟʔ w ϨίϝϯσʔγϣϯνʔϜϦʔμʔͱͯ͠νʔϜͷ্ཱͪ͛Λߦ͏
ࣗݾհ
©2019 Wantedly, Inc. Wantedly Visit ࢲͨͪͷϓϩμΫτ!ձࣾ๚αʔϏε
©2019 Wantedly, Inc. ϨίϝϯσʔγϣϯΛ͍ͬͯΔॴ Ϣʔβը໘ͰɺΞϓϦΛ։͘ͱ࠷ॳʹදࣔ͞ΕΔը໘ͷ ϨίϝϯσʔγϣϯΛ։ൃ͍ͯ͠·͢ɻ ʮ͓͢͢ΊͷืूʯʮϑΟϧλϦϯάʯʮΩʔϫʔυݕࡧʯ ͱͦΕͧΕҟͳΔΞϧΰϦζϜͰ࣮͍ͯ͠·͢ɻ ఆ؍ଌ͍ͯ͠Δࢦඪͱͯ͠ɺ ʮืू͕දࣔ͞Ε͔ͯΒɺΛฉ͖ʹߦׂ͘߹ʯ
ͳͲݟ͍ͯ·͢ɻ ࠷ॳͷ ͓͢͢Ίืू ϑΟϧλϦϯ ά Ωʔϫʔυ ݕࡧ
©2019 Wantedly, Inc. ࠓ͠Λ͢Δ͜ͱ ืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦׂ͘߹ͷਪҠ (20173݄͔Β20195݄ɻ20173݄Λ100%ͱ͍ͯ͠Δ) 2લʹɺϨίϝϯσʔγϣϯνʔϜΛൃ͠ɺ ػցֶशΛͬͨϨίϝϯσʔγϣϯΛ௨ͯ͡ɺ ϢʔβମݧΛେ͖͘վળ͠·ͨ͠ɻ ࣮ࡍɺʮืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦ֬͘ʯͱ͍
͏ॏཁͳࢦඪ͕2ഒҎ্ʹվળ͠·ͨ͠ɻ ݄ͱൺֱ ͯ͠ͷվળ /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN
©2019 Wantedly, Inc. Wantedly VisitͷϨίϝϯσʔγϣϯ .-NPEFM Ϣʔβͷߦಈσʔλ Ϣʔβͷσʔλ ΞΠςϜͷσʔλ ݕࡧΫΤϦ
Ϣʔβ Τϯήʔδϝϯτ είΞ σʔλ λʔήοτ
©2019 Wantedly, Inc. σʔλλΠϓ Ϣʔβͷߦಈσʔλ ɾInteraction (ΞΠςϜʹରͯ͠ɺӾཡɺΫϦοΫɺϒοΫϚʔΫͳͲ) ɾInteger (ΞΫηε, ࠷ऴΞΫηεͳͲ)
Ϣʔβ / ΞΠςϜͷσʔλ ɾInteger (બ͍ͯ͠Δ৬छɺྸͷൣғ, ϒοΫϚʔΫͳͲ) ɾBoolean (Ԡื͔ͨ͠ɺ࠷ۙొ͔ͨ͠ɺֶੜ͔ɺΞϓϦΛ͍ͬͯΔ͔) ɾText (ืूཁ߲ɺࣗݾհɺֶྺɺ৬ྺ) ɾImage (ืूͷը૾ɺϓϩϑΟʔϧը૾)
©2019 Wantedly, Inc. ϢʔβΤϯήʔδϝϯτείΞ αʔϏεʹର͢ΔѪணΛද͢είΞ ɾϢʔβɺΞΠςϜ͝ͱʹɺϢʔβΤϯήʔδϝϯτΛͲͷ͘Β͍ߴΊΒΕΔ͔දͨ͠είΞ Ϣʔβମݧͷ࣭Λఆٛ͢Δࢦඪ ɾΑ͘ΫϦοΫ͞ΕΔɺΑ͘Ԡื͞ΕΔɺͬͯ͘͘ΕΔɺසൟʹͬͯ͘ΕΔͳͲ λʔήοτΤϯήʔδϝϯτʹ૬͕ؔ͋Δ ɾΫϦοΫ͞ΕΔ͜ͱʹΑͬͯɺΤϯήʔδϝϯτ͕ඞͣ͠ߴ͘ͳΔΘ͚Ͱͳ͍
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ࣮ -JHIU(#. // Ϣʔβͷಛ ΞΠςϜͷಛ ΫΤϦͷಛ Έ߹Θͤͨಛ
Ϣʔβ Τϯήʔδϝϯτ είΞ (SBQI 1SPDFTTJOH /-1 Ϣʔβͷߦಈσʔλ Ϣʔβͷଐੑ ΞΠςϜͷଐੑ ݕࡧΫΤϦ Interaction data Text Integer, Boolean Feature Data Target
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯʹ͓͚Δλʔήοτ λʔήοτͱͳʹ͔ ɾϥϯΩϯά͕Ϣʔβʔʹͱͬͯྑ͔͔ͬͨѱ͔͔ͬͨΛஅ͢ΔͨΊͷࣈ λʔήοτͷઃఆͷ͠͞ ɾΫϦοΫͯ͠ίϯςϯπΛݟͯͳ͍͔͠Εͳ͍ ɾϒοΫϚʔΫԠืͩͱใु͕ͳׂ͍߹͕૿͑Δ ɾͨ͘͞Μݟ͗͢Δͱ͍͏͜ͱɺٯʹѱ͍ମݧ͔͠Εͳ͍
ɾPCͱΞϓϦͰϢʔβͷಈ͖ҟͳΔ VisitͰɺϢʔβΤϯήʔδϝϯτʹ૬͕ؔ͋ΔࣈΛλʔήοτͱͯ͠ઃఆ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͱɺstickiness͕ߴ͍͜ͱ /FX 6TFS "DUJWF6TFS %PSNBOU6TFS Acquisition Activation
Disengagement Disengagement Re-engagement Churn stickiness ͍͔ʹActiveͰ͋Γଓ͚Δ͔ ๚සɺར༻࣌ؒͰஅ
©2019 Wantedly, Inc. ΤϯήʔδϝϯτΛܾΊΔํ๏ ΠϯλϏϡʔ αʔϕΠ ΧελϚʔδϟʔχʔ FUD ΦϯϥΠϯ ੳ
ɾఆྔత ɾεέʔϧͯ͠ࢼͤΔ ɾϢʔβͷແҙࣝͷಈ͖ ɾ٬؍త ɾظత,ظత ɾఆੑ ɾ෦తʹߦ͏ ɾ࣮ݧதͷಈ͖ ɾओ؍త,٬؍త ɾظత
©2019 Wantedly, Inc. ΦϯϥΠϯͷੳͰߦ͏͜ͱ .FBTVSFNFOU .FUSJD ,1* αʔϏεͷதͰखʹೖΔ ఆྔతͳ ɾӾཡ
ɾӾཡ ɾΫϦοΫ Measurement͔Βܭࢉɾੳ ͍͢͠ܗʹܗͨ͠ࣈ ɾΫϦοΫ ɾΞΫςΟϒϢʔβ ɾMRR/AUC/Precision/NDCG Business/Service্ͷඪʹରͯ͠ ॏཁͳӨڹΛ༩͑Δࢦඪ ɾϢʔβΤϯήʔδϝϯτείΞ ɾاۀͷܧଓɾARPU ɾ৽نϢʔβͷϦςϯγϣϯ Measurement͔ΒMetricͱKPIΛܭࢉ͢Δ͜ͱ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉྫ .FBTVSFNFOU .FUSJD ,1* ɾ͋ΔΞΠςϜͷӾཡ࣌ؒ ɾ͋ΔΞΠςϜΛදࣔͨ͠ॱ൪ ɾ͋ΔΞΠςϜͷΫϦοΫͨ࣌ؒ͠
ɾ͋ΔΞΠςϜͷΞΫγϣϯ (ϒοΫϚʔΫɺԠื) ɾηογϣϯͷ࣌ؒ ɾηογϣϯதͷӾཡͱԠื ɾ࠶๚ͨ࣌ؒ͠ ɾΫϦοΫ/ϒοΫϚʔΫ ɾԠื/࠾༻ ɾMRR/AUC/nDCG (্Ґʹදࣔͨ͠ͷ͕ ΞΫγϣϯ͞Ε͔ͨ) ɾܧଓ ɾར༻࣌ؒ ɾΞΠςϜΧόϨοδ (ಛఆͷاۀʹूதͯ͠ͳ͍͔) ɾϢʔβΤϯήʔδϝϯτείΞ ෳͷࢦඪΛΈ߹ΘͤΔ ֶशʹ͏Ϣʔβͷݶఆ ߦͬͨ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉ 5VOJOH &WBMVBUF 0OMJOF 5FTU Tuning ->
Online Test -> EvaluateͷαΠΫϧΛΞϧΰϦζ Ϝ͚ͩͰͳ͘ɺϢʔβΤϯήʔδϝϯτείΞʹ͍ͭͯߦ ͏ ɾείΞࣗମͷΈ߹Θͤํແݶɻৗʹਖ਼͍͠ղͳ͍ ɾΑΓΑ͍ࣈৗʹ͋Γɺඞͣ͠ෳࡶʹ͢ΕΑ͍Θ ͚Ͱͳ͍ɻ(ΫϦοΫ࣌ؒ => ฏۉ, ۠ؒ, ࿈ଓ) ɾαʔϏεͷϑΣΠζʹΑͬͯ࠷దԽ͢ΔͷมΘΔ ɾΦϑϥΠϯͷςετͱΦϯϥΠϯͷςετ͕ಉ݁͡Ռ ͔ɺಛʹҟͳͬͨ࣌ʹཧ༝ΛௐΔ
©2019 Wantedly, Inc. • DNNͷར༻ • ਪનཧ༝ͷઆ໌ • όϯσΟοτ •
ϑΣΞωε • ਪનʹదͨ͠UI ͜Ε͔Β͍ͨ͜͠ͱ
©2019 Wantedly, Inc. ؔ࿈ͨ͠ϒϩάॻ͍ͯ·͢ https://www.wantedly.com/companies/wantedly/post_articles/155593 https://www.wantedly.com/companies/wantedly/post_articles/169261
©2019 Wantedly, Inc. Mobile FrontendʗBackend Infrastructure New! We are hiring!!
https://www.wantedly.com/companies/wantedly