Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Search
Rei Kubonaga
June 21, 2019
Technology
5
6.2k
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Wantedly Visitのレコメンデーションシステムの全体像を話をした後、ユーザエンゲージメントを良くするためのターゲットの設定方法についてお話しました。
Rei Kubonaga
June 21, 2019
Tweet
Share
More Decks by Rei Kubonaga
See All by Rei Kubonaga
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
reikubonaga
11
2.9k
機械学習を使った レコメンデーション / visit-recommendation2019
reikubonaga
5
2.1k
2017年度のインターン向け - Wantedlyの開発とは
reikubonaga
1
11k
Other Decks in Technology
See All in Technology
M365アカウント侵害時の初動対応
lhazy
7
4.6k
20250718_ITSurf_“Bet AI”を支える文化とコストマネジメント
helosshi
1
210
AWS Well-Architected から考えるオブザーバビリティの勘所 / Considering the Essentials of Observability from AWS Well-Architected
sms_tech
1
850
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
130
低レイヤソフトウェア技術者が YouTuberとして食っていこうとした話
sat
PRO
7
5.8k
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
280
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
280
The Madness of Multiple Gemini CLIs Developing Simultaneously with Jujutsu
gunta
1
2.6k
データエンジニアリング 4年前と変わったこと、 4年前と変わらないこと
tanakarian
2
360
Data Engineering Study#30 LT資料
tetsuroito
1
570
地図と生成AI
nakasho
0
710
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
3
420
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Into the Great Unknown - MozCon
thekraken
40
1.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
It's Worth the Effort
3n
185
28k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Optimizing for Happiness
mojombo
379
70k
Making Projects Easy
brettharned
116
6.3k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Speed Design
sergeychernyshev
32
1k
Transcript
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ λʔήοτϝτϦοΫε ML @ Loft #3 Jun
21, 2019 - Rei Kubonaga ϢʔβΤϯήʔδϝϯτΛྑ͘͢ΔͨΊͷλʔήοτઃఆ
©2019 Wantedly, Inc. !LVCPOBHBSFJ3FJ,VCPOBHB w 8BOUFEMZਓͷࣾһ w 8BOUFEMZ7JTJUͷ։ൃνʔϜͷϚωʔδϟʔ w ϨίϝϯσʔγϣϯνʔϜϦʔμʔͱͯ͠νʔϜͷ্ཱͪ͛Λߦ͏
ࣗݾհ
©2019 Wantedly, Inc. Wantedly Visit ࢲͨͪͷϓϩμΫτ!ձࣾ๚αʔϏε
©2019 Wantedly, Inc. ϨίϝϯσʔγϣϯΛ͍ͬͯΔॴ Ϣʔβը໘ͰɺΞϓϦΛ։͘ͱ࠷ॳʹදࣔ͞ΕΔը໘ͷ ϨίϝϯσʔγϣϯΛ։ൃ͍ͯ͠·͢ɻ ʮ͓͢͢ΊͷืूʯʮϑΟϧλϦϯάʯʮΩʔϫʔυݕࡧʯ ͱͦΕͧΕҟͳΔΞϧΰϦζϜͰ࣮͍ͯ͠·͢ɻ ఆ؍ଌ͍ͯ͠Δࢦඪͱͯ͠ɺ ʮืू͕දࣔ͞Ε͔ͯΒɺΛฉ͖ʹߦׂ͘߹ʯ
ͳͲݟ͍ͯ·͢ɻ ࠷ॳͷ ͓͢͢Ίืू ϑΟϧλϦϯ ά Ωʔϫʔυ ݕࡧ
©2019 Wantedly, Inc. ࠓ͠Λ͢Δ͜ͱ ืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦׂ͘߹ͷਪҠ (20173݄͔Β20195݄ɻ20173݄Λ100%ͱ͍ͯ͠Δ) 2લʹɺϨίϝϯσʔγϣϯνʔϜΛൃ͠ɺ ػցֶशΛͬͨϨίϝϯσʔγϣϯΛ௨ͯ͡ɺ ϢʔβମݧΛେ͖͘վળ͠·ͨ͠ɻ ࣮ࡍɺʮืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦ֬͘ʯͱ͍
͏ॏཁͳࢦඪ͕2ഒҎ্ʹվળ͠·ͨ͠ɻ ݄ͱൺֱ ͯ͠ͷվળ /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN
©2019 Wantedly, Inc. Wantedly VisitͷϨίϝϯσʔγϣϯ .-NPEFM Ϣʔβͷߦಈσʔλ Ϣʔβͷσʔλ ΞΠςϜͷσʔλ ݕࡧΫΤϦ
Ϣʔβ Τϯήʔδϝϯτ είΞ σʔλ λʔήοτ
©2019 Wantedly, Inc. σʔλλΠϓ Ϣʔβͷߦಈσʔλ ɾInteraction (ΞΠςϜʹରͯ͠ɺӾཡɺΫϦοΫɺϒοΫϚʔΫͳͲ) ɾInteger (ΞΫηε, ࠷ऴΞΫηεͳͲ)
Ϣʔβ / ΞΠςϜͷσʔλ ɾInteger (બ͍ͯ͠Δ৬छɺྸͷൣғ, ϒοΫϚʔΫͳͲ) ɾBoolean (Ԡื͔ͨ͠ɺ࠷ۙొ͔ͨ͠ɺֶੜ͔ɺΞϓϦΛ͍ͬͯΔ͔) ɾText (ืूཁ߲ɺࣗݾհɺֶྺɺ৬ྺ) ɾImage (ืूͷը૾ɺϓϩϑΟʔϧը૾)
©2019 Wantedly, Inc. ϢʔβΤϯήʔδϝϯτείΞ αʔϏεʹର͢ΔѪணΛද͢είΞ ɾϢʔβɺΞΠςϜ͝ͱʹɺϢʔβΤϯήʔδϝϯτΛͲͷ͘Β͍ߴΊΒΕΔ͔දͨ͠είΞ Ϣʔβମݧͷ࣭Λఆٛ͢Δࢦඪ ɾΑ͘ΫϦοΫ͞ΕΔɺΑ͘Ԡื͞ΕΔɺͬͯ͘͘ΕΔɺසൟʹͬͯ͘ΕΔͳͲ λʔήοτΤϯήʔδϝϯτʹ૬͕ؔ͋Δ ɾΫϦοΫ͞ΕΔ͜ͱʹΑͬͯɺΤϯήʔδϝϯτ͕ඞͣ͠ߴ͘ͳΔΘ͚Ͱͳ͍
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ࣮ -JHIU(#. // Ϣʔβͷಛ ΞΠςϜͷಛ ΫΤϦͷಛ Έ߹Θͤͨಛ
Ϣʔβ Τϯήʔδϝϯτ είΞ (SBQI 1SPDFTTJOH /-1 Ϣʔβͷߦಈσʔλ Ϣʔβͷଐੑ ΞΠςϜͷଐੑ ݕࡧΫΤϦ Interaction data Text Integer, Boolean Feature Data Target
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯʹ͓͚Δλʔήοτ λʔήοτͱͳʹ͔ ɾϥϯΩϯά͕Ϣʔβʔʹͱͬͯྑ͔͔ͬͨѱ͔͔ͬͨΛஅ͢ΔͨΊͷࣈ λʔήοτͷઃఆͷ͠͞ ɾΫϦοΫͯ͠ίϯςϯπΛݟͯͳ͍͔͠Εͳ͍ ɾϒοΫϚʔΫԠืͩͱใु͕ͳׂ͍߹͕૿͑Δ ɾͨ͘͞Μݟ͗͢Δͱ͍͏͜ͱɺٯʹѱ͍ମݧ͔͠Εͳ͍
ɾPCͱΞϓϦͰϢʔβͷಈ͖ҟͳΔ VisitͰɺϢʔβΤϯήʔδϝϯτʹ૬͕ؔ͋ΔࣈΛλʔήοτͱͯ͠ઃఆ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͱɺstickiness͕ߴ͍͜ͱ /FX 6TFS "DUJWF6TFS %PSNBOU6TFS Acquisition Activation
Disengagement Disengagement Re-engagement Churn stickiness ͍͔ʹActiveͰ͋Γଓ͚Δ͔ ๚සɺར༻࣌ؒͰஅ
©2019 Wantedly, Inc. ΤϯήʔδϝϯτΛܾΊΔํ๏ ΠϯλϏϡʔ αʔϕΠ ΧελϚʔδϟʔχʔ FUD ΦϯϥΠϯ ੳ
ɾఆྔత ɾεέʔϧͯ͠ࢼͤΔ ɾϢʔβͷແҙࣝͷಈ͖ ɾ٬؍త ɾظత,ظత ɾఆੑ ɾ෦తʹߦ͏ ɾ࣮ݧதͷಈ͖ ɾओ؍త,٬؍త ɾظత
©2019 Wantedly, Inc. ΦϯϥΠϯͷੳͰߦ͏͜ͱ .FBTVSFNFOU .FUSJD ,1* αʔϏεͷதͰखʹೖΔ ఆྔతͳ ɾӾཡ
ɾӾཡ ɾΫϦοΫ Measurement͔Βܭࢉɾੳ ͍͢͠ܗʹܗͨ͠ࣈ ɾΫϦοΫ ɾΞΫςΟϒϢʔβ ɾMRR/AUC/Precision/NDCG Business/Service্ͷඪʹରͯ͠ ॏཁͳӨڹΛ༩͑Δࢦඪ ɾϢʔβΤϯήʔδϝϯτείΞ ɾاۀͷܧଓɾARPU ɾ৽نϢʔβͷϦςϯγϣϯ Measurement͔ΒMetricͱKPIΛܭࢉ͢Δ͜ͱ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉྫ .FBTVSFNFOU .FUSJD ,1* ɾ͋ΔΞΠςϜͷӾཡ࣌ؒ ɾ͋ΔΞΠςϜΛදࣔͨ͠ॱ൪ ɾ͋ΔΞΠςϜͷΫϦοΫͨ࣌ؒ͠
ɾ͋ΔΞΠςϜͷΞΫγϣϯ (ϒοΫϚʔΫɺԠื) ɾηογϣϯͷ࣌ؒ ɾηογϣϯதͷӾཡͱԠื ɾ࠶๚ͨ࣌ؒ͠ ɾΫϦοΫ/ϒοΫϚʔΫ ɾԠื/࠾༻ ɾMRR/AUC/nDCG (্Ґʹදࣔͨ͠ͷ͕ ΞΫγϣϯ͞Ε͔ͨ) ɾܧଓ ɾར༻࣌ؒ ɾΞΠςϜΧόϨοδ (ಛఆͷاۀʹूதͯ͠ͳ͍͔) ɾϢʔβΤϯήʔδϝϯτείΞ ෳͷࢦඪΛΈ߹ΘͤΔ ֶशʹ͏Ϣʔβͷݶఆ ߦͬͨ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉ 5VOJOH &WBMVBUF 0OMJOF 5FTU Tuning ->
Online Test -> EvaluateͷαΠΫϧΛΞϧΰϦζ Ϝ͚ͩͰͳ͘ɺϢʔβΤϯήʔδϝϯτείΞʹ͍ͭͯߦ ͏ ɾείΞࣗମͷΈ߹Θͤํແݶɻৗʹਖ਼͍͠ղͳ͍ ɾΑΓΑ͍ࣈৗʹ͋Γɺඞͣ͠ෳࡶʹ͢ΕΑ͍Θ ͚Ͱͳ͍ɻ(ΫϦοΫ࣌ؒ => ฏۉ, ۠ؒ, ࿈ଓ) ɾαʔϏεͷϑΣΠζʹΑͬͯ࠷దԽ͢ΔͷมΘΔ ɾΦϑϥΠϯͷςετͱΦϯϥΠϯͷςετ͕ಉ݁͡Ռ ͔ɺಛʹҟͳͬͨ࣌ʹཧ༝ΛௐΔ
©2019 Wantedly, Inc. • DNNͷར༻ • ਪનཧ༝ͷઆ໌ • όϯσΟοτ •
ϑΣΞωε • ਪનʹదͨ͠UI ͜Ε͔Β͍ͨ͜͠ͱ
©2019 Wantedly, Inc. ؔ࿈ͨ͠ϒϩάॻ͍ͯ·͢ https://www.wantedly.com/companies/wantedly/post_articles/155593 https://www.wantedly.com/companies/wantedly/post_articles/169261
©2019 Wantedly, Inc. Mobile FrontendʗBackend Infrastructure New! We are hiring!!
https://www.wantedly.com/companies/wantedly