Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Search
Rei Kubonaga
June 21, 2019
Technology
5
6.1k
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Wantedly Visitのレコメンデーションシステムの全体像を話をした後、ユーザエンゲージメントを良くするためのターゲットの設定方法についてお話しました。
Rei Kubonaga
June 21, 2019
Tweet
Share
More Decks by Rei Kubonaga
See All by Rei Kubonaga
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
reikubonaga
11
2.7k
機械学習を使った レコメンデーション / visit-recommendation2019
reikubonaga
5
2k
2017年度のインターン向け - Wantedlyの開発とは
reikubonaga
1
10k
Other Decks in Technology
See All in Technology
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
ゆめみのアクセシビリティの現在地と今後
ryokatsuse
3
290
エンジニア向け会社紹介資料
caddi_eng
14
220k
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
AWSで”最小権限の原則”を実現するための考え方 /20240722-ssmjp-aws-least-privilege
opelab
10
4.3k
開発と事業を繋ぐ!SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~
leveragestech
0
620
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
26
2.1k
GraphQLとの向き合い方2022年版
quramy
36
13k
Imperfection Machines: The Place of Print at Facebook
scottboms
262
13k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
16
1.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
277
13k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
Practical Orchestrator
shlominoach
185
10k
Transcript
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ λʔήοτϝτϦοΫε ML @ Loft #3 Jun
21, 2019 - Rei Kubonaga ϢʔβΤϯήʔδϝϯτΛྑ͘͢ΔͨΊͷλʔήοτઃఆ
©2019 Wantedly, Inc. !LVCPOBHBSFJ3FJ,VCPOBHB w 8BOUFEMZਓͷࣾһ w 8BOUFEMZ7JTJUͷ։ൃνʔϜͷϚωʔδϟʔ w ϨίϝϯσʔγϣϯνʔϜϦʔμʔͱͯ͠νʔϜͷ্ཱͪ͛Λߦ͏
ࣗݾհ
©2019 Wantedly, Inc. Wantedly Visit ࢲͨͪͷϓϩμΫτ!ձࣾ๚αʔϏε
©2019 Wantedly, Inc. ϨίϝϯσʔγϣϯΛ͍ͬͯΔॴ Ϣʔβը໘ͰɺΞϓϦΛ։͘ͱ࠷ॳʹදࣔ͞ΕΔը໘ͷ ϨίϝϯσʔγϣϯΛ։ൃ͍ͯ͠·͢ɻ ʮ͓͢͢ΊͷืूʯʮϑΟϧλϦϯάʯʮΩʔϫʔυݕࡧʯ ͱͦΕͧΕҟͳΔΞϧΰϦζϜͰ࣮͍ͯ͠·͢ɻ ఆ؍ଌ͍ͯ͠Δࢦඪͱͯ͠ɺ ʮืू͕දࣔ͞Ε͔ͯΒɺΛฉ͖ʹߦׂ͘߹ʯ
ͳͲݟ͍ͯ·͢ɻ ࠷ॳͷ ͓͢͢Ίืू ϑΟϧλϦϯ ά Ωʔϫʔυ ݕࡧ
©2019 Wantedly, Inc. ࠓ͠Λ͢Δ͜ͱ ืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦׂ͘߹ͷਪҠ (20173݄͔Β20195݄ɻ20173݄Λ100%ͱ͍ͯ͠Δ) 2લʹɺϨίϝϯσʔγϣϯνʔϜΛൃ͠ɺ ػցֶशΛͬͨϨίϝϯσʔγϣϯΛ௨ͯ͡ɺ ϢʔβମݧΛେ͖͘վળ͠·ͨ͠ɻ ࣮ࡍɺʮืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦ֬͘ʯͱ͍
͏ॏཁͳࢦඪ͕2ഒҎ্ʹվળ͠·ͨ͠ɻ ݄ͱൺֱ ͯ͠ͷվળ /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN
©2019 Wantedly, Inc. Wantedly VisitͷϨίϝϯσʔγϣϯ .-NPEFM Ϣʔβͷߦಈσʔλ Ϣʔβͷσʔλ ΞΠςϜͷσʔλ ݕࡧΫΤϦ
Ϣʔβ Τϯήʔδϝϯτ είΞ σʔλ λʔήοτ
©2019 Wantedly, Inc. σʔλλΠϓ Ϣʔβͷߦಈσʔλ ɾInteraction (ΞΠςϜʹରͯ͠ɺӾཡɺΫϦοΫɺϒοΫϚʔΫͳͲ) ɾInteger (ΞΫηε, ࠷ऴΞΫηεͳͲ)
Ϣʔβ / ΞΠςϜͷσʔλ ɾInteger (બ͍ͯ͠Δ৬छɺྸͷൣғ, ϒοΫϚʔΫͳͲ) ɾBoolean (Ԡื͔ͨ͠ɺ࠷ۙొ͔ͨ͠ɺֶੜ͔ɺΞϓϦΛ͍ͬͯΔ͔) ɾText (ืूཁ߲ɺࣗݾհɺֶྺɺ৬ྺ) ɾImage (ืूͷը૾ɺϓϩϑΟʔϧը૾)
©2019 Wantedly, Inc. ϢʔβΤϯήʔδϝϯτείΞ αʔϏεʹର͢ΔѪணΛද͢είΞ ɾϢʔβɺΞΠςϜ͝ͱʹɺϢʔβΤϯήʔδϝϯτΛͲͷ͘Β͍ߴΊΒΕΔ͔දͨ͠είΞ Ϣʔβମݧͷ࣭Λఆٛ͢Δࢦඪ ɾΑ͘ΫϦοΫ͞ΕΔɺΑ͘Ԡื͞ΕΔɺͬͯ͘͘ΕΔɺසൟʹͬͯ͘ΕΔͳͲ λʔήοτΤϯήʔδϝϯτʹ૬͕ؔ͋Δ ɾΫϦοΫ͞ΕΔ͜ͱʹΑͬͯɺΤϯήʔδϝϯτ͕ඞͣ͠ߴ͘ͳΔΘ͚Ͱͳ͍
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ࣮ -JHIU(#. // Ϣʔβͷಛ ΞΠςϜͷಛ ΫΤϦͷಛ Έ߹Θͤͨಛ
Ϣʔβ Τϯήʔδϝϯτ είΞ (SBQI 1SPDFTTJOH /-1 Ϣʔβͷߦಈσʔλ Ϣʔβͷଐੑ ΞΠςϜͷଐੑ ݕࡧΫΤϦ Interaction data Text Integer, Boolean Feature Data Target
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯʹ͓͚Δλʔήοτ λʔήοτͱͳʹ͔ ɾϥϯΩϯά͕Ϣʔβʔʹͱͬͯྑ͔͔ͬͨѱ͔͔ͬͨΛஅ͢ΔͨΊͷࣈ λʔήοτͷઃఆͷ͠͞ ɾΫϦοΫͯ͠ίϯςϯπΛݟͯͳ͍͔͠Εͳ͍ ɾϒοΫϚʔΫԠืͩͱใु͕ͳׂ͍߹͕૿͑Δ ɾͨ͘͞Μݟ͗͢Δͱ͍͏͜ͱɺٯʹѱ͍ମݧ͔͠Εͳ͍
ɾPCͱΞϓϦͰϢʔβͷಈ͖ҟͳΔ VisitͰɺϢʔβΤϯήʔδϝϯτʹ૬͕ؔ͋ΔࣈΛλʔήοτͱͯ͠ઃఆ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͱɺstickiness͕ߴ͍͜ͱ /FX 6TFS "DUJWF6TFS %PSNBOU6TFS Acquisition Activation
Disengagement Disengagement Re-engagement Churn stickiness ͍͔ʹActiveͰ͋Γଓ͚Δ͔ ๚සɺར༻࣌ؒͰஅ
©2019 Wantedly, Inc. ΤϯήʔδϝϯτΛܾΊΔํ๏ ΠϯλϏϡʔ αʔϕΠ ΧελϚʔδϟʔχʔ FUD ΦϯϥΠϯ ੳ
ɾఆྔత ɾεέʔϧͯ͠ࢼͤΔ ɾϢʔβͷແҙࣝͷಈ͖ ɾ٬؍త ɾظత,ظత ɾఆੑ ɾ෦తʹߦ͏ ɾ࣮ݧதͷಈ͖ ɾओ؍త,٬؍త ɾظత
©2019 Wantedly, Inc. ΦϯϥΠϯͷੳͰߦ͏͜ͱ .FBTVSFNFOU .FUSJD ,1* αʔϏεͷதͰखʹೖΔ ఆྔతͳ ɾӾཡ
ɾӾཡ ɾΫϦοΫ Measurement͔Βܭࢉɾੳ ͍͢͠ܗʹܗͨ͠ࣈ ɾΫϦοΫ ɾΞΫςΟϒϢʔβ ɾMRR/AUC/Precision/NDCG Business/Service্ͷඪʹରͯ͠ ॏཁͳӨڹΛ༩͑Δࢦඪ ɾϢʔβΤϯήʔδϝϯτείΞ ɾاۀͷܧଓɾARPU ɾ৽نϢʔβͷϦςϯγϣϯ Measurement͔ΒMetricͱKPIΛܭࢉ͢Δ͜ͱ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉྫ .FBTVSFNFOU .FUSJD ,1* ɾ͋ΔΞΠςϜͷӾཡ࣌ؒ ɾ͋ΔΞΠςϜΛදࣔͨ͠ॱ൪ ɾ͋ΔΞΠςϜͷΫϦοΫͨ࣌ؒ͠
ɾ͋ΔΞΠςϜͷΞΫγϣϯ (ϒοΫϚʔΫɺԠื) ɾηογϣϯͷ࣌ؒ ɾηογϣϯதͷӾཡͱԠื ɾ࠶๚ͨ࣌ؒ͠ ɾΫϦοΫ/ϒοΫϚʔΫ ɾԠื/࠾༻ ɾMRR/AUC/nDCG (্Ґʹදࣔͨ͠ͷ͕ ΞΫγϣϯ͞Ε͔ͨ) ɾܧଓ ɾར༻࣌ؒ ɾΞΠςϜΧόϨοδ (ಛఆͷاۀʹूதͯ͠ͳ͍͔) ɾϢʔβΤϯήʔδϝϯτείΞ ෳͷࢦඪΛΈ߹ΘͤΔ ֶशʹ͏Ϣʔβͷݶఆ ߦͬͨ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉ 5VOJOH &WBMVBUF 0OMJOF 5FTU Tuning ->
Online Test -> EvaluateͷαΠΫϧΛΞϧΰϦζ Ϝ͚ͩͰͳ͘ɺϢʔβΤϯήʔδϝϯτείΞʹ͍ͭͯߦ ͏ ɾείΞࣗମͷΈ߹Θͤํແݶɻৗʹਖ਼͍͠ղͳ͍ ɾΑΓΑ͍ࣈৗʹ͋Γɺඞͣ͠ෳࡶʹ͢ΕΑ͍Θ ͚Ͱͳ͍ɻ(ΫϦοΫ࣌ؒ => ฏۉ, ۠ؒ, ࿈ଓ) ɾαʔϏεͷϑΣΠζʹΑͬͯ࠷దԽ͢ΔͷมΘΔ ɾΦϑϥΠϯͷςετͱΦϯϥΠϯͷςετ͕ಉ݁͡Ռ ͔ɺಛʹҟͳͬͨ࣌ʹཧ༝ΛௐΔ
©2019 Wantedly, Inc. • DNNͷར༻ • ਪનཧ༝ͷઆ໌ • όϯσΟοτ •
ϑΣΞωε • ਪનʹదͨ͠UI ͜Ε͔Β͍ͨ͜͠ͱ
©2019 Wantedly, Inc. ؔ࿈ͨ͠ϒϩάॻ͍ͯ·͢ https://www.wantedly.com/companies/wantedly/post_articles/155593 https://www.wantedly.com/companies/wantedly/post_articles/169261
©2019 Wantedly, Inc. Mobile FrontendʗBackend Infrastructure New! We are hiring!!
https://www.wantedly.com/companies/wantedly