Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Search
Rei Kubonaga
June 21, 2019
Technology
5
6.2k
レコメンデーションのターゲットメトリックスの設定 / ML loft 3
Wantedly Visitのレコメンデーションシステムの全体像を話をした後、ユーザエンゲージメントを良くするためのターゲットの設定方法についてお話しました。
Rei Kubonaga
June 21, 2019
Tweet
Share
More Decks by Rei Kubonaga
See All by Rei Kubonaga
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
reikubonaga
11
2.8k
機械学習を使った レコメンデーション / visit-recommendation2019
reikubonaga
5
2.1k
2017年度のインターン向け - Wantedlyの開発とは
reikubonaga
1
11k
Other Decks in Technology
See All in Technology
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
260
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
610
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
540
CDKでカスタムランタイムを作成して、Lambdaをnode.js23+TypeScriptで動かしてみた
smt7174
2
110
Perlの生きのこり - エンジニアがこの先生きのこるためのカンファレンス2025
kfly8
2
270
ウォンテッドリーのデータパイプラインを支える ETL のための analytics, rds-exporter / analytics, rds-exporter for ETL to support Wantedly's data pipeline
unblee
0
120
OPENLOGI Company Profile
hr01
0
60k
ESXi で仮想化した ARM 環境で LLM を動作させてみるぞ
unnowataru
0
170
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
8
3.5k
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
520
「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly
i35_267
5
850
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Code Review Best Practice
trishagee
67
18k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
A Tale of Four Properties
chriscoyier
158
23k
The Cost Of JavaScript in 2023
addyosmani
47
7.4k
RailsConf 2023
tenderlove
29
1k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Unsuck your backbone
ammeep
669
57k
Transcript
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ λʔήοτϝτϦοΫε ML @ Loft #3 Jun
21, 2019 - Rei Kubonaga ϢʔβΤϯήʔδϝϯτΛྑ͘͢ΔͨΊͷλʔήοτઃఆ
©2019 Wantedly, Inc. !LVCPOBHBSFJ3FJ,VCPOBHB w 8BOUFEMZਓͷࣾһ w 8BOUFEMZ7JTJUͷ։ൃνʔϜͷϚωʔδϟʔ w ϨίϝϯσʔγϣϯνʔϜϦʔμʔͱͯ͠νʔϜͷ্ཱͪ͛Λߦ͏
ࣗݾհ
©2019 Wantedly, Inc. Wantedly Visit ࢲͨͪͷϓϩμΫτ!ձࣾ๚αʔϏε
©2019 Wantedly, Inc. ϨίϝϯσʔγϣϯΛ͍ͬͯΔॴ Ϣʔβը໘ͰɺΞϓϦΛ։͘ͱ࠷ॳʹදࣔ͞ΕΔը໘ͷ ϨίϝϯσʔγϣϯΛ։ൃ͍ͯ͠·͢ɻ ʮ͓͢͢ΊͷืूʯʮϑΟϧλϦϯάʯʮΩʔϫʔυݕࡧʯ ͱͦΕͧΕҟͳΔΞϧΰϦζϜͰ࣮͍ͯ͠·͢ɻ ఆ؍ଌ͍ͯ͠Δࢦඪͱͯ͠ɺ ʮืू͕දࣔ͞Ε͔ͯΒɺΛฉ͖ʹߦׂ͘߹ʯ
ͳͲݟ͍ͯ·͢ɻ ࠷ॳͷ ͓͢͢Ίืू ϑΟϧλϦϯ ά Ωʔϫʔυ ݕࡧ
©2019 Wantedly, Inc. ࠓ͠Λ͢Δ͜ͱ ืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦׂ͘߹ͷਪҠ (20173݄͔Β20195݄ɻ20173݄Λ100%ͱ͍ͯ͠Δ) 2લʹɺϨίϝϯσʔγϣϯνʔϜΛൃ͠ɺ ػցֶशΛͬͨϨίϝϯσʔγϣϯΛ௨ͯ͡ɺ ϢʔβମݧΛେ͖͘վળ͠·ͨ͠ɻ ࣮ࡍɺʮืूΛද͔ࣔͯ͠ΒɺΛฉ͖ʹߦ֬͘ʯͱ͍
͏ॏཁͳࢦඪ͕2ഒҎ্ʹվળ͠·ͨ͠ɻ ݄ͱൺֱ ͯ͠ͷվળ /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN /FX "MHPSJUIN
©2019 Wantedly, Inc. Wantedly VisitͷϨίϝϯσʔγϣϯ .-NPEFM Ϣʔβͷߦಈσʔλ Ϣʔβͷσʔλ ΞΠςϜͷσʔλ ݕࡧΫΤϦ
Ϣʔβ Τϯήʔδϝϯτ είΞ σʔλ λʔήοτ
©2019 Wantedly, Inc. σʔλλΠϓ Ϣʔβͷߦಈσʔλ ɾInteraction (ΞΠςϜʹରͯ͠ɺӾཡɺΫϦοΫɺϒοΫϚʔΫͳͲ) ɾInteger (ΞΫηε, ࠷ऴΞΫηεͳͲ)
Ϣʔβ / ΞΠςϜͷσʔλ ɾInteger (બ͍ͯ͠Δ৬छɺྸͷൣғ, ϒοΫϚʔΫͳͲ) ɾBoolean (Ԡื͔ͨ͠ɺ࠷ۙొ͔ͨ͠ɺֶੜ͔ɺΞϓϦΛ͍ͬͯΔ͔) ɾText (ืूཁ߲ɺࣗݾհɺֶྺɺ৬ྺ) ɾImage (ืूͷը૾ɺϓϩϑΟʔϧը૾)
©2019 Wantedly, Inc. ϢʔβΤϯήʔδϝϯτείΞ αʔϏεʹର͢ΔѪணΛද͢είΞ ɾϢʔβɺΞΠςϜ͝ͱʹɺϢʔβΤϯήʔδϝϯτΛͲͷ͘Β͍ߴΊΒΕΔ͔දͨ͠είΞ Ϣʔβମݧͷ࣭Λఆٛ͢Δࢦඪ ɾΑ͘ΫϦοΫ͞ΕΔɺΑ͘Ԡื͞ΕΔɺͬͯ͘͘ΕΔɺසൟʹͬͯ͘ΕΔͳͲ λʔήοτΤϯήʔδϝϯτʹ૬͕ؔ͋Δ ɾΫϦοΫ͞ΕΔ͜ͱʹΑͬͯɺΤϯήʔδϝϯτ͕ඞͣ͠ߴ͘ͳΔΘ͚Ͱͳ͍
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯͷ࣮ -JHIU(#. // Ϣʔβͷಛ ΞΠςϜͷಛ ΫΤϦͷಛ Έ߹Θͤͨಛ
Ϣʔβ Τϯήʔδϝϯτ είΞ (SBQI 1SPDFTTJOH /-1 Ϣʔβͷߦಈσʔλ Ϣʔβͷଐੑ ΞΠςϜͷଐੑ ݕࡧΫΤϦ Interaction data Text Integer, Boolean Feature Data Target
©2019 Wantedly, Inc. Ϩίϝϯσʔγϣϯʹ͓͚Δλʔήοτ λʔήοτͱͳʹ͔ ɾϥϯΩϯά͕Ϣʔβʔʹͱͬͯྑ͔͔ͬͨѱ͔͔ͬͨΛஅ͢ΔͨΊͷࣈ λʔήοτͷઃఆͷ͠͞ ɾΫϦοΫͯ͠ίϯςϯπΛݟͯͳ͍͔͠Εͳ͍ ɾϒοΫϚʔΫԠืͩͱใु͕ͳׂ͍߹͕૿͑Δ ɾͨ͘͞Μݟ͗͢Δͱ͍͏͜ͱɺٯʹѱ͍ମݧ͔͠Εͳ͍
ɾPCͱΞϓϦͰϢʔβͷಈ͖ҟͳΔ VisitͰɺϢʔβΤϯήʔδϝϯτʹ૬͕ؔ͋ΔࣈΛλʔήοτͱͯ͠ઃఆ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͱɺstickiness͕ߴ͍͜ͱ /FX 6TFS "DUJWF6TFS %PSNBOU6TFS Acquisition Activation
Disengagement Disengagement Re-engagement Churn stickiness ͍͔ʹActiveͰ͋Γଓ͚Δ͔ ๚සɺར༻࣌ؒͰஅ
©2019 Wantedly, Inc. ΤϯήʔδϝϯτΛܾΊΔํ๏ ΠϯλϏϡʔ αʔϕΠ ΧελϚʔδϟʔχʔ FUD ΦϯϥΠϯ ੳ
ɾఆྔత ɾεέʔϧͯ͠ࢼͤΔ ɾϢʔβͷແҙࣝͷಈ͖ ɾ٬؍త ɾظత,ظత ɾఆੑ ɾ෦తʹߦ͏ ɾ࣮ݧதͷಈ͖ ɾओ؍త,٬؍త ɾظత
©2019 Wantedly, Inc. ΦϯϥΠϯͷੳͰߦ͏͜ͱ .FBTVSFNFOU .FUSJD ,1* αʔϏεͷதͰखʹೖΔ ఆྔతͳ ɾӾཡ
ɾӾཡ ɾΫϦοΫ Measurement͔Βܭࢉɾੳ ͍͢͠ܗʹܗͨ͠ࣈ ɾΫϦοΫ ɾΞΫςΟϒϢʔβ ɾMRR/AUC/Precision/NDCG Business/Service্ͷඪʹରͯ͠ ॏཁͳӨڹΛ༩͑Δࢦඪ ɾϢʔβΤϯήʔδϝϯτείΞ ɾاۀͷܧଓɾARPU ɾ৽نϢʔβͷϦςϯγϣϯ Measurement͔ΒMetricͱKPIΛܭࢉ͢Δ͜ͱ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉྫ .FBTVSFNFOU .FUSJD ,1* ɾ͋ΔΞΠςϜͷӾཡ࣌ؒ ɾ͋ΔΞΠςϜΛදࣔͨ͠ॱ൪ ɾ͋ΔΞΠςϜͷΫϦοΫͨ࣌ؒ͠
ɾ͋ΔΞΠςϜͷΞΫγϣϯ (ϒοΫϚʔΫɺԠื) ɾηογϣϯͷ࣌ؒ ɾηογϣϯதͷӾཡͱԠื ɾ࠶๚ͨ࣌ؒ͠ ɾΫϦοΫ/ϒοΫϚʔΫ ɾԠื/࠾༻ ɾMRR/AUC/nDCG (্Ґʹදࣔͨ͠ͷ͕ ΞΫγϣϯ͞Ε͔ͨ) ɾܧଓ ɾར༻࣌ؒ ɾΞΠςϜΧόϨοδ (ಛఆͷاۀʹूதͯ͠ͳ͍͔) ɾϢʔβΤϯήʔδϝϯτείΞ ෳͷࢦඪΛΈ߹ΘͤΔ ֶशʹ͏Ϣʔβͷݶఆ ߦͬͨ
©2019 Wantedly, Inc. Τϯήʔδϝϯτͷܭࢉ 5VOJOH &WBMVBUF 0OMJOF 5FTU Tuning ->
Online Test -> EvaluateͷαΠΫϧΛΞϧΰϦζ Ϝ͚ͩͰͳ͘ɺϢʔβΤϯήʔδϝϯτείΞʹ͍ͭͯߦ ͏ ɾείΞࣗମͷΈ߹Θͤํແݶɻৗʹਖ਼͍͠ղͳ͍ ɾΑΓΑ͍ࣈৗʹ͋Γɺඞͣ͠ෳࡶʹ͢ΕΑ͍Θ ͚Ͱͳ͍ɻ(ΫϦοΫ࣌ؒ => ฏۉ, ۠ؒ, ࿈ଓ) ɾαʔϏεͷϑΣΠζʹΑͬͯ࠷దԽ͢ΔͷมΘΔ ɾΦϑϥΠϯͷςετͱΦϯϥΠϯͷςετ͕ಉ݁͡Ռ ͔ɺಛʹҟͳͬͨ࣌ʹཧ༝ΛௐΔ
©2019 Wantedly, Inc. • DNNͷར༻ • ਪનཧ༝ͷઆ໌ • όϯσΟοτ •
ϑΣΞωε • ਪનʹదͨ͠UI ͜Ε͔Β͍ͨ͜͠ͱ
©2019 Wantedly, Inc. ؔ࿈ͨ͠ϒϩάॻ͍ͯ·͢ https://www.wantedly.com/companies/wantedly/post_articles/155593 https://www.wantedly.com/companies/wantedly/post_articles/169261
©2019 Wantedly, Inc. Mobile FrontendʗBackend Infrastructure New! We are hiring!!
https://www.wantedly.com/companies/wantedly