会社訪問アプリ「Wantedly Visit」における推薦システム開発事例

2022年度人工知能学会全国大会 (https://www.ai-gakkai.or.jp/jsai2022/) におけるインダストリアルセッションの発表資料です。

概要: ウォンテッドリーは「シゴトでココロオドルひとをふやす」ために、はたらくすべての人が共感を通じて人や会社と「であい」「つながり」「つながりを深める」ためのビジネスSNS 「Wantedly」 を提供している。Wantedly では年々ユーザ規模が拡大して複雑性も増しており、より良いマッチングを実現するために推薦システムを最も重要な技術領域の1つとして位置づけ、開発・運用に力を入れている。本発表では我々のプロダクトにおいてどのように推薦システムを開発し、どのような価値をユーザに提供できているかについて紹介する。

Transcript

1. ©2022 Wantedly, Inc. ձࣾ๚໰Ξ プ ϦʮWantedly Visitʯ
 ʹ͓͚ΔਪનγεςϜ։ൃࣄྫ JSAI2022 ΠϯμετϦΞϧηογϣϯ3 14.June.2022 - ߹ాपฏʢ΢ΥϯςουϦʔגࣜձࣾʣ
2. ©2022 Wantedly, Inc. 1. ͸͡Ίʹ • ձࣾͱϓϩμΫτ঺հ • ΞΧσϛΞʹ͓͚Δ׆ಈ 2. ձࣾ๚໰ΞϓϦʮWantedly Visitʯʹ͓͚ΔਪનγεςϜ։ൃࣄྫ • ϢʔβͷڵຯΛ༻͍ͨਪન • ૬ޓਪનγεςϜ • ืूը૾Λ༻͍ͨਪન ໨࣍
3. ©2022 Wantedly, Inc. ࣗݾ঺հ ߹ా पฏ (Shuhei Goda) ✓ ΢ΥϯςουϦʔגࣜձࣾ σʔλαΠΤϯςΟετ ✓ Kaggle Master @hakubishin3 @jy_msc
4. ©2022 Wantedly, Inc. ձࣾ঺հ "γΰτͰίίϩΦυϧͻͱΛ;΍͢" "CREATE A WORLD WHERE WORK DRIVES PASSION"
5. ©2022 Wantedly, Inc. ձࣾ๚໰ΞϓϦ Wantedly Visit
6. ©2022 Wantedly, Inc. ΞΧσϛΞʹ͓͚Δ׆ಈ
7. ©2022 Wantedly, Inc. ࠃࡍֶձ΁ͷௌߨࢀՃ / ࿦จಡΈձΠϕϯτͷاըӡӦ
8. ©2022 Wantedly, Inc. ֶձซઃίϯϖςΟγϣϯͰͷೖ৆ɾ࿦จ౤ߘɾൃද RecSys’20 WSDM’21 SIGIR’21
9. ©2022 Wantedly, Inc. ࠃ಺ֶձ΁ͷڠࢍ / ൃද https://www.ai-gakkai.or.jp/jsai2022/sponsor DEIM2021 DEIM2022 JSAI2022 https://db-event.jpn.org/deim2021 https://event.dbsj.org/deim2022/
10. ©2022 Wantedly, Inc. ձࣾ๚໰ΞϓϦʮWantedly Visitʯ
 ʹ͓͚ΔਪનγεςϜ։ൃࣄྫ
11. ©2022 Wantedly, Inc. ΢ΥϯςουϦʔʹ͓͚Δਪનͷॏཁੑ • ࣌୅ͷมԽʹ߹Θͤͯ࠷దͳϚονϯάΛఏڙ͠ଓ͚Δ ➡ ϓϥοτϑΥʔϜΛར༻͢ΔϢʔβن໛ɺاۀن໛ͷ֦େ ➡ ೔ʑมԽ͠ଓ͚ΔϫʔΫΧϧνϟʔʢϦϞʔτϫʔΫɺ෭ۀχʔζͷ૿Ճ ͳͲʣ ొ࿥Ϣʔβ਺ ొ࿥اۀ਺
12. ©2022 Wantedly, Inc. ϢʔβͷڵຯΛ༻͍ͨਪન ڵຯબ୒ը໘ • Ϣʔβ͕બ୒ͨ͠ʮڵຯʯʹج͍ͮͯϢʔβʹ࠷దͳืूΛਪન͢ΔػೳΛ
 ϦϦʔε ➡ ʮ৬छʯͳͲैདྷͷϑΟϧλϦϯάػೳ͚ͩͰ͸
 ग़ձ͑ͳ͔ͬͨืूͱग़ձ͑ΔΑ͏ʹ ➡ A/BςετͰطଘͷ࢓૊ΈΑΓ΋֤छKPI͕༗ҙʹվળ
 ͍ͯ͠ΔͷΛ֬ೝɺݱࡏ΋ӡ༻Λଓ͚͍ͯΔ
13. ©2022 Wantedly, Inc. എܠ • ͜Ε·ͰϢʔβ͸ʮ৬छʯΧςΰϦͰืूΛ୳͍͕ͯͨ͠ɺ৬छΛબ΂ͳ͍ ਓɺ৬छҎ֎ͷ࣠ͰγΰτΛ୳͍ͨ͠ਓ͸ଟ͍ ➡ γΰτ୳͠ͷ࣠ͷཁૉͰ͋ΔʮڵຯʯΛෳ਺બͿ͜ͱͰؾʹͳΔืूͱग़ձ͑ΔମݧΛ࣮ݱ γΰτ୳͠ͷ࣠ͱͦͷཁૉͱͳΔʮڵຯʯͷҰྫ
14. ©2022 Wantedly, Inc. ڵຯબ୒ը໘ͷ࡞੒ • ڵຯબ୒ը໘Ͱग़͢ڵຯͷબఆ ➡ ᶃڵຯͷநग़: Ͳ͏͍͏ݴ༿ΛϢʔβʹબ ΜͰ΋Β͏͔ΛܾΊΔ ➡ ᶄڵຯͷΫϥελϦϯά: Ϣʔβ͕બΜͩ ڵຯͷपΓʹͲ͏͍͏ڵຯΛग़ݱͤ͞Δ ͔ΛܾΊΔ اۀͷืूͷৄࡉςΩετ ᶃڵຯͷநग़ ʮMLOpsʯ ʮ౷ܭతݕఆʯ ʮΠϯλʔϯʯ ʮඒ༰ʯ ʮDeep Learningʯ ʮVRσβΠϯʯ ʮσʔλαΠΤϯςΟετʯ … ᶄڵຯͷΫϥελϦϯά Ϋϥελͷ࡞੒ͱ୅ද఺ͷܾఆΛ࠶ؼతʹߦ͍ɺ
 ֊૚ߏ଄Λߏங ※Χοί಺ͷ਺ࣈ͸Document Frequencyʹ૬౰͢Δ΋ͷ
15. ©2022 Wantedly, Inc. ϢʔβͷڵຯΛ༻͍ͨਪનͷ࡞੒ • Ϣʔβͷબ୒ͨ͠ڵຯΛ༻͍ͨਪનγεςϜ ➡ ༧Ίڵຯ͝ͱʹϥϯΩϯάΛੜ੒͓͖ͯ͠ɺϦΫΤετ࣌ʹϢʔβͷબ୒ͨ͠ڵຯʹ֘౰͢ ΔϥϯΩϯάΛऔಘ͠ɺϥϯΩϯάείΞΛՙॏฏۉ͢Δ
16. ©2022 Wantedly, Inc. ૬ޓਪનγεςϜ • ձࣾ๚໰Ξ プ ϦʮWantedly Visitʯͷ デ ʔλ で ݟΔ૬ޓਪનγεςϜ ʢDEIM2021 / DEIM2022 Ͱൃදʣ
17. ©2022 Wantedly, Inc. ૬ޓਪનγεςϜͷ֓ཁ • αʔϏε಺ͷϢʔβΛޓ͍ʹਪન͢ΔγεςϜ User Item ैདྷͷҰൠతͳਪનγεςϜ ૬ޓਪનγεςϜ User(Female) User(Male) User(Job Seeker) User(Recruiter/Company) ex. Amazon, Netflix ex. Tinder, Pairs ex. Wantedly, LinkedIn ਪન ਪન ਪન
18. ©2022 Wantedly, Inc. ૬ޓਪનγεςϜʹ͓͚Δ੒ޭମݧ • ޓ͍ͷᅂ޷͕Ұகͯ͠ॳΊͯਪન͕”੒ޭ”ͨ͜͠ͱʹͳΔ User Item ैདྷͷҰൠతͳਪનγεςϜ ૬ޓਪનγεςϜ User User ߪೖ ⭕ ⭕ Like Nope Like Like
19. ©2022 Wantedly, Inc. Ϟνϕʔγϣϯ • δϣϒϚονϯάαʔϏεʹ͓͚Δݚڀ΍ಋೖࣄྫ͸ଟ͘ͳ͍ ➡ طଘख๏ʹ͓͚ΔධՁ࣮ݧ͸σʔςΟϯάαʔϏεͷσʔλΛ༻͍ͯߦΘΕΔ͜ͱ͕ଟ͍ ➡ δϣϒϚονϯάαʔϏεͷ࿮૊ΈͰ͋ΔWantedly Visit ͷ࣮σʔλΛ࢖࣮ͬͨݧʹҰఆͷ Ձ஋͕͋Δͱߟ͑Δ
20. ©2022 Wantedly, Inc. ࣮ݧ݁Ռ • ձࣾ๚໰ΞϓϦ Wantedly Visit ͷ࣮σʔλΛར༻ͨ͠ݕূ࣮ݧ ➡ Wantedly Visit ʹ͓͚ΔݸਓϢʔβͱاۀϢʔβͷϚονϯάͷ੒ޭ༗ແΛ༧ଌ͢ΔλεΫ ➡ γεςϜ಺ͷ༷ʑͳϢʔβͷੑ࣭Λߟྀͨ͠վળख๏ʹΑΓੑೳͷ޲্Λ֬ೝ AUC طଘख๏ᶃʢRCFʣ 0.623 طଘख๏ᶃʢLFRRʣ 0.566 طଘख๏ᶄʢLFRR + Scaler + Negʣ 0.713 طଘख๏ᶄ + Bias 0.780 طଘख๏ᶄ + Bias + LR(preds) 0.772 طଘख๏ᶄ + Bias + LR(preds + one-hot) 0.803 طଘख๏ᶄ + Bias + LR(preds + one-hot + interaction) 0.817 طଘख๏ͱఏҊख๏ͷൺֱ݁Ռ
21. ©2022 Wantedly, Inc. ืूը૾Λ༻͍ͨਪન • ձࣾ๚໰ΞϓϦʮWantedly Visitʯʹ͓͚Δืूը૾͕Ϣʔβʔʹ༩͑ΔӨڹ ʢDEIM2022 Ͱൃදʣ
22. ©2022 Wantedly, Inc. എܠ • ืूʹఴ෇͢Δը૾΁ͷͩ͜ΘΓ ➡ ձࣾͷϛογϣϯ΍ͦ͜Ͱಇ͘ਓͷ૝͍ͳͲɺݴޠԽ͕೉͍͠৘ใ͕൓ө͞Ε͍ͯΔ ➡ Ϣʔβʔ͕ࣗ෼ʹ߹ͬͨڞײͰ͖ΔձࣾΛ୳͢ͷʹ༗༻ͩͱߟ͍͑ͯΔ ը૾͕໨ཱͭUIͷఏڙʢࠨ:τοϓϖʔδɺӈ:ৄࡉϖʔδʣ ίϯςϯπɾΫΦϦςΟɾΨΠυϥΠϯ
23. ©2022 Wantedly, Inc. ࣮ݧ಺༰ • Ϣʔβʔ͕ࣗ਎ʹ߹ͬͨืूΛ୳࣌͢ʹը૾͕ϢʔβͷߦಈʹͲ͏Өڹ͍ͯ͠ Δ͔Λ஌ΔͨΊʹɺը૾Λ࢖ͬͯϢʔβͷߦಈΛ༧ଌ͢Δ͜ͱͰఆྔతʹධՁ ➡ ༧ଌର৅͸̎छྨɺʮτοϓϖʔδͰͷΫϦοΫߦಈʯͱʮৄࡉϖʔδͰͷԠืߦಈʯ Ϣʔβ͕ืू΁Ԡื͢Δ·Ͱͷεςοϓ τοϓϖʔδ ৄࡉϖʔδ ΫϦοΫߦಈ Ԡืߦಈ Company
24. ©2022 Wantedly, Inc. ࣮ݧ݁Ռ τοϓϖʔδͰͷΫϦοΫߦಈͷ༧ଌ݁Ռ ৄࡉϖʔδͰͷԠืߦಈͷ༧ଌ݁Ռ • ืूը૾Λ࢖ͬͯϢʔβͷԠืʹࢸΔ·ͰͷߦಈΛ༧ଌͰ͖͍ͯΔ ➡ ΫϦοΫߦಈ͸༧ଌͰ͖͍ͯΔҰํͰɺԠืߦಈ͸༧ଌͰ͖ͳ͍ ➡ ืूͷৄࡉ಺༰Λ͔ͬ͠ΓಡΜͰ͔ΒԠื͢Δ͔൱͔Λҙࢥܾఆ͍ͯ͠Δ
25. ©2022 Wantedly, Inc. ࠷ޙʹ • ΢ΥϯςουϦʔʹ͓͍ͯਪનγεςϜͷॏཁੑ͸ߴ͍ • αʔϏεΛར༻͢ΔϢʔβͷཧ૝తͳϚονϯάΛ࣮ݱ͢ΔͨΊʹɺٕज़తʹ ໘നͯ͘ϋΠϦλʔϯͷՄೳੑ͕͋ΔνϟϨϯδϯάͳࢪࡦ΋औΓ૊ΜͰ͍Δ