会社訪問アプリ「Wantedly Visit」における推薦システム開発事例

2022年度人工知能学会全国大会 (https://www.ai-gakkai.or.jp/jsai2022/) におけるインダストリアルセッションの発表資料です。

概要: ウォンテッドリーは「シゴトでココロオドルひとをふやす」ために、はたらくすべての人が共感を通じて人や会社と「であい」「つながり」「つながりを深める」ためのビジネスSNS 「Wantedly」 を提供している。Wantedly では年々ユーザ規模が拡大して複雑性も増しており、より良いマッチングを実現するために推薦システムを最も重要な技術領域の1つとして位置づけ、開発・運用に力を入れている。本発表では我々のプロダクトにおいてどのように推薦システムを開発し、どのような価値をユーザに提供できているかについて紹介する。

Transcript

1. ©2022 Wantedly, Inc.
   ձࣾ๚໰Ξ
   プ
   ϦʮWantedly Visitʯ

   ʹ͓͚ΔਪનγεςϜ։ൃࣄྫ
   JSAI2022 ΠϯμετϦΞϧηογϣϯ3
   14.June.2022 - ߹ాपฏʢ΢ΥϯςουϦʔגࣜձࣾʣ
   

   View Slide

2. ©2022 Wantedly, Inc.
   1. ͸͡Ίʹ
   • ձࣾͱϓϩμΫτ঺հ
   • ΞΧσϛΞʹ͓͚Δ׆ಈ
   2. ձࣾ๚໰ΞϓϦʮWantedly Visitʯʹ͓͚ΔਪનγεςϜ։ൃࣄྫ
   • ϢʔβͷڵຯΛ༻͍ͨਪન
   • ૬ޓਪનγεςϜ
   • ืूը૾Λ༻͍ͨਪન
   ໨࣍
   

   View Slide

3. ©2022 Wantedly, Inc.
   ࣗݾ঺հ
   ߹ా पฏ (Shuhei Goda)
   ✓ ΢ΥϯςουϦʔגࣜձࣾ σʔλαΠΤϯςΟετ
   ✓ Kaggle Master
   @hakubishin3
   @jy_msc
   

   View Slide

4. ©2022 Wantedly, Inc.
   ձࣾ঺հ
   "γΰτͰίίϩΦυϧͻͱΛ;΍͢"
   "CREATE A WORLD WHERE WORK DRIVES PASSION"
   

   View Slide

5. ©2022 Wantedly, Inc.
   ձࣾ๚໰ΞϓϦ Wantedly Visit
   

   View Slide

6. ©2022 Wantedly, Inc.
   ΞΧσϛΞʹ͓͚Δ׆ಈ
   

   View Slide

7. ©2022 Wantedly, Inc.
   ࠃࡍֶձ΁ͷௌߨࢀՃ / ࿦จಡΈձΠϕϯτͷاըӡӦ
   

   View Slide

8. ©2022 Wantedly, Inc.
   ֶձซઃίϯϖςΟγϣϯͰͷೖ৆ɾ࿦จ౤ߘɾൃද
   RecSys’20 WSDM’21 SIGIR’21
   

   View Slide

9. ©2022 Wantedly, Inc.
   ࠃ಺ֶձ΁ͷڠࢍ / ൃද
   https://www.ai-gakkai.or.jp/jsai2022/sponsor
   DEIM2021
   DEIM2022
   JSAI2022
   https://db-event.jpn.org/deim2021
   https://event.dbsj.org/deim2022/
   

   View Slide

10. ©2022 Wantedly, Inc.
    ձࣾ๚໰ΞϓϦʮWantedly Visitʯ

    ʹ͓͚ΔਪનγεςϜ։ൃࣄྫ
    

    View Slide

11. ©2022 Wantedly, Inc.
    ΢ΥϯςουϦʔʹ͓͚Δਪનͷॏཁੑ
    • ࣌୅ͷมԽʹ߹Θͤͯ࠷దͳϚονϯάΛఏڙ͠ଓ͚Δ
    ➡ ϓϥοτϑΥʔϜΛར༻͢ΔϢʔβن໛ɺاۀن໛ͷ֦େ
    ➡ ೔ʑมԽ͠ଓ͚ΔϫʔΫΧϧνϟʔʢϦϞʔτϫʔΫɺ෭ۀχʔζͷ૿Ճ ͳͲʣ
    ొ࿥Ϣʔβ਺ ొ࿥اۀ਺
    

    View Slide

12. ©2022 Wantedly, Inc.
    ϢʔβͷڵຯΛ༻͍ͨਪન
    ڵຯબ୒ը໘
    • Ϣʔβ͕બ୒ͨ͠ʮڵຯʯʹج͍ͮͯϢʔβʹ࠷దͳืूΛਪન͢ΔػೳΛ

    ϦϦʔε
    ➡ ʮ৬छʯͳͲैདྷͷϑΟϧλϦϯάػೳ͚ͩͰ͸

    ग़ձ͑ͳ͔ͬͨืूͱग़ձ͑ΔΑ͏ʹ
    ➡ A/BςετͰطଘͷ࢓૊ΈΑΓ΋֤छKPI͕༗ҙʹվળ

    ͍ͯ͠ΔͷΛ֬ೝɺݱࡏ΋ӡ༻Λଓ͚͍ͯΔ
    

    View Slide

13. ©2022 Wantedly, Inc.
    എܠ
    • ͜Ε·ͰϢʔβ͸ʮ৬छʯΧςΰϦͰืूΛ୳͍͕ͯͨ͠ɺ৬छΛબ΂ͳ͍
    ਓɺ৬छҎ֎ͷ࣠ͰγΰτΛ୳͍ͨ͠ਓ͸ଟ͍
    ➡ γΰτ୳͠ͷ࣠ͷཁૉͰ͋ΔʮڵຯʯΛෳ਺બͿ͜ͱͰؾʹͳΔืूͱग़ձ͑ΔମݧΛ࣮ݱ
    γΰτ୳͠ͷ࣠ͱͦͷཁૉͱͳΔʮڵຯʯͷҰྫ
    

    View Slide

14. ©2022 Wantedly, Inc.
    ڵຯબ୒ը໘ͷ࡞੒
    • ڵຯબ୒ը໘Ͱग़͢ڵຯͷબఆ
    ➡ ᶃڵຯͷநग़: Ͳ͏͍͏ݴ༿ΛϢʔβʹબ
    ΜͰ΋Β͏͔ΛܾΊΔ
    ➡ ᶄڵຯͷΫϥελϦϯά: Ϣʔβ͕બΜͩ
    ڵຯͷपΓʹͲ͏͍͏ڵຯΛग़ݱͤ͞Δ
    ͔ΛܾΊΔ
    اۀͷืूͷৄࡉςΩετ
    ᶃڵຯͷநग़
    ʮMLOpsʯ
    ʮ౷ܭతݕఆʯ
    ʮΠϯλʔϯʯ
    ʮඒ༰ʯ
    ʮDeep Learningʯ
    ʮVRσβΠϯʯ ʮσʔλαΠΤϯςΟετʯ
    …
    ᶄڵຯͷΫϥελϦϯά
    Ϋϥελͷ࡞੒ͱ୅ද఺ͷܾఆΛ࠶ؼతʹߦ͍ɺ

    ֊૚ߏ଄Λߏங
    ※Χοί಺ͷ਺ࣈ͸Document Frequencyʹ૬౰͢Δ΋ͷ
    

    View Slide

15. ©2022 Wantedly, Inc.
    ϢʔβͷڵຯΛ༻͍ͨਪનͷ࡞੒
    • Ϣʔβͷબ୒ͨ͠ڵຯΛ༻͍ͨਪનγεςϜ
    ➡ ༧Ίڵຯ͝ͱʹϥϯΩϯάΛੜ੒͓͖ͯ͠ɺϦΫΤετ࣌ʹϢʔβͷબ୒ͨ͠ڵຯʹ֘౰͢
    ΔϥϯΩϯάΛऔಘ͠ɺϥϯΩϯάείΞΛՙॏฏۉ͢Δ
    

    View Slide

16. ©2022 Wantedly, Inc.
    ૬ޓਪનγεςϜ
    • ձࣾ๚໰Ξ
    プ
    ϦʮWantedly Visitʯͷ
    デ
    ʔλ
    で
    ݟΔ૬ޓਪનγεςϜ
    ʢDEIM2021 / DEIM2022 Ͱൃදʣ
    

    View Slide

17. ©2022 Wantedly, Inc.
    ૬ޓਪનγεςϜͷ֓ཁ
    • αʔϏε಺ͷϢʔβΛޓ͍ʹਪન͢ΔγεςϜ
    User Item
    ैདྷͷҰൠతͳਪનγεςϜ ૬ޓਪનγεςϜ
    User(Female)
    User(Male)
    User(Job Seeker) User(Recruiter/Company)
    ex. Amazon, Netflix
    ex. Tinder, Pairs
    ex. Wantedly, LinkedIn
    ਪન
    ਪન
    ਪન
    

    View Slide

18. ©2022 Wantedly, Inc.
    ૬ޓਪનγεςϜʹ͓͚Δ੒ޭମݧ
    • ޓ͍ͷᅂ޷͕Ұகͯ͠ॳΊͯਪન͕”੒ޭ”ͨ͜͠ͱʹͳΔ
    User Item
    ैདྷͷҰൠతͳਪનγεςϜ
    ૬ޓਪનγεςϜ
    User
    User
    ߪೖ
    ⭕
    ⭕
    Like
    Nope
    Like
    Like
    

    View Slide

19. ©2022 Wantedly, Inc.
    Ϟνϕʔγϣϯ
    • δϣϒϚονϯάαʔϏεʹ͓͚Δݚڀ΍ಋೖࣄྫ͸ଟ͘ͳ͍
    ➡ طଘख๏ʹ͓͚ΔධՁ࣮ݧ͸σʔςΟϯάαʔϏεͷσʔλΛ༻͍ͯߦΘΕΔ͜ͱ͕ଟ͍
    ➡ δϣϒϚονϯάαʔϏεͷ࿮૊ΈͰ͋ΔWantedly Visit ͷ࣮σʔλΛ࢖࣮ͬͨݧʹҰఆͷ
    Ձ஋͕͋Δͱߟ͑Δ
    

    View Slide

20. ©2022 Wantedly, Inc.
    ࣮ݧ݁Ռ
    • ձࣾ๚໰ΞϓϦ Wantedly Visit ͷ࣮σʔλΛར༻ͨ͠ݕূ࣮ݧ
    ➡ Wantedly Visit ʹ͓͚ΔݸਓϢʔβͱاۀϢʔβͷϚονϯάͷ੒ޭ༗ແΛ༧ଌ͢ΔλεΫ
    ➡ γεςϜ಺ͷ༷ʑͳϢʔβͷੑ࣭Λߟྀͨ͠վળख๏ʹΑΓੑೳͷ޲্Λ֬ೝ
    AUC
    طଘख๏ᶃʢRCFʣ 0.623
    طଘख๏ᶃʢLFRRʣ 0.566
    طଘख๏ᶄʢLFRR + Scaler + Negʣ 0.713
    طଘख๏ᶄ + Bias 0.780
    طଘख๏ᶄ + Bias + LR(preds) 0.772
    طଘख๏ᶄ + Bias + LR(preds + one-hot) 0.803
    طଘख๏ᶄ + Bias + LR(preds + one-hot + interaction) 0.817
    طଘख๏ͱఏҊख๏ͷൺֱ݁Ռ
    

    View Slide

21. ©2022 Wantedly, Inc.
    ืूը૾Λ༻͍ͨਪન
    • ձࣾ๚໰ΞϓϦʮWantedly Visitʯʹ͓͚Δืूը૾͕Ϣʔβʔʹ༩͑ΔӨڹ
    ʢDEIM2022 Ͱൃදʣ
    

    View Slide

22. ©2022 Wantedly, Inc.
    എܠ
    • ืूʹఴ෇͢Δը૾΁ͷͩ͜ΘΓ
    ➡ ձࣾͷϛογϣϯ΍ͦ͜Ͱಇ͘ਓͷ૝͍ͳͲɺݴޠԽ͕೉͍͠৘ใ͕൓ө͞Ε͍ͯΔ
    ➡ Ϣʔβʔ͕ࣗ෼ʹ߹ͬͨڞײͰ͖ΔձࣾΛ୳͢ͷʹ༗༻ͩͱߟ͍͑ͯΔ
    ը૾͕໨ཱͭUIͷఏڙʢࠨ:τοϓϖʔδɺӈ:ৄࡉϖʔδʣ ίϯςϯπɾΫΦϦςΟɾΨΠυϥΠϯ
    

    View Slide

23. ©2022 Wantedly, Inc.
    ࣮ݧ಺༰
    • Ϣʔβʔ͕ࣗ਎ʹ߹ͬͨืूΛ୳࣌͢ʹը૾͕ϢʔβͷߦಈʹͲ͏Өڹ͍ͯ͠
    Δ͔Λ஌ΔͨΊʹɺը૾Λ࢖ͬͯϢʔβͷߦಈΛ༧ଌ͢Δ͜ͱͰఆྔతʹධՁ
    ➡ ༧ଌର৅͸̎छྨɺʮτοϓϖʔδͰͷΫϦοΫߦಈʯͱʮৄࡉϖʔδͰͷԠืߦಈʯ
    Ϣʔβ͕ืू΁Ԡื͢Δ·Ͱͷεςοϓ
    τοϓϖʔδ ৄࡉϖʔδ
    ΫϦοΫߦಈ
    Ԡืߦಈ
    Company
    

    View Slide

24. ©2022 Wantedly, Inc.
    ࣮ݧ݁Ռ
    τοϓϖʔδͰͷΫϦοΫߦಈͷ༧ଌ݁Ռ ৄࡉϖʔδͰͷԠืߦಈͷ༧ଌ݁Ռ
    • ืूը૾Λ࢖ͬͯϢʔβͷԠืʹࢸΔ·ͰͷߦಈΛ༧ଌͰ͖͍ͯΔ
    ➡ ΫϦοΫߦಈ͸༧ଌͰ͖͍ͯΔҰํͰɺԠืߦಈ͸༧ଌͰ͖ͳ͍
    ➡ ืूͷৄࡉ಺༰Λ͔ͬ͠ΓಡΜͰ͔ΒԠื͢Δ͔൱͔Λҙࢥܾఆ͍ͯ͠Δ
    

    View Slide

25. ©2022 Wantedly, Inc.
    ࠷ޙʹ
    • ΢ΥϯςουϦʔʹ͓͍ͯਪનγεςϜͷॏཁੑ͸ߴ͍
    • αʔϏεΛར༻͢ΔϢʔβͷཧ૝తͳϚονϯάΛ࣮ݱ͢ΔͨΊʹɺٕज़తʹ
    ໘നͯ͘ϋΠϦλʔϯͷՄೳੑ͕͋ΔνϟϨϯδϯάͳࢪࡦ΋औΓ૊ΜͰ͍Δ
    

    View Slide