その推薦システムの評価指標、ユーザーの感覚とズレてるかも

IR Reading 2025秋での発表資料です。
https://sigirtokyo.github.io/post/2025-11-15-irreading_2025fall/

紹介論文は以下です。
How Do Users Perceive Recommender Systems’ Objectives? (RecSys'25)
https://doi.org/10.1145/3705328.3748066

発表者によるRecSys 2025参加レポートは以下です。
https://techblog.lycorp.co.jp/ja/20251106a

Transcript

1. *3
   3FBEJOH
   ळ ೥݄೔ ͦͷਪનγεςϜͷධՁࢦඪɺ Ϣʔβʔͷײ֮ͱζϨͯΔ͔΋ )PX
   %P
   6TFST
   1FSDFJWF
   3FDPNNFOEFS
   4ZTUFNT`
   0CKFDUJWFT
   3FD4ZT  ܀ຊ ਅଠ࿠ʢ!LVSJJWFʣ ˞
   அΓͷͳ͍ݶΓɺਤද͸঺հ࿦จ͔ΒͷҾ༻Ͱ͢
2. 2/15 ʮϢʔβʔͷ޷Ή΋ͷΛग़͍ͨ͠ʯʮ৭ʑͳ΋ͷΛग़͍ͨ͠ʯ͸ ؔ࿈ੑ΍ଟ༷ੑͳͲͷܭଌՄೳͳఆྔࢦඪʹམͱ͠ࠐΈɺ ͦͷࢦඪΛվળ͢Δ͜ͱͰ۩ݱԽ͞ΕΔ ˢ͸ʮந৅తͳ໨ඪΛܭଌՄೳͳࢦඪʹམͱ͠ࠐΊ͹ɺ Ϣʔβʔͷײ֮Λ൓өͰ͖Δʯͱ͍͏લఏʹཱ͍ͬͯΔ ˠʜຊ౰ʹʁ ਪનγεςϜͷઃܭͷେલఏͬͯਖ਼͍͠Μ͚ͩͬʁ
3. 3/15  ֓೦తϛεϚον͸ͲΕ΄Ͳ͔ʁ l Ϣʔβʔ͸ɺ։ൃऀ͕ҙਤ͢Δʮଟ༷ੑʯ΍ʮ৽نੑʯͱ͍ͬͨݴ༿ͷ֓೦Λɺ ͦ΋ͦ΋ҟͳͬͯཧղ͍ͯ͠ΔͷͰ͸ͳ͍͔ʁ  ӡ༻ԽϛεϚον͸ͲΕ΄Ͳ͔ʁ l γεςϜ͕࢖͏ࢦඪʢܭࢉࣜʣ͸Ϣʔβʔͷײ֮ͱͲͷఔ౓Ұக͍ͯ͠Δ͔ʁ  ֓೦తϛεϚον͸ɺӡ༻ԽϛεϚονʹӨڹΛ༩͑Δ͔ʁ l 32ͷʮ֓೦ͷζϨʯ͸32ͷʮܭࢉࣜͱײ֮ͷζϨʯʹӨڹ͍ͯ͠Δ͔ʁ 32TʛࢦඪͱϢʔβʔͷײ֮ͱͷΪϟοϓ
4. 4/15 &BTZ4UVEZ<> Λ࢖͍ɺөըɾॻ੶Ͱ࣮ݧ  ࣄલ४උ l λεΫઆ໌ɺࣄલઆ໌ɺᅂ޷औಘͳͲ  ਪન l ͷਪનΞΠςϜ͔ΒͭબͿࢼߦΛճ  ࣄޙΞϯέʔτ l ˢͷؔ࿈ੑ΍ଟ༷ੑͳͲʹ͍ͭͯɺ ஈ֊ͷϦοΧʔτई౓Ͱճ౴ ˠΛΞϧΰϦζϜม͑ͯηοτ ʢޙड़ͷ.034͸ηοτޙʹॏΈௐ੔Մʣ ࣮ݧσβΠϯ <> &BTZ4UVEZ
   'SBNFXPSL
   GPS
   &BTZ
   %FQMPZNFOU
   PG
   6TFS
   4UVEJFT
   PO
   3FDPNNFOEFS
   4ZTUFNT
   3FD4ZT`
5. 5/15 l୯Ұ໨తʢ4034ʣ l &"4&3<>
   Λؔ࿈ੑͰ࠷దԽ lଟ໨తʢ.034ʣ l ؔ࿈ੑͰ࠷దԽ&"4&3<> Λϕʔεʹɺ৽نੑɺଟ༷ੑɺ୳ࡧΛ૊Έ߹Θͤͯ࠷దԽ l Ϣʔβʔ͕ௐ੔͢Δॏཁ౓ʹԠͯ͡ਪન݁Ռͷൺ཰Λม͑ΔͨΊ 3-QSPQ<> ͷ೿ੜΞϧΰϦζϜΛ࢖༻ ਪનΞϧΰϦζϜ <>
   &NCBSSBTTJOHMZ
   4IBMMPX
   "VUPFODPEFST
   GPS
   4QBSTF
   %BUB
   888` <>
   5PXBSET
   3FTVMUT-FWFM
   1SPQPSUJPOBMJUZ
   GPS
   .VMUJ0CKFDUJWF
   3FDPNNFOEFS
   4ZTUFNT
   4*(*3`
6. 6/15 lؔ࿈ੑ l ΞϧΰϦζϜ͕༧ଌͨ͠ධՁείΞͷฏۉʢ3&-ʣ l 3&-ΛϢʔβʔຖʹਖ਼نԽͨ͠είΞʢ3&-/ ʣ lଟ༷ੑ l リスト内のアイテム同士がどれだけ異なるか（ILD） 距離の計算方法は以下の3種類 ①協調フィルタリングベース（ILD CF ） ②コンテンツベース（ILD CB ） ③ジャンルベース（ILD G ） lۉҰੑ l ଟ༷ੑͷٯʢ
   r ଟ༷ੑʣ ධՁࢦඪʢʗʣ
7. 7/15 l৽نੑ l ਓؾ౓ͷٯʢ
   r ਓؾ౓ʣ lਓؾ౓ l ΞΠςϜʹ৮ΕͨϢʔβʔͷׂ߹ l୳ࡧ l ਪનϦετ͕ϢʔβʔͷཤྺͱͲΕ΄ͲҟͳΔ͔ʢҙ֎ੑʣ l׆༻ l ୳ࡧͷٯʢ
   r ୳ࡧʣ ධՁࢦඪʢʗʣ
8. 8/15 lηϨϯσΟϐςΟ l ؔ࿈ੑʢ3&-ʣʷҙ֎ੑʢ4&33&- ʣ l ਖ਼نԽࡁΈؔ࿈ੑʢ3&-/ ʣʷҙ֎ੑʢ4&33&- ʣ l ΫϦοΫ༗ແͰࢉग़ͨؔ͠࿈ੑʢ3&-'# ʣʷҙ֎ੑʢ4&3'# ʣ l ΫϦοΫ༗ແͰࢉग़ͨؔ͠࿈ੑʢ3&-'# ʣʷ૬ޓ৘ใྔͰࢉग़ͨ͠ҙ֎ੑʢ4&3QNJ ʣ l ΫϦοΫ༗ແͰࢉग़ͨؔ͠࿈ੑʢ3&-'# ʣʷίϯςϯπͰࢉग़ͨ͠ҙ֎ੑ<> ʢ4&3+$ ʣ ධՁࢦඪʢʗʣ
9. 9/15 lؔ࿈ੑɺ׆༻͸΄ͱΜͲͷϢʔβʔʢ ʣ͕ఆٛ௨Γղऍ lଟ༷ੑɺ৽نੑ͸ࢦඪͷఆٛ௨Γղऍͨ͠ਓ͸গͳ͘ɺ ˋҎ্͕୳ࡧͷఆٛͱࠞಉ l୳ࡧ͸࠷΋ղऍ͕෼͔Εɺ͕৽نੑͱɺˋ͕ଟ༷ੑͱࠞಉ ݁Ռʛ32ɿࢦඪఆٛͱ͸ҟͳΔղऍ͕ݟΒΕͨ
10. 10/15 lؔ࿈ੑɺ৽نੑɺଟ༷ੑɺ୳ࡧͷࢦඪ͸ରԠ͢Δײ֮ͱਖ਼ͷ૬ؔΛ͕ࣔ͢ɺ ͦͷ෯͸ʙͱ޿͍ ݁Ռʛ32ɿࢦඪͱײ֮͸Ұఆఔ౓੔߹͢Δ͕෯͸͋Γ
11. 11/15 lଟ༷ੑɺ୳ࡧ ˠॻ੶Ͱ͸δϟϯϧϕʔεɺөըͰ͸ڠௐϕʔε͕࠷΋ڧ͘૬ؔ ݁Ռʛ32ɿײ֮ͱ͍ۙࢦඪఆٛ͸υϝΠϯͰҟͳΔ
12. 12/15 l͋Δײ͕֮ɺͦΕΛଌΔࢦඪΑΓผͷࢦඪͱڧ͘૬ؔ͢Δέʔε΋ ྫʣॻ੶ͷ୳ࡧͷײ֮͸ɺ୳ࡧࢦඪͱಉ౳Ҏ্ʹ৽نੑ΍ଟ༷ੑࢦඪͱ૬ؔ ݁Ռʛ32ɿࢦඪ͕ຊདྷͷ໨తͱ͸ҧ͏ײ֮Λଊ͍͑ͯΔ͜ͱ΋
13. 13/15 lηϨϯσΟϐςΟͷճ౴ͱ΄ͱΜͲͷࢦඪͱͷ૬ؔ͸͘͝ऑ͍΋ͷ ݁Ռʛ32ɿηϨϯσΟϐςΟͷܭଌ͸΍͸Γ೉͍͠
14. 14/15 ࢀՃऀΛʮࢦඪఆٛͱཧղ͕Ұக͍ͯͨ͠ਓʯͱʮζϨ͍ͯͨਓʯʹ෼͚ɺ 32ͷ૬ؔΛ࠶෼ੳ lఆٛͱཧղ͕Ұக͍ͯͨ͠܈Ͱ͸ɺͦ͏Ͱͳ͍܈ʹൺ΂ ࢦඪͱਪન݁Ռͷೝࣝͷ૬͕ؔ༗ҙʹվળ͞ΕΔέʔε͕ݟΒΕͨ ݁Ռʛ32ɿࢦඪͷ֓೦Λਖ਼͘͠ཧղ͍ͯ͠ΔͱζϨ͸ݮΔ
15. 15/15 lϢʔβʔ͸ɺ։ൃऀ͕ҙਤ͢Δʮଟ༷ੑʯ΍ʮ৽نੑʯͱ͍ͬͨ ݴ༿ͷ֓೦Λɺͦ΋ͦ΋ҟͳͬͯཧղ͍ͯ͠ΔͷͰ͸ͳ͍͔ʁ ˠଟ༷ੑɺ৽نੑɺ୳ࡧʹ͓͍ͯ͸ఆٛ௨Γཧղ͞Ε͍ͯͳ͍܏޲ lγεςϜ͕࢖͏ࢦඪʢܭࢉࣜʣ͸Ϣʔβʔͷײ֮Ͳͷఔ౓Ұக͍ͯ͠Δ͔ʁ ˠ͋Δఔ౓Ұக͢Δ͕ɺυϝΠϯʹΑͬͯΑΓ૬ؔ͢Δఆٛ͸ҟͳΓɺ ·ͨຊདྷҙਤͯ͠ͳ͍ײ֮ͱΑΓ૬ؔ͢Δέʔε΋ lʮ֓೦ͷζϨʯ͸ʮܭࢉࣜͱײ֮ͷζϨʯʹӨڹ͍ͯ͠Δ͔ʁ ˠ֓೦ͷζϨ͕ͳ͍ϢʔβʔͰ͸ܭࢉࣜͱײ֮ͷζϨ͸ॖখ܏޲ ·ͱΊ