ウェブ・ソーシャルメディア論文読み会 2024年10月24日 文化が形作る音楽推薦の消費と、その逆 LINEヤフー株式会社 栗本 真太郎（@kuri8ive） ※ 断りのない限り、図表は紹介論文からの引用

文化が形作る音楽推薦の消費 Socially-Motivated Music Recommendation (ICWSM'24)

3/30 個人的な楽しみのため…だけじゃなく社会的な理由からも聴く ⚫集団への所属を示す ⚫友人との繋がりを感じる ⚫社会環境※について学ぶ こういった社会的機能は、コンサートへの参加、家族と音楽を聴くといった 共有音楽体験の文脈でよく研究されている 背景｜人はなぜ音楽を聴くのか？ ※ 社会環境：社会学用語の一つ。これは人間が行っている生産や消費などの生活に、直接的あるいは間接的に影響を与えるような社会的な諸条件の総体のこと。 組織、制度、階級、構造、慣習などが該当。 https://ja.wikipedia.org/wiki/%E7%A4%BE%E4%BC%9A%E7%92%B0%E5%A2%83

4/30 ただしライブ等でなく一人で聴いても、社会的な利益を得られる (Hargreaves and North 1999, Groarke and Hogan 2016) ⚫「音楽は私を孤独にしない」 ⚫思い出を呼び起こす ⚫共有体験 この研究では以下を探る ⚫個人の音楽鑑賞が社会的体験にどう貢献するか？ ⚫↑の支援のために推薦システムはどう役立つか？ 背景｜"社会的代替"としての個人の音楽視聴 Hargreaves, D. J.; and North, A. C. The functions of music in everyday life: Redefining the social in music psychology. Psychology of Music'99 Groarke, J. M.; and Hogan, M. J. Enhancing wellbeing: An emerging model of the adaptive functions of music listening. Psychology of Music'16

5/30 たとえば協調フィルタリングは、好みが似た人たちの好きなものは好きであろうとして推薦 しかしこれは、非常に個人主義的な2つの仮定を置いている： ⚫推薦を受ける人は、好みが似た人たちがどんな人かを気にする必要がない ⚫好みが似た人たちがいつその音楽を楽しんだか、特に今楽しんでるかは関係ない → 本当…？ 背景｜推薦システムの個人主義的な仮定

6/30 （自分の好みかによらず）コミュニティでトレンドの音楽を聴くことってあるよね ⚫推薦を受ける人は、好みが似た人たちがどんな人かを気にする ⚫好みが似た人たちがいつその音楽を楽しんだか、特に今楽しんでるかは関係ある かつ、特に集団主義的な社会では重要だよね 背景｜音楽の社会的機能を支える推薦ではそんなことないよね

7/30 1. 社会的ニーズを満たす音楽はどう推薦できるか？ 2. そういった推薦の成功可否はどう評価できるか？ 3. その効果は文化によってどう異なるか？ RQs

8/30 ⚫2022年2〜3月のSpotifyの音楽視聴データ ⚫20カ国から5,000人ずつ、合計10万人分（1年以上使っているユーザーのみ） ⚫ 集計期間中に、1曲以上新曲を聴いたユーザーのみ含める（この条件により↑の30%は除外） ⚫ 新曲条件のために、Spotifyの平均的なユーザー像とは少し異なる （少し若い、より利用が活発、視聴ジャンルの分布が違う、など） 実験設定｜データ

9/30 ⚫人口統計データ ⚫ 年齢や性別 ⚫ アカウントを作成した国 ⚫ Spotify利用期間 ⚫視聴データ ⚫ 最も多く音楽を聴いた言語 ⚫ 視聴デバイス ⚫ 好みのジャンル 各コミュニティのユーザーの10%を評価用として区別 残り90％のデータで後述の手順により曲をランク付け 実験手順（1/3）｜ヒューリスティックにコミュニティを区別

10/30 ある曲が出た時、あるコミュニティーで以下2つの積が閾値を超えた場合に、 未視聴のコミュニティ内全ユーザーにその曲を推薦する （※ 後述の通り実験はオフラインのみであり、実際にSpotify上で推薦するわけではない） ⚫待機日数（1〜30日） ⚫ 曲がリリースされてからの日数 ⚫必要ユーザー割合（0.5, 1〜4%） ⚫ そのコミュニティーで人気を得たと判断する割合の基準値 （実験では推薦曲数kを1〜10と変えて評価） 実験手順（2/3）｜コミュニティで人気な曲を推薦

11/30 1. 精度：曲に興味を持つか？ ⚫ 推薦される曲を期間終了日までに聴いていたか 2. タイムリーさ：曲が社会的価値をもたらすか？ ⚫ 日数節約：リリースされてユーザーが視聴した日より、何日早く推薦できていたか 例）リリース7日目にユーザーが自発的に視聴した曲を、 リリース3日目の段階で推薦できていたなら日数節約は4 実験手順（3/3）｜好みを外さず社会的に価値があるかで評価

12/30 特定のコミュニティに着目して、 パラメーターの違いによる変化を見る ⚫待機日数が多いほど、 必要ユーザー割合が大きいほど、 精度は高くなるが タイムリーさは低下する 実験結果（1/2）｜推薦パラメーターによる変化

13/30 必要ユーザー割合を固定し、国ごとにプロット （対象の20カ国のうち、 個人主義の度合いが最も高い／低い5カ国） → 社会的価値も考慮した推薦は より集団主義的な社会において効果的 集団主義社会においては、 少数のアーティストに音楽視聴が集中する という既存研究とも一致 （Ferwerda et al. 2016, Ferwerda and Schedl 2016） 実験結果（2/2）｜個人主義的な国と集団主義的な国による差 Ferwerda et al. 2016. Exploring music diversity needs across countries (UMAP'16) Ferwerda and Schedl 2016. Investigating the Relationship Between Diversity in Music Consumption Behavior and Cultural Dimensions: A Cross -Country Analysis. (UMAP'16)

14/30 1. 社会的ニーズを満たす音楽はどう推薦できるか？ コミュニティで早期に人気を集めた曲をヒューリスティックに選抜する 2. そういった推薦の成功可否はどう評価できるか？ 精度だけでなく、タイムリーさの観点からも評価する 3. その効果は文化によってどう異なるか？ 集団主義的な社会ではより効果的 RQs

音楽推薦の消費が形作る文化 Oh, Behave! Country Representation Dynamics Created by Feedback Loops in Music Recommender Systems (RecSys'24, short)

16/30 ⚫映画推薦において、人気バイアスの増幅がユーザーの嗜好を変化させる[13] ⚫ニュース推薦において、人気順→コンテンツベース推薦に置き換えることで 人気バイアスを緩和[9] 音楽推薦におけるフィードバックループは、長期的にどんな影響を与えるのだろうか？ 背景｜フィードバックループが引き起こす変化 [13] Feedback Loop and Bias Amplification in Recommender Systems. (CIKM'20) [9] What drives readership? an online study on user interface types and popularity bias mitigation in news article recommendations. (ECIR'22)

17/30 1. 推薦アルゴリズムは、 長期的に各国／アメリカの音楽表現にどう影響するか？ 2. フィードバックループの影響は、国ごとにどう異なるのか？ 推薦アルゴリズムが違えば、各国の扱いも異なってくるのか？ RQs

18/30 Mansouryらが提案した手順[13]で行う 以下のプロセスを100回繰り返す 1. データセットを学習（75%）、バリデーション（20%）、テスト（5%）に分割 2. モデルを学習させ、k個のアイテムを推薦 3. [13]で提案された受け入れ確率に基づいて、うち1つをユーザーの消費履歴に追加 ⚫ ユーザーとk個の推薦アイテム(R)、𝑟𝑎𝑛𝑘𝑡 をソートされたリストRにおけるアイテムtの順位、 αは0未満のハイパラとして、 𝑝𝑟𝑜𝑏 𝑡 R = 𝑒𝛼∗𝑟𝑎𝑛𝑘𝑡 σ 𝑗=1 𝑘 𝑒𝛼∗𝑗 4. 3を含むデータで再学習 実験方法｜オフラインシミュレーション [13] Feedback Loop and Bias Amplification in Recommender Systems. (CIKM'20)

19/30 推薦結果と、シミュレーション前とシミュレーションでの視聴履歴がどれほど違うかを 下記2つの観点で評価 ⚫各国、アメリカの音楽の割合 𝑝𝑢 𝑙𝑜𝑐𝑎𝑙 = 𝐼𝑢 𝑙𝑜𝑐𝑎𝑙 |𝐼𝑢 | , 𝑝𝑢 𝑢𝑠 = 𝐼𝑢 𝑢𝑠 |𝐼𝑢 | ここで𝐼𝑢 𝑙𝑜𝑐𝑎𝑙はユーザーと曲の国が一致する集合 ⚫視聴履歴の分布の違い 𝐽𝑆𝐷 𝐻𝑢 , 𝐻𝑢 ∗ = 1 2 ෍ 𝑐 𝐻𝑢 𝑐 log2 2𝐻𝑢 𝑐 𝐻𝑢 𝑐 + 𝐻𝑢 ∗ 𝑐 + 1 2 ෍ 𝑐 𝐻𝑢 ∗ 𝑐 log2 2𝐻𝑢 ∗ 𝑐 𝐻𝑢 𝑐 + 𝐻𝑢 ∗ 𝑐 ここで𝐻𝑢 はユーザー𝑢の元のデータでの曲の属性分布、𝐻𝑢 ∗はn回の反復後の分布、 𝐻 𝑐 は分布𝐻における属性値𝑐に対応する確率値 実験方法｜評価基準

20/30 実験設定｜データセット LFM-2b[17]をベースに、 Lesotaらの手法[12]と同様の前処理と拡張処理を施す 1. Musicbrainzからアーティストの 出身国情報を追加し曲に国の属性を付与 2. 以下を除外 ⚫ 一度しか聴かれていない曲 ⚫ ユーザーや国情報が利用できないインタラクション 2018〜2019年のインタラクションを対象 ランダムサンプリングした10万曲、12,000ユーザー、 229万インタラクションで構成 [17] LFM-2b: A Dataset of Enriched Music Listening Events for Recommender Systems Research and Fairness Analysis. (CHIIR'22) [12] Traces of Globalization in Online Music Consumption Patterns and Results of Recommendation Algorithms. (ISMIR'22)

21/30 ⚫ItemKNN[4] ⚫Bayesian Personalized Ranking (BPR)[16] ⚫LightGCN[5] ⚫Neural Matrix Factorization (NeuMF)[6] ⚫MultiVAE[20] ⚫Pop ⚫ 各ユーザーが未視聴のアイテムの中で最も人気のあるものを推薦する 実験設定｜6手法を対象 [4] Item-based top-N recommendation algorithms. (TOIS''04) [16] BPR: Bayesian Personalized Ranking from Implicit Feedback. (UAI'09) [5] LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation. (SIGIR'20) [6] Neural Collaborative Filtering. (WWW'17) [20] Multi-VAE: Learning Disentangled View-common and Viewpeculiar Visual Representations for Multi-view Clustering. (ICCV'21)

22/30 実験設定｜評価手順 ⚫Recbole[21]を使用 ⚫各モデル（のハイパラ）はデフォルトのまま ⚫最大200エポックまで学習させ、 NDCG@10で改善が見られない状態が5エポック続くと早期停止 ⚫シミュレーションの各回の受け入れにおいて、 各ユーザーに対して𝑡𝑜𝑝 𝑘 = 10のアイテムを考慮 ⚫受け入れ確率のハイパラ𝛼 = 0.1 Lesotaら[12]にしたがって、100人以上いて1,000曲以上ある国で分析 [21] RecBole: Towards a Unified, Comprehensive and Efficient Framework for Recommendation Algorithms. [12] Traces of Globalization in Online Music Consumption Patterns and Results of Recommendation Algorithms. (ISMIR'22)

23/30 実験結果｜各国／アメリカの曲の割合は大きく変わる（1/2） ⚫LightGCN以外では、𝑝𝑢 𝑙𝑜𝑐𝑎𝑙や𝑝𝑢 𝑢𝑠がシミュレーション前後で有意に変わる ⚫ 𝑅𝑒𝑐∗ は推薦結果、𝑃𝑟𝑜𝑓 ∗ はユーザープロフィール（※視聴履歴だと思われる）、*は統計的有意な不一致

24/30 実験結果｜各国／アメリカの曲の割合は大きく変わる（2/2） ⚫LightGCN以外では、𝑝𝑢 𝑙𝑜𝑐𝑎𝑙や𝑝𝑢 𝑢𝑠がシミュレーション前後で有意に変わる ⚫NeuMFに至っては、 Popに近いレベルにまで 各国の曲を推薦しなくなる → 推薦システムは アメリカの音楽を過剰に 各国の音楽を過少に見せる

25/30 実験結果｜フィードバックループの影響は国ごとに違う（1/2） ⚫国軸での元の好みとのズレが ⚫ 最も生じている：フィンランド、ポーランド、ロシア、日本、イタリア うち、4カ国では各国音楽のデータが少ない ⚫ 最も生じていない：アメリカ、オランダ、カナダ、オーストラリア、ノルウェー うち、アメリカ以外の4カ国はアメリカの音楽を平均より多く、各国の音楽を平均より視聴しない[12] → 国ごとに異なる影響を与えている [12] Traces of Globalization in Online Music Consumption Patterns and Results of Recommendation Algorithms. (ISMIR'22)

26/30 実験結果｜フィードバックループの影響は国ごとに違う（2/2） ⚫Pop以外のモデルが、 アメリカ音楽を過剰に見せている国は限られているが、 各国の音楽を過少に見せている国は一定数存在する → 各国の音楽は徐々にアメリカ以外の国の曲に置き換えられている （必ずしてもアメリカの曲の過剰掲出で起きるのではなく、 各国の音楽の存在感が特に初期に薄いためでは？）

27/30 実験結果｜国／人気度の分布がどうズレていくか ⚫ズレ方は国／人気度で違う ⚫ ItemKNNだと、人気なものはあまり外さないが、国軸での好みを捉えた推薦はしてくれない → 国軸での好みのズレは人気バイアスに関連してるかもしれないが、直接的ではない

28/30 1. 推薦アルゴリズムは、 長期的に各国／アメリカの音楽表現にどう影響するか？ アメリカ音楽を過剰に、各国の音楽を過少に見せる 2. フィードバックループの影響は、国ごとにどう異なるのか？ 音楽データが少ない国では、 元々の好みの分布（国軸）とは異なる推薦を受ける可能性が高い 推薦アルゴリズムが違えば、各国の扱いも異なってくるのか？ アルゴリズム次第で、推薦に含まれる各国の曲の分布は変わる RQs

本発表のまとめ

30/30 1. 社会的ニーズを満たすような音楽推薦の効果は、各国の文化によって異なる 2. 各国の音楽消費文化は、アルゴリズムによる影響を受けていく 「文化が形作る音楽推薦の消費と、その逆」まとめ