レイヤー構造に基づく楽曲推薦手法の提案と音楽発掘サービスKiiteへの応用

2025/03/06
情報処理学会 第142回音楽情報科学研究発表会（SIGMUS 142）

Transcript

1. レイヤー構造に基づく楽曲推薦手法の提案と 音楽発掘サービスKiiteへの応用 第142回音楽情報科学研究発表会 佃 洸摂 石田 啓介 高橋 卓見 濱崎 雅弘 後藤 真孝 産業技術総合研究所
2. 楽曲推薦 2 楽曲推薦時には複数の関係を考慮するのが一般的 ユーザ同士の 楽曲の好みの類似性 楽曲同士の 音響特徴量の類似性 楽曲同士の クリエータの共通性
3. 従来研究 3 「推薦はブラックボックス」という批判に対して 従来研究では推薦理由を提示することで推薦システムの透明性を高めてきた あなたと好みの似た人が好きな曲 あなたの好きな曲と似た曲調 あなたと好みの似た人が好きな曲 あなたの好きなクリエータの曲 … 推薦  透明性を高めることで推薦システムに対するユーザの信頼性が高まる  ユーザの信頼性が高まることでサービスの継続的な利用につながる
4. 本研究の着眼点 4 あなたと好みの似た人が好きな曲 あなたの好きな曲と似た曲調 あなたと好みの似た人が好きな曲 あなたの好きなクリエータの曲 … 推薦 「あなたと好きな曲と似た 曲調」という推薦理由の曲 をもっと出してほしいなー 推薦理由を提示することで透明性を高めるだけでは不十分 ユーザが望む推薦理由に応じて推薦結果を表示できるよう 推薦システムの操作性を高める 目標
5. Kiite 5  透明性だけでなく操作性も備えた推薦システムを提案  誰もが利用できるよう音楽発掘サービス「Kiite」で2022/11/22に公開  52万曲以上の歌声合成楽曲を対象として推薦 https://kiite.jp
6. レイヤー構造に基づく楽曲推薦手法
7. レイヤーとは 7 レイヤー：推薦時に考慮する関係ごとに作られるグラフ 嗜好レイヤー 創作レイヤー 音響類似レイヤー
8. 嗜好レイヤー 8 レイヤー：推薦時に考慮する関係ごとに作られるグラフ ユーザ同士の 楽曲の好みの類似性 𝑢𝑢1 ユーザ は楽曲 𝑠𝑠21 𝑠𝑠3 𝑠𝑠5 𝑠𝑠18 が好みに合う 嗜好レイヤー
9. 音響類似レイヤー 9 レイヤー：推薦時に考慮する関係ごとに作られるグラフ 楽曲 は楽曲 𝑠𝑠34 𝑠𝑠6 𝑠𝑠10 音響特徴量が類似 楽曲同士の 音響特徴量の類似性 𝑠𝑠1 と 音響類似レイヤー
10. 創作レイヤー 10 レイヤー：推薦時に考慮する関係ごとに作られるグラフ クリエータ は楽曲 𝑠𝑠3 𝑠𝑠6 創作 を 楽曲同士の クリエータの共通性 𝑐𝑐56 創作レイヤー
11. レイヤーの重みに応じた推薦結果の生成 11 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー 推 薦 手 法 バランス 重視 楽曲類似度 重視 クリエータ 重視 人気度 重視
12. レイヤーの重みに応じた推薦結果の生成 12 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー 推 薦 手 法 バランス 重視 楽曲類似度 重視 クリエータ 重視 人気度 重視
13. レイヤーの重みに応じた推薦結果の生成 13 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー 推 薦 手 法 バランス 重視 楽曲類似度 重視 クリエータ 重視 人気度 重視
14. レイヤーの重みに応じた推薦結果の生成 14 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー 推 薦 手 法 バランス 重視 楽曲類似度 重視 クリエータ 重視 人気度 重視
15. GCNの概要 15 提案手法：GCN（Graph Convolution Network）に基づく推薦手法 グラフの各ノードを 𝒅𝒅次元ベクトルで表す ユーザ： 楽曲： クリエータ： 𝒆𝒆𝑢𝑢1 0 , 𝒆𝒆𝑢𝑢2 0 , 𝒆𝒆𝑢𝑢3 0 , … 𝒆𝒆𝑠𝑠1 0 , 𝒆𝒆𝑠𝑠2 0 , 𝒆𝒆𝑠𝑠3 0 , … 𝒆𝒆𝑐𝑐1 0 , 𝒆𝒆𝑐𝑐2 0 , 𝒆𝒆𝑐𝑐3 0 , … グラフ構造に基づいて ベクトルを拡張 ユーザ： 楽曲： クリエータ： 𝒆𝒆𝑢𝑢1 ∗ , 𝒆𝒆𝑢𝑢2 ∗ , 𝒆𝒆𝑢𝑢3 ∗ , … 𝒆𝒆𝑠𝑠1 ∗ , 𝒆𝒆𝑠𝑠2 ∗ , 𝒆𝒆𝑠𝑠3 ∗ , … 𝒆𝒆𝑐𝑐1 ∗ , 𝒆𝒆𝑐𝑐2 ∗ , 𝒆𝒆𝑐𝑐3 ∗ , …
16. 1ホップ先のノードを反映したベクトルの計算（バランス重視） 16 𝒆𝒆𝑁𝑁𝑠𝑠1 0 = 1 5 𝒆𝒆𝑢𝑢6 0 + 𝒆𝒆𝑠𝑠6 0 + 𝒆𝒆𝑠𝑠10 0 + 𝒆𝒆𝑠𝑠34 0 + 𝒆𝒆𝑐𝑐9 0 𝑠𝑠1 と繋がったノードのベクトルを等しく反映 𝒆𝒆𝑠𝑠1 1 ：1ホップ先を考慮した 𝑠𝑠1 のベクトル 嗜好レイヤー (重み: 1) 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝑠𝑠1 の元々の ベクトル
17. 2ホップ先のノードを反映したベクトルの計算（バランス重視） 17 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝒆𝒆𝑁𝑁𝑠𝑠1 1 = 1 5 𝒆𝒆𝑢𝑢6 1 + 𝒆𝒆𝑠𝑠6 1 + 𝒆𝒆𝑠𝑠10 1 + 𝒆𝒆𝑠𝑠34 1 + 𝒆𝒆𝑐𝑐9 1 グラフ上の間接的な繋がりも考慮するために 2ホップ先のノードのベクトルを反映 𝑢𝑢6 の1ホップ先 のノードを反映 したベクトル 𝒆𝒆𝑠𝑠1 2 ：2ホップ先を考慮した 𝑠𝑠1 のベクトル 𝑠𝑠1 の1ホップ先 を考慮した ベクトル 嗜好レイヤー (重み: 1)
18. 推薦スコアの計算に用いるベクトルの取得 18 𝒆𝒆𝑢𝑢 ∗ = 𝒆𝒆𝑢𝑢 0 ∥ 𝒆𝒆𝑢𝑢 1 ∥ ⋯ ∥ 𝒆𝒆𝑢𝑢 𝐾𝐾 ユーザ 𝑢𝑢 のベクトル： 𝒆𝒆𝑠𝑠 ∗ = 𝒆𝒆𝑠𝑠 0 ∥ 𝒆𝒆𝑠𝑠 1 ∥ ⋯ ∥ 𝒆𝒆𝑠𝑠 𝐾𝐾 楽曲 𝑠𝑠 のベクトル： ユーザ 𝑢𝑢 に対する楽曲𝑠𝑠 の推薦スコア： � 𝑦𝑦 𝑢𝑢, 𝑖𝑖 = 𝒆𝒆𝑢𝑢 ∗ T𝒆𝒆𝑠𝑠 ∗ 𝒆𝒆𝑢𝑢 0, 𝒆𝒆𝑠𝑠 0, 𝒆𝒆𝑐𝑐 0：学習対象のパラメータ（ 𝒆𝒆𝑢𝑢 1 等は𝒆𝒆𝑢𝑢 0から計算される） BPR (Bayesian Personalized Ranking) を用いてパラメータを学習 𝐿𝐿 = � 𝑢𝑢,𝑠𝑠,𝑠𝑠′ ∈𝐷𝐷 − ln � 𝑦𝑦 𝑢𝑢, 𝑠𝑠 − � 𝑦𝑦 𝑢𝑢, 𝑠𝑠′ + 𝜆𝜆 𝚯𝚯 2 2
19. 特定のレイヤーの重み大きくしたベクトルの計算（人気度重視） 19 𝒆𝒆𝑁𝑁𝑠𝑠1 0 = 1 7 𝟑𝟑𝒆𝒆𝑢𝑢6 0 + 𝒆𝒆𝑠𝑠6 0 + 𝒆𝒆𝑠𝑠10 0 + 𝒆𝒆𝑠𝑠34 0 + 𝒆𝒆𝑐𝑐9 0 重みの大きいレイヤーのベクトルを重視して反映 𝒆𝒆𝑠𝑠1 1 ：1ホップ先を考慮した 𝑠𝑠1 のベクトル 嗜好レイヤー (重み: 3) 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝑠𝑠1 の元々の ベクトル
20. 音楽発掘サービス Kiite への応用
21. レイヤー作成時に用いるデータ 21 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー お気に入り追加 プレイリスト追加 サムアップ 音響特徴量の 類似度上位5曲 Kiite上のメタデータ
22. 推薦モード 22 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供 嗜好 レイヤー 音響類似 レイヤー 創作 レイヤー 推 薦 手 法 バランス 重視 楽曲類似度 重視 クリエータ 重視 人気度 重視
23. 推薦モデルの更新 23 𝑢𝑢6 𝑠𝑠3 𝑠𝑠18 嗜好レイヤー (2025/3/4) 嗜好レイヤー (2025/3/5) 𝑠𝑠50
24. デフォルト推薦エンジン 24  Kiite上で日頃お気に入りやプレイリストに追加した楽曲に応じて推薦  ユーザ登録時に各ユーザに対してひとつ作られる
25. カスタム推薦エンジン 25  曲調・気分・状況に応じた楽曲を推薦するための推薦エンジン  各ユーザは自分で何個でもカスタム推薦エンジンを作成可能
26. カスタム推薦エンジンにおけるレイヤー 26 嗜好レイヤー 創作レイヤー 音響類似レイヤー カスタム推薦レイヤー
27. 操作性を持つ推薦エンジンのログ分析
28. 分析対象のログ 28 2022年11月22日 推薦システム公開 2022年11月22日～2024年12月24日 分析ログ対象期間 3,264個（3,264名分） デフォルト推薦エンジン 1,332個（722名分） カスタム推薦エンジン 3,413名 ユニークユーザ数
29. 推薦モードの切り替え 29 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 デフォルト 推薦エンジン 1,503個 (46.0%) 533個 (16.3%) 404個 (12.4%) 824個 (25.2%) カスタム 推薦エンジン 405個 (30.4%) 412個 (30.9%) 195個 (14.6%) 320個 (24.0%) 推薦モードを切り替えた推薦エンジンはどれぐらいあった？ Q. 𝑚𝑚種類の推薦モードを切り替えた推薦エンジンの数をカウント A. 54.0%のデフォルト推薦エンジン 69.6%のカスタム推薦エンジン で推薦モードが切り替えられていた 全員に提供されるデフォルト推薦エンジンに比べて カスタム推薦エンジンを使うユーザは推薦モードを積極的に切り替え 考察
30. 推薦エンジンでのインタラクション頻度 30 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 再生 29.8 52.0 96.6 263.6 お気に入り 3.5 10.3 13.9 37.0 サムアップ 7.8 13.1 21.0 62.5 サムダウン 7.1 9.9 28.0 91.4 より多くの推薦モードを使うユーザはインタラクションが活発？ Q. A.より多くの推薦モードを使うユーザほどインタラクション頻度も増加 考察 「バランス重視」しか使っていないユーザに対して他の推薦モードも使うよう Kiite上で促し、切り替えの多さとインタラクション頻度の因果関係を調査 デフォルト推薦エンジン （曲）
31. 最も好んで使用する推薦モード 31 バランス 人気度 楽曲類似度 クリエータ お気に入り 13曲 28曲 20曲 2曲 バランス 人気度 楽曲類似度 クリエータ お気に入り 20曲 4曲 3曲 6曲 バランス 人気度 楽曲類似度 クリエータ お気に入り 1曲 0曲 33曲 1曲 デフォルト推薦 エンジン【1】 デフォルト推薦 エンジン【1,263】 デフォルト推薦 エンジン【2】 … … バランス 人気度 楽曲類似度 クリエータ お気に入り 621個 125個 217個 24個 ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.
32. 最も好んで使用する推薦モード 32 バランス 人気度 楽曲類似度 クリエータ 再生 799 127 300 37 お気に入り 621 125 217 24 サムアップ 698 118 265 31 サムダウン 398 55 151 20 A. 違いはあり、いずれの推薦モードも最も好んで使用するユーザが存在 複数の推薦モードからユーザが選択できるようにすることには意義がある デフォルト推薦エンジン （個） ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.
33. 最も好んで使用する推薦モード 33 バランス 人気度 楽曲類似度 クリエータ 再生 323 67 334 10 お気に入り 231 55 231 13 サムアップ 266 83 289 10 サムダウン 200 38 235 13 カスタム推薦エンジン （個） 考察 デフォルト推薦エンジン：バ > 楽 > 人 > ク カスタム推薦エンジン：バ ≒ 楽 > 人 > ク カスタム推薦エンジンは 「静かなピアノ曲」「バラード系」 など音に関する名前が多い A. 違いはあり、いずれの推薦モードも最も好んで使用するユーザが存在 ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.
34. 併用して活用された推薦モード 34 バランス 人気度 楽曲類似度 クリエータ お気に入り 18曲 2曲 9曲 0曲 バランス 人気度 楽曲類似度 クリエータ お気に入り 1曲 36曲 0曲 2曲 バランス 人気度 楽曲類似度 クリエータ お気に入り 7曲 0曲 12曲 25曲 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟑𝟑 デフォルト推薦 エンジン【1】 デフォルト推薦 エンジン【1,250】 デフォルト推薦 エンジン【2】 … 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 お気に入り 586個 216個 96個 73個 ユーザは複数の推薦モードを活用していた？ Q. 3曲以上「お気に入り」した推薦モードの種類数 𝑚𝑚 をカウント
35. 併用して活用された推薦モード 35 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 再生 579 279 155 237 お気に入り 586 216 96 73 サムアップ 613 227 116 135 サムダウン 367 108 46 93 デフォルト推薦エンジン （個） 𝒎𝒎 ≥ 𝟐𝟐 53.7% 39.7% 43.8% 40.2% ユーザは複数の推薦モードを活用していた？ Q. A. 約40%以上のユーザは複数の推薦モードを活用して使い分けていた 複数の推薦モードを切り替え可能にし操作性を加えることには意義がある
36. 本研究の貢献・今後の発展 36 ２4つの推薦モードを切り替え可能な推薦システムをKiiteに実装 バランス重視・人気度重視・楽曲類似度重視・クリエイター重視 １特定の関係を重視した推薦結果を生成可能な推薦手法を提案 各関係をレイヤー上のグラフで表現し、関係の重要度に応じてエッジの重みを変更 ３2年以上のログを分析し推薦システムに操作性を持たせる意義を検証 約40%のデフォルト推薦エンジンが、2つ以上の推薦モードを活用してインタラクション 今後の 発展  カスタム推薦エンジンのタイプ別のインタラクション分析  操作性を持つ推薦システムを工学と心理学の観点から分析