レイヤー構造に基づく楽曲推薦手法の提案と音楽発掘サービスKiiteへの応用

by Kosetsu Tsukuda

Embed

Start on current slide

Slide 1

Slide 1 text

レイヤー構造に基づく楽曲推薦手法の提案と音楽発掘サービスKiiteへの応用第142回音楽情報科学研究発表会佃洸摂石田啓介高橋卓見濱崎雅弘後藤真孝産業技術総合研究所

Slide 2

Slide 2 text

楽曲推薦 2 楽曲推薦時には複数の関係を考慮するのが一般的ユーザ同士の楽曲の好みの類似性楽曲同士の音響特徴量の類似性楽曲同士のクリエータの共通性

Slide 3

Slide 3 text

従来研究 3 「推薦はブラックボックス」という批判に対して従来研究では推薦理由を提示することで推薦システムの透明性を高めてきたあなたと好みの似た人が好きな曲あなたの好きな曲と似た曲調あなたと好みの似た人が好きな曲あなたの好きなクリエータの曲 … 推薦  透明性を高めることで推薦システムに対するユーザの信頼性が高まる  ユーザの信頼性が高まることでサービスの継続的な利用につながる

Slide 4

Slide 4 text

本研究の着眼点 4 あなたと好みの似た人が好きな曲あなたの好きな曲と似た曲調あなたと好みの似た人が好きな曲あなたの好きなクリエータの曲 … 推薦「あなたと好きな曲と似た曲調」という推薦理由の曲をもっと出してほしいなー推薦理由を提示することで透明性を高めるだけでは不十分ユーザが望む推薦理由に応じて推薦結果を表示できるよう推薦システムの操作性を高める目標

Slide 5

Slide 5 text

Kiite 5  透明性だけでなく操作性も備えた推薦システムを提案  誰もが利用できるよう音楽発掘サービス「Kiite」で2022/11/22に公開  52万曲以上の歌声合成楽曲を対象として推薦 https://kiite.jp

Slide 6

Slide 6 text

レイヤー構造に基づく楽曲推薦手法

Slide 7

Slide 7 text

レイヤーとは 7 レイヤー：推薦時に考慮する関係ごとに作られるグラフ嗜好レイヤー創作レイヤー音響類似レイヤー

Slide 8

Slide 8 text

嗜好レイヤー 8 レイヤー：推薦時に考慮する関係ごとに作られるグラフユーザ同士の楽曲の好みの類似性 𝑢𝑢1 ユーザは楽曲 𝑠𝑠21 𝑠𝑠3 𝑠𝑠5 𝑠𝑠18 が好みに合う嗜好レイヤー

Slide 9

Slide 9 text

音響類似レイヤー 9 レイヤー：推薦時に考慮する関係ごとに作られるグラフ楽曲は楽曲 𝑠𝑠34 𝑠𝑠6 𝑠𝑠10 音響特徴量が類似楽曲同士の音響特徴量の類似性 𝑠𝑠1 と音響類似レイヤー

Slide 10

Slide 10 text

創作レイヤー 10 レイヤー：推薦時に考慮する関係ごとに作られるグラフクリエータは楽曲 𝑠𝑠3 𝑠𝑠6 創作を楽曲同士のクリエータの共通性 𝑐𝑐56 創作レイヤー

Slide 11

Slide 11 text

レイヤーの重みに応じた推薦結果の生成 11 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供嗜好レイヤー音響類似レイヤー創作レイヤー推薦手法バランス重視楽曲類似度重視クリエータ重視人気度重視

Slide 12

Slide 12 text

レイヤーの重みに応じた推薦結果の生成 12 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供嗜好レイヤー音響類似レイヤー創作レイヤー推薦手法バランス重視楽曲類似度重視クリエータ重視人気度重視

Slide 13

Slide 13 text

レイヤーの重みに応じた推薦結果の生成 13 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供嗜好レイヤー音響類似レイヤー創作レイヤー推薦手法バランス重視楽曲類似度重視クリエータ重視人気度重視

Slide 14

Slide 14 text

レイヤーの重みに応じた推薦結果の生成 14 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供嗜好レイヤー音響類似レイヤー創作レイヤー推薦手法バランス重視楽曲類似度重視クリエータ重視人気度重視

Slide 15

Slide 15 text

GCNの概要 15 提案手法：GCN（Graph Convolution Network）に基づく推薦手法グラフの各ノードを 𝒅𝒅次元ベクトルで表すユーザ：楽曲：クリエータ： 𝒆𝒆𝑢𝑢1 0 , 𝒆𝒆𝑢𝑢2 0 , 𝒆𝒆𝑢𝑢3 0 , … 𝒆𝒆𝑠𝑠1 0 , 𝒆𝒆𝑠𝑠2 0 , 𝒆𝒆𝑠𝑠3 0 , … 𝒆𝒆𝑐𝑐1 0 , 𝒆𝒆𝑐𝑐2 0 , 𝒆𝒆𝑐𝑐3 0 , … グラフ構造に基づいてベクトルを拡張ユーザ：楽曲：クリエータ： 𝒆𝒆𝑢𝑢1 ∗ , 𝒆𝒆𝑢𝑢2 ∗ , 𝒆𝒆𝑢𝑢3 ∗ , … 𝒆𝒆𝑠𝑠1 ∗ , 𝒆𝒆𝑠𝑠2 ∗ , 𝒆𝒆𝑠𝑠3 ∗ , … 𝒆𝒆𝑐𝑐1 ∗ , 𝒆𝒆𝑐𝑐2 ∗ , 𝒆𝒆𝑐𝑐3 ∗ , …

Slide 16

Slide 16 text

1ホップ先のノードを反映したベクトルの計算（バランス重視） 16 𝒆𝒆𝑁𝑁𝑠𝑠1 0 = 1 5 𝒆𝒆𝑢𝑢6 0 + 𝒆𝒆𝑠𝑠6 0 + 𝒆𝒆𝑠𝑠10 0 + 𝒆𝒆𝑠𝑠34 0 + 𝒆𝒆𝑐𝑐9 0 𝑠𝑠1 と繋がったノードのベクトルを等しく反映 𝒆𝒆𝑠𝑠1 1 ：1ホップ先を考慮した 𝑠𝑠1 のベクトル嗜好レイヤー (重み: 1) 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝑠𝑠1 の元々のベクトル

Slide 17

Slide 17 text

2ホップ先のノードを反映したベクトルの計算（バランス重視） 17 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝒆𝒆𝑁𝑁𝑠𝑠1 1 = 1 5 𝒆𝒆𝑢𝑢6 1 + 𝒆𝒆𝑠𝑠6 1 + 𝒆𝒆𝑠𝑠10 1 + 𝒆𝒆𝑠𝑠34 1 + 𝒆𝒆𝑐𝑐9 1 グラフ上の間接的な繋がりも考慮するために 2ホップ先のノードのベクトルを反映 𝑢𝑢6 の1ホップ先のノードを反映したベクトル 𝒆𝒆𝑠𝑠1 2 ：2ホップ先を考慮した 𝑠𝑠1 のベクトル 𝑠𝑠1 の1ホップ先を考慮したベクトル嗜好レイヤー (重み: 1)

Slide 18

Slide 18 text

推薦スコアの計算に用いるベクトルの取得 18 𝒆𝒆𝑢𝑢 ∗ = 𝒆𝒆𝑢𝑢 0 ∥ 𝒆𝒆𝑢𝑢 1 ∥ ⋯ ∥ 𝒆𝒆𝑢𝑢 𝐾𝐾 ユーザ 𝑢𝑢 のベクトル： 𝒆𝒆𝑠𝑠 ∗ = 𝒆𝒆𝑠𝑠 0 ∥ 𝒆𝒆𝑠𝑠 1 ∥ ⋯ ∥ 𝒆𝒆𝑠𝑠 𝐾𝐾 楽曲 𝑠𝑠 のベクトル：ユーザ 𝑢𝑢 に対する楽曲𝑠𝑠 の推薦スコア： � 𝑦𝑦 𝑢𝑢, 𝑖𝑖 = 𝒆𝒆𝑢𝑢 ∗ T𝒆𝒆𝑠𝑠 ∗ 𝒆𝒆𝑢𝑢 0, 𝒆𝒆𝑠𝑠 0, 𝒆𝒆𝑐𝑐 0：学習対象のパラメータ（ 𝒆𝒆𝑢𝑢 1 等は𝒆𝒆𝑢𝑢 0から計算される） BPR (Bayesian Personalized Ranking) を用いてパラメータを学習 𝐿𝐿 = � 𝑢𝑢,𝑠𝑠,𝑠𝑠′ ∈𝐷𝐷 − ln � 𝑦𝑦 𝑢𝑢, 𝑠𝑠 − � 𝑦𝑦 𝑢𝑢, 𝑠𝑠′ + 𝜆𝜆 𝚯𝚯 2 2

Slide 19

Slide 19 text

特定のレイヤーの重み大きくしたベクトルの計算（人気度重視） 19 𝒆𝒆𝑁𝑁𝑠𝑠1 0 = 1 7 𝟑𝟑𝒆𝒆𝑢𝑢6 0 + 𝒆𝒆𝑠𝑠6 0 + 𝒆𝒆𝑠𝑠10 0 + 𝒆𝒆𝑠𝑠34 0 + 𝒆𝒆𝑐𝑐9 0 重みの大きいレイヤーのベクトルを重視して反映 𝒆𝒆𝑠𝑠1 1 ：1ホップ先を考慮した 𝑠𝑠1 のベクトル嗜好レイヤー (重み: 3) 音響類似レイヤー (重み: 1) 創作レイヤー (重み: 1) 𝑠𝑠1 の元々のベクトル

Slide 20

Slide 20 text

音楽発掘サービス Kiite への応用

Slide 21

Slide 21 text

レイヤー作成時に用いるデータ 21 嗜好レイヤー音響類似レイヤー創作レイヤーお気に入り追加プレイリスト追加サムアップ音響特徴量の類似度上位5曲 Kiite上のメタデータ

Slide 22

Slide 22 text

推薦モード 22 レイヤーの重みの組合せに応じた4種類の推薦モード(推薦モデル)を提供嗜好レイヤー音響類似レイヤー創作レイヤー推薦手法バランス重視楽曲類似度重視クリエータ重視人気度重視

Slide 23

Slide 23 text

推薦モデルの更新 23 𝑢𝑢6 𝑠𝑠3 𝑠𝑠18 嗜好レイヤー (2025/3/4) 嗜好レイヤー (2025/3/5) 𝑠𝑠50

Slide 24

Slide 24 text

デフォルト推薦エンジン 24  Kiite上で日頃お気に入りやプレイリストに追加した楽曲に応じて推薦  ユーザ登録時に各ユーザに対してひとつ作られる

Slide 25

Slide 25 text

カスタム推薦エンジン 25  曲調・気分・状況に応じた楽曲を推薦するための推薦エンジン  各ユーザは自分で何個でもカスタム推薦エンジンを作成可能

Slide 26

Slide 26 text

カスタム推薦エンジンにおけるレイヤー 26 嗜好レイヤー創作レイヤー音響類似レイヤーカスタム推薦レイヤー

Slide 27

Slide 27 text

操作性を持つ推薦エンジンのログ分析

Slide 28

Slide 28 text

分析対象のログ 28 2022年11月22日推薦システム公開 2022年11月22日～2024年12月24日分析ログ対象期間 3,264個（3,264名分）デフォルト推薦エンジン 1,332個（722名分）カスタム推薦エンジン 3,413名ユニークユーザ数

Slide 29

Slide 29 text

推薦モードの切り替え 29 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 デフォルト推薦エンジン 1,503個 (46.0%) 533個 (16.3%) 404個 (12.4%) 824個 (25.2%) カスタム推薦エンジン 405個 (30.4%) 412個 (30.9%) 195個 (14.6%) 320個 (24.0%) 推薦モードを切り替えた推薦エンジンはどれぐらいあった？ Q. 𝑚𝑚種類の推薦モードを切り替えた推薦エンジンの数をカウント A. 54.0%のデフォルト推薦エンジン 69.6%のカスタム推薦エンジンで推薦モードが切り替えられていた全員に提供されるデフォルト推薦エンジンに比べてカスタム推薦エンジンを使うユーザは推薦モードを積極的に切り替え考察

Slide 30

Slide 30 text

推薦エンジンでのインタラクション頻度 30 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 再生 29.8 52.0 96.6 263.6 お気に入り 3.5 10.3 13.9 37.0 サムアップ 7.8 13.1 21.0 62.5 サムダウン 7.1 9.9 28.0 91.4 より多くの推薦モードを使うユーザはインタラクションが活発？ Q. A.より多くの推薦モードを使うユーザほどインタラクション頻度も増加考察「バランス重視」しか使っていないユーザに対して他の推薦モードも使うよう Kiite上で促し、切り替えの多さとインタラクション頻度の因果関係を調査デフォルト推薦エンジン（曲）

Slide 31

Slide 31 text

最も好んで使用する推薦モード 31 バランス人気度楽曲類似度クリエータお気に入り 13曲 28曲 20曲 2曲バランス人気度楽曲類似度クリエータお気に入り 20曲 4曲 3曲 6曲バランス人気度楽曲類似度クリエータお気に入り 1曲 0曲 33曲 1曲デフォルト推薦エンジン【1】デフォルト推薦エンジン【1,263】デフォルト推薦エンジン【2】 … … バランス人気度楽曲類似度クリエータお気に入り 621個 125個 217個 24個ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.

Slide 32

Slide 32 text

最も好んで使用する推薦モード 32 バランス人気度楽曲類似度クリエータ再生 799 127 300 37 お気に入り 621 125 217 24 サムアップ 698 118 265 31 サムダウン 398 55 151 20 A. 違いはあり、いずれの推薦モードも最も好んで使用するユーザが存在複数の推薦モードからユーザが選択できるようにすることには意義があるデフォルト推薦エンジン（個）ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.

Slide 33

Slide 33 text

最も好んで使用する推薦モード 33 バランス人気度楽曲類似度クリエータ再生 323 67 334 10 お気に入り 231 55 231 13 サムアップ 266 83 289 10 サムダウン 200 38 235 13 カスタム推薦エンジン（個）考察デフォルト推薦エンジン：バ > 楽 > 人 > クカスタム推薦エンジン：バ ≒ 楽 > 人 > クカスタム推薦エンジンは「静かなピアノ曲」「バラード系」など音に関する名前が多い A. 違いはあり、いずれの推薦モードも最も好んで使用するユーザが存在ユーザによって最も好んで使用する推薦モードに違いはあった？ Q.

Slide 34

Slide 34 text

併用して活用された推薦モード 34 バランス人気度楽曲類似度クリエータお気に入り 18曲 2曲 9曲 0曲バランス人気度楽曲類似度クリエータお気に入り 1曲 36曲 0曲 2曲バランス人気度楽曲類似度クリエータお気に入り 7曲 0曲 12曲 25曲 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟑𝟑 デフォルト推薦エンジン【1】デフォルト推薦エンジン【1,250】デフォルト推薦エンジン【2】 … 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 お気に入り 586個 216個 96個 73個ユーザは複数の推薦モードを活用していた？ Q. 3曲以上「お気に入り」した推薦モードの種類数 𝑚𝑚 をカウント

Slide 35

Slide 35 text

併用して活用された推薦モード 35 𝒎𝒎 = 𝟏𝟏 𝒎𝒎 = 𝟐𝟐 𝒎𝒎 = 𝟑𝟑 𝒎𝒎 = 𝟒𝟒 再生 579 279 155 237 お気に入り 586 216 96 73 サムアップ 613 227 116 135 サムダウン 367 108 46 93 デフォルト推薦エンジン（個） 𝒎𝒎 ≥ 𝟐𝟐 53.7% 39.7% 43.8% 40.2% ユーザは複数の推薦モードを活用していた？ Q. A. 約40%以上のユーザは複数の推薦モードを活用して使い分けていた複数の推薦モードを切り替え可能にし操作性を加えることには意義がある

Slide 36

Slide 36 text

本研究の貢献・今後の発展 36 ２4つの推薦モードを切り替え可能な推薦システムをKiiteに実装バランス重視・人気度重視・楽曲類似度重視・クリエイター重視１特定の関係を重視した推薦結果を生成可能な推薦手法を提案各関係をレイヤー上のグラフで表現し、関係の重要度に応じてエッジの重みを変更３2年以上のログを分析し推薦システムに操作性を持たせる意義を検証約40%のデフォルト推薦エンジンが、2つ以上の推薦モードを活用してインタラクション今後の発展  カスタム推薦エンジンのタイプ別のインタラクション分析  操作性を持つ推薦システムを工学と心理学の観点から分析