Upgrade to Pro — share decks privately, control downloads, hide ads and more …

初めて聴く楽曲の好みを判断する際に影響を与える音楽要素の分析と楽曲の推薦・探索への応用

 初めて聴く楽曲の好みを判断する際に影響を与える音楽要素の分析と楽曲の推薦・探索への応用

Avatar for Kosetsu Tsukuda

Kosetsu Tsukuda

June 03, 2025
Tweet

More Decks by Kosetsu Tsukuda

Other Decks in Research

Transcript

  1. 第141回音楽情報科学研究発表会(2024/8/26) 初めて聴く楽曲の好みを判断する際に影響を与える 音楽要素の分析と楽曲の推薦・探索への応用 産業技術総合研究所 佃 洸摂 中野 倫靖 濱崎 雅弘

    後藤 真孝 楽器 メロディ 歌声 歌詞 センチメント リズム テンポ ハーモニー 雰囲気 踊りやすさ ある楽曲を初めて聴いて好みに合っているかを 判断する際にあなたが重視する音楽要素は何ですか?
  2. 初めて聴く楽曲の好みの判断 2 この曲は 好き! この曲は イマイチ… お気に入りに追加 次の曲にスキップ 愛してる 服部まさこ

    Angel Baby Betty ある楽曲を初めて聴いて好みに合っているかを 判断する際に影響を与える要因は知られていない  今までに聴いたことのない楽曲を推薦されて聴く  ヒットチャートにランキングされた曲を初めて聴く 音楽配信サービス上で
  3. RQ2|個人の属性の影響 6 RQ2 人の性格特性と音楽の経験は初めて聴く楽曲の好みを 判断する際の音楽要素の重要度に影響するか 性格特性 積極性:高 ハーモニー 重要度 音楽経験

    ライブ 参加頻度 :高 踊りやすさ 重要度 :高 :高 人と音楽とのインタラクションをより深く理解し 得られた知見の音楽推薦などへの活用を議論
  4. 回答者 9 10代 20代 30代 40代 50代 計 男性 4

    31 33 44 35 147 女性 9 39 35 34 38 155 (名) 条件 人数 回答 謝礼 1. 日本人である 2. 任意の音楽配信サービスで平均週1日以上音楽を聴く 自身のスマホ・タブレット・PCからWebブラウザで回答 1,750円 302名(354名から不適切な回答をした52名を除外)
  5. 調査方法 13 「歌詞」とは、歌がある曲で、メインボーカルが歌っている言葉を意味します。 「歌詞」は、初めて聴く曲の好き嫌いを判断するうえでどの程度重要ですか。 重要でない あまり重要でない ある程度重要だ 重要だ とても重要だ 曲を好きと判断する基準

    曲を嫌いと判断する基準 重要でない理由 歌詞の内容が前向き、歌詞に共感できる 歌詞の内容が暴力的 回答が「ある程度重要だ」「重要だ」「とても重要だ」であれば その音楽要素に基づいて楽曲を好きと判断する基準・嫌いと判断 する基準の少なくとも一方を自由記述で回答してもらう(複数可)
  6. 調査方法 14 「歌詞」とは、歌がある曲で、メインボーカルが歌っている言葉を意味します。 「歌詞」は、初めて聴く曲の好き嫌いを判断するうえでどの程度重要ですか。 重要でない あまり重要でない ある程度重要だ 重要だ とても重要だ 曲を好きと判断する基準

    曲を嫌いと判断する基準 重要でない理由 回答が「重要でない」「あまり重要でない」であれば 重要でない理由を自由記述で回答してもらう(複数可) 歌詞の内容を気にして曲を聴かないから
  7. 調査方法 15 「歌詞」とは、歌がある曲で、メインボーカルが歌っている言葉を意味します。 「歌詞」は、初めて聴く曲の好き嫌いを判断するうえでどの程度重要ですか。 重要でない あまり重要でない ある程度重要だ 重要だ とても重要だ 曲を好きと判断する基準

    曲を嫌いと判断する基準 重要でない理由  10種類の音楽要素は回答者ごとにランダムな順で提示  楽曲によるバイアスを除くため実際に楽曲は聴かせずに 日常生活の中で楽曲を初めて聴く状況を思い返して回答してもらう
  8. 結果|音楽要素間の重要度の相関 17 メロディ 歌声 回答者1 4 5 回答者2 2 2

    回答者3 5 2 回答者302 3 4  「メロディと歌声」「リズムとテンポ」「雰囲気とセンチメント」 は0.4を超える高い相関  踊りやすさはいずれの音楽要素とも相関が低く独立性が高い …
  9. 結果|楽曲を好きまたは嫌いと判断する基準 20 1位 2位 3位 メロディ 好き (265) 覚えやすい (35)

    歌いやすい (33) 心地よい (28) 嫌い (193) うるさい (18) 覚えにくい (16) 不快 (15) 歌詞 好き (218) 共感できる (71) 感動できる (41) 前向き (10) 嫌い (164) 伝えたいことが不明 (41) 共感できない (30) ありきたり (26) 雰囲気 好き (219) 明るい (71) 気分・状況に合う (25) 落ち着きがある (21) 嫌い (162) 暗い (32) うるさい・荒々しい (29) 不快 (12) (名) 10種類中3種類の音楽要素のみ掲載  10種類いずれの音楽要素でも嫌いな基準よりも好きな基準を あげた人数が多かった:「好き」の判断に使用する人が多い  雰囲気の「明るい」に対する「暗い」のように対となる基準が 好きな基準と嫌いな基準であげられる例が多く見られた
  10. 結果|楽曲を好きまたは嫌いと判断する基準 21 1位 2位 3位 メロディ 好き (265) 覚えやすい (35)

    歌いやすい (33) 心地よい (28) 嫌い (193) うるさい (18) 覚えにくい (16) 不快 (15) 歌詞 好き (218) 共感できる (71) 感動できる (41) 前向き (10) 嫌い (164) 伝えたいことが不明 (41) 共感できない (30) ありきたり (26) 雰囲気 好き (219) 明るい (71) 気分・状況に合う (25) 落ち着きがある (21) 嫌い (162) 暗い (32) うるさい・荒々しい (29) 不快 (12) (名) 10種類中3種類の音楽要素のみ掲載  10種類いずれの音楽要素でも嫌いな基準よりも好きな基準を あげた人数が多かった:「好き」の判断に使用する人が多い  雰囲気の「明るい」に対する「暗い」のように対となる基準が 好きな基準と嫌いな基準であげられる例が多く見られた
  11. 結果|楽曲を好きまたは嫌いと判断する基準 22 1位 2位 3位 メロディ 好き (265) 覚えやすい (35)

    歌いやすい (33) 心地よい (28) 嫌い (193) うるさい (18) 覚えにくい (16) 不快 (15) 歌詞 好き (218) 共感できる (71) 感動できる (41) 前向き (10) 嫌い (164) 伝えたいことが不明 (41) 共感できない (30) ありきたり (26) 雰囲気 好き (219) 明るい (71) 気分・状況に合う (25) 落ち着きがある (21) 嫌い (162) 暗い (32) うるさい・荒々しい (29) 不快 (12) (名) 10種類中3種類の音楽要素のみ掲載 活用例:理由を伴う楽曲推薦 雰囲気が明るいので この楽曲がお薦めです 雰囲気が重要
  12. 調査方法|性格特性 24  人の態度に関する29件の項目に対して7段階で回答 「まったくあてはまらない」 ~「非常にあてはまる」 開放性・誠実性・外向性・協調性・神経症傾向 無口な、社交的、話し好き、外交的、陽気な、短気、 怒りっぽい、温和な、寛大な、自己中心的、親切な、 いい加減な、ルーズな、成り行きまかせ、怠惰な、

    計画性のある、軽率な、几帳面な、不安になりやすい、 心配性、弱気になる、緊張しやすい、憂鬱な、進歩的、 独創的な、頭の回転の速い、多才の、興味の広い、好奇心が強い  回答を元にビッグファイブのスコアを算出 例:開放性= 進歩的+独創的な+頭の回転の速い+多才の+興味の広い+好奇心が強い 6
  13. 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***:

    𝑝𝑝 < 0.001) 結果|音楽要素の重要度と性格特性の相関 25 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 開放性 0.127* 0.155** 0.177** 0.107 0.255*** 0.151** 誠実性 0.076 0.062 0.031 0.127* 0.125* 0.013 外向性 0.062 0.172** 0.175** 0.098 0.254*** 0.219*** 協調性 0.025 0.048 0.088 0.158** 0.021 0.065 神経症傾向 0.003 -0.081 0.036 -0.025 -0.142* -0.120* メロディ 開放性 回答者1 4 6.0 回答者2 2 3.5 回答者3 5 3.5 回答者302 3 4.83 …
  14. 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***:

    𝑝𝑝 < 0.001) 結果|音楽要素の重要度と性格特性の相関 26 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 開放性 0.127* 0.155** 0.177** 0.107 0.255*** 0.151** 誠実性 0.076 0.062 0.031 0.127* 0.125* 0.013 外向性 0.062 0.172** 0.175** 0.098 0.254*** 0.219*** 協調性 0.025 0.048 0.088 0.158** 0.021 0.065 神経症傾向 0.003 -0.081 0.036 -0.025 -0.142* -0.120* 開放性は7種類もの音楽要素と有意な相関があり 初めて聴く楽曲の好みを多様な観点から判断 開放性の高い人は多様なジャンルの楽曲を聴く[Ferwerda+2017]
  15. 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***:

    𝑝𝑝 < 0.001) 結果|音楽要素の重要度と性格特性の相関 27 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 開放性 0.127* 0.155** 0.177** 0.107 0.255*** 0.151** 誠実性 0.076 0.062 0.031 0.127* 0.125* 0.013 外向性 0.062 0.172** 0.175** 0.098 0.254*** 0.219*** 協調性 0.025 0.048 0.088 0.158** 0.021 0.065 神経症傾向 0.003 -0.081 0.036 -0.025 -0.142* -0.120* 協調性と神経症傾向は2種類だけの音楽要素と有意な相関があり 初めて聴く楽曲の好みを限られた観点から判断 協調性と神経症傾向は好みのジャンルとの相関があまり見られない [Ferwerda+2017]
  16. 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***:

    𝑝𝑝 < 0.001) 結果|音楽要素の重要度と性格特性の相関 28 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 開放性 0.127* 0.155** 0.177** 0.107 0.255*** 0.151** 誠実性 0.076 0.062 0.031 0.127* 0.125* 0.013 外向性 0.062 0.172** 0.175** 0.098 0.254*** 0.219*** 協調性 0.025 0.048 0.088 0.158** 0.021 0.065 神経症傾向 0.003 -0.081 0.036 -0.025 -0.142* -0.120* 人と音楽とのインタラクションにおける多様性 で既知の知見と共通点
  17. 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***:

    𝑝𝑝 < 0.001) 結果|結果の活用事例 29 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 開放性 0.127* 0.155** 0.177** 0.107 0.255*** 0.151** 誠実性 0.076 0.062 0.031 0.127* 0.125* 0.013 外向性 0.062 0.172** 0.175** 0.098 0.254*** 0.219*** 協調性 0.025 0.048 0.088 0.158** 0.021 0.065 神経症傾向 0.003 -0.081 0.036 -0.025 -0.142* -0.120* 活用例:理由を伴う楽曲推薦 フォークソングの再生頻度が高い 開放性が高い[Ferwerda+2017] 歌詞の重要度が高い あなたの好きな フォークソングと 歌詞が似ているので この楽曲がお薦めです
  18. 調査方法|音楽経験 30 音楽経験に関する9件の質問に対して7段階で回答 音楽経験 質問 楽器経験 楽器を日常的に練習・演奏した期間は ダンス経験 ダンスを日常的に踊ったことのある期間は 拍ずれ気づき

    他の人の歌や演奏を聴いて拍がずれたら気づくか 音ずれ気づき 他の人の歌や演奏を聴いて音が外れたら気づくか 音楽聴取時間 1日あたり平均でどのくらいの時間音楽を聴くか 新曲聴取頻度 新曲を1ヶ月あたり平均で何曲くらい聴くか 歌詞閲覧頻度 歌詞を見ながら音楽を聴く頻度はどのくらいか カラオケ頻度 カラオケで歌う頻度はどのくらいか ライブ参加頻度 1年あたり平均で何回くらいライブに参加するか 例:楽器経験の回答 (1) まったくない (2) 1年未満 (3) 1年以上2年未満 (4) 2年以上4年未満 (5) 4年以上6年未満 (6) 6年以上10年未満 (7) 10年以上
  19. メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 楽器経験 0.100 -0.019 0.108

    0.037 0.134* 0.101 ダンス経験 -0.041 -0.047 0.126* 0.030 0.044 0.341*** 拍ずれ気づき 0.228*** 0.126* 0.082 0.107 0.302*** 0.072 音ずれ気づき 0.272*** 0.099 0.088 0.121* 0.276*** 0.001 音楽聴取時間 0.041 0.111 0.141* 0.135* 0.078 0.090 新曲聴取頻度 0.003 0.152** 0.152** 0.112 0.115* 0.169** 歌詞閲覧頻度 0.001 0.118* 0.243*** 0.120* 0.136* 0.110 カラオケ頻度 0.085 0.005 0.210*** 0.154** 0.057 0.081 ライブ参加頻度 -0.038 -0.023 0.200*** 0.004 0.039 0.179** 結果|音楽要素の重要度と音楽経験の相関 31 メロディ 楽器経験 回答者1 4 1 回答者2 2 1 回答者3 5 7 回答者302 3 2 … 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***: 𝑝𝑝 < 0.001)
  20. 結果|音楽要素の重要度と音楽経験の相関 32 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 楽器経験 0.100

    -0.019 0.108 0.037 0.134* 0.101 ダンス経験 -0.041 -0.047 0.126* 0.030 0.044 0.341*** 拍ずれ気づき 0.228*** 0.126* 0.082 0.107 0.302*** 0.072 音ずれ気づき 0.272*** 0.099 0.088 0.121* 0.276*** 0.001 音楽聴取時間 0.041 0.111 0.141* 0.135* 0.078 0.090 新曲聴取頻度 0.003 0.152** 0.152** 0.112 0.115* 0.169** 歌詞閲覧頻度 0.001 0.118* 0.243*** 0.120* 0.136* 0.110 カラオケ頻度 0.085 0.005 0.210*** 0.154** 0.057 0.081 ライブ参加頻度 -0.038 -0.023 0.200*** 0.004 0.039 0.179** 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***: 𝑝𝑝 < 0.001) 直感に沿う結果 ・楽器経験とハーモニー ・ダンス経験と踊りやすさ ・カラオケ頻度と歌詞 自明でない結果 ・音楽聴取時間と歌詞 ・新曲聴取頻度と歌詞 ・新曲聴取頻度と踊りやすさ
  21. 結果|音楽要素の重要度と音楽経験の相関 33 メロディ リズム 歌詞 雰囲気 ハーモニー 踊りやすさ 楽器経験 0.100

    -0.019 0.108 0.037 0.134* 0.101 ダンス経験 -0.041 -0.047 0.126* 0.030 0.044 0.341*** 拍ずれ気づき 0.228*** 0.126* 0.082 0.107 0.302*** 0.072 音ずれ気づき 0.272*** 0.099 0.088 0.121* 0.276*** 0.001 音楽聴取時間 0.041 0.111 0.141* 0.135* 0.078 0.090 新曲聴取頻度 0.003 0.152** 0.152** 0.112 0.115* 0.169** 歌詞閲覧頻度 0.001 0.118* 0.243*** 0.120* 0.136* 0.110 カラオケ頻度 0.085 0.005 0.210*** 0.154** 0.057 0.081 ライブ参加頻度 -0.038 -0.023 0.200*** 0.004 0.039 0.179** 10種類中6種類の音楽要素のみ掲載 (*: 𝑝𝑝 < 0.05; **: 𝑝𝑝 < 0.01; ***: 𝑝𝑝 < 0.001) 活用例:理由を伴う楽曲推薦 新曲聴取頻度が高い 歌詞の重要度が高い フォークソングの再生頻度が高い
  22. 機能1|音楽要素の重要度の登録 36 重要でない あまり 重要でない ある程度 重要だ 重要だ とても 重要だ

    ... メロディ リズム 歌詞 テンポ 10種類の各音楽要素の重要度を5段階で登録 この曲が好き 80BPM 110BPM 140BPM 歌詞が類似した様々なテンポの楽曲 を推薦
  23. 機能2|音楽要素に基づく楽曲評価 37 歌詞 メロディ 雰囲気 踊りやすさ Angel Baby / Betty

    歌詞 メロディ 雰囲気 踊りやすさ あなたの評価 みんなの評価 Angel Baby / Betty ... ...  ユーザが楽曲の各音楽要素に対する好みをレーティング  楽曲に付与した全ユーザのレーティングの平均値を表示 踊りやすさが重要 Bettyの楽曲を 踊りやすさの 平均レーティング が高い順に提示
  24. 機能3|音楽要素の情報提示 38 愛してる / 服部まさこ 歌詞 永遠の愛 テンポ やや遅い 楽器

    ギター・ピアノ センチメント ポジティブ  楽曲の各音楽要素の情報を提示  情報は既存研究で提案された技術を用いて自動的に推定 歌詞とテンポが重要 大量の新曲を 歌詞とテンポ に基づいて 効率的に探索
  25. 調査方法 39 あなたの利用している音楽配信サービス上で、この アンケートで使用した10個の各項目の中であなたの 知りたい項目の情報がそれぞれの曲に表示される機 能です。 各項目に対する情報は自動的に推定されて、下図の ように表示されます。ここでは‥ ‥ ‥

    ‥ ‥ ‥ ‥ 使いたくない あまり 使いたくない どちらとも 言えない それなりに 使いたい 使いたい 回答の理由  3つの各機能を画像も提示しながら説明(実装はしていない)  自身の利用する音楽配信サービスで使いたい程度を5段階で回答  そのように回答した理由を自由記述で回答  3種類の機能は回答者ごとにランダムな順で提示
  26. 結果|使いたい理由 41 1位 好みの楽曲を探しやすい (46) 2位 未知の楽曲に出会える (33) 3位 楽しそう・面白そう

    (11) 1位 他人の評価を参考にしたい (22) 2位 分かりやすい (14) 3位 好みの楽曲を探しやすい (13) 1位 気分・状況に合う楽曲を探しやすい (27) 2位 好みの楽曲を探しやすい (26) 3位 未知の楽曲に出会える (16)  いずれの機能でも「好みの楽曲を探しやすい」という理由が共通  機能1と3では「未知の楽曲に出会える」という理由も多い  他の機能を提案するうえでこれらの理由は有用な知見 (名)
  27. RQ1で得られた結果の活用 42 メロディ 歌詞 雰囲気 テンポ 楽器 踊りやすさ Angel Baby

    / Betty 機能2:音楽要素に基づく楽曲評価 音楽要素間の重要度の相関  相関の高い音楽要素 (例:メロディと歌声) は 一方のみを表示することでユーザの認知負荷を低減  どの音楽要素とも相関の低い音楽要素 (例:踊りやすさ) は 重要度が低くても表示することで多くのユーザにとって 少なくとも一つは重要な音楽要素が表示されることを担保
  28. アンケートと回答の公開 44 英語版のアンケートも公開中:回答者の国籍による結果の比較の分析 Kosetsu Tsukuda, Tomoyasu Nakano, Masahiro Hamasaki, Masataka

    Goto Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights from a User Survey Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)  調査に使用したアンケート (質問文・回答選択肢など) を公開  調査結果の再現性を担保するために回答も公開 (自由記述を除く)  音楽経験の調査など部分的な利用も可 https://github.com/ktsukuda/musical_factor