Upgrade to Pro — share decks privately, control downloads, hide ads and more …

歌唱難易度に関する要因の調査 -ポピュラー音楽を中心に-

Yuya Yamamoto
February 06, 2019

歌唱難易度に関する要因の調査 -ポピュラー音楽を中心に-

卒研最終発表のスライドです.

Yuya Yamamoto

February 06, 2019
Tweet

More Decks by Yuya Yamamoto

Other Decks in Research

Transcript

  1. 2019/2/7 7 関連研究 楽器演奏の難易度を判定する研究では ピアノ 藤井[1]・Chiu[2]・ Sebastien[3]ほか ギター 小泉[4]・斎藤[5]ほか 複数楽器

    Holder[6] この流れで 難易度を判定している 楽器演奏難易度研究は多い 楽譜 特徴量1 特徴量2 特徴量3 ・ ・ ・ 特徴量をもとに 難易度算出 難易度 総合評価 B メロディC リズムA 音域B 難易度に関する 特徴抽出
  2. 関連研究をそのまま適用できる? 2019/2/7 8 歌唱の難易度では どうやって? 楽譜 特徴量1 特徴量2 特徴量3 ・

    ・ ・ 特徴量をもとに 難易度算出 難易度 総合評価 B メロディC リズムA 音域B 難易度に関する 特徴抽出 歌手の要因を考える 必要あり・・・? 歌いにくさの 調査をやろう!! 難易度の 正解データ
  3. 2019/2/7 11 特徴量名 この特徴量が 大きいと? 音高平均 曲の音域が 全体的に高い 音高メジアン 曲の音域が

    全体的に高い 最高音 最も高い音が 高くなる 最低音 最も低い音が 高くなる 音域区間長 音域が広い Weighted Pitch Count Sum 無理のある 音域が長く続く ピッチ エントロピー 幅広い音域で 満遍ない音高 音高関係 特徴量名 この特徴量が 大きいと? 跳躍進行割合 急な音の上下 が多い 上行跳躍進行 割合 急な音の 上がりが多い 下行跳躍進行 割合 急な音の 下がりが多い 旋律進行方向 変化割合 ジグザグな メロディライン Leaping Register 裏声と地声の 行き来が激しい メロディ関係 特徴量名 この特徴量が 大きいと? テンポ 速い タイの数 シンコペー ションが多い 音価変化割合 音の長さが よく変わる 音価 エントロピー 音の長さの 種類が多い リズム関係 用いた楽譜特徴量
  4. 2019/2/7 24 0.000 1.000 2.000 3.000 4.000 5.000 6.000 7.000

    No.0 No.1 No.2 No.3 No.4 No.5 No.6 No.7 No.8 No.9 No.10 No.11 難易度評価平均 実験参加者別 各実験参加者における各クラスタごとの難易度評価平均 クラスタA平均 クラスタB平均 クラスタC平均 クラスタD平均
  5. 2019/2/7 25 軒並み赤クラスタ(特筆的理由なし)の難易度評価が低い 0.000 1.000 2.000 3.000 4.000 5.000 6.000

    7.000 No.0 No.1 No.2 No.3 No.4 No.5 No.6 No.7 No.8 No.9 No.10 No.11 難易度評価平均 実験参加者別 各実験参加者における各クラスタごとの難易度評価平均 クラスタA平均 クラスタB平均 クラスタC平均 クラスタD平均
  6. 2019/2/7 26 青クラスタor黄色クラスタが高い実験参加者が多い →音域をより重視する歌唱者と複雑さをより重視する歌唱者に分かれるのではないか 0.000 1.000 2.000 3.000 4.000 5.000

    6.000 7.000 No.0 No.1 No.2 No.3 No.4 No.5 No.6 No.7 No.8 No.9 No.10 No.11 難易度評価平均 実験参加者別 各実験参加者における各クラスタごとの難易度評価平均 クラスタA平均 クラスタB平均 クラスタC平均 クラスタD平均 難易度評価が最も高くなった クラスタをハイライト
  7. 2019/2/7 27 跳躍割合 上行跳躍 割合 下行跳躍 割合 変化割合 MSDR LR63

    LR66 ピッチエント ロピー 音域 平均 メジアン 最低音 最高音 WPCS63 WPCS66 音価変化 割合 音価エント ロピー タイの数 テンポ クラスタA -1.333 -1.425 -1.170 -1.166 -1.202 -1.418 -1.282 -1.383 -1.476 -0.604 -0.759 0.006 -1.152 -1.354 -1.393 1.159 1.300 1.252 -0.875 クラスタB -0.165 0.132 -0.316 -0.428 -0.364 0.371 0.657 0.860 0.738 1.491 1.469 1.379 1.164 1.014 0.880 0.410 0.141 -1.006 -0.826 クラスタC 0.554 0.887 0.281 0.491 0.471 0.912 0.916 0.587 0.316 -0.543 -0.274 -0.956 -0.405 0.371 0.533 -0.423 -0.367 0.318 1.080 クラスタD 0.943 0.406 1.205 1.102 1.095 0.135 -0.291 -0.063 0.422 -0.344 -0.436 -0.429 0.392 -0.031 -0.020 -1.145 -1.075 -0.565 0.622 -2.000 -1.500 -1.000 -0.500 0.000 0.500 1.000 1.500 2.000 クラスタごとの楽譜特徴量の平均 クラスタA クラスタB クラスタC クラスタD 難易度理由項目と楽譜特徴量は性質がおおむね一致 定性的な特徴を示すことができているのでは 跳躍 音域 メロディ複雑 リズム
  8. 2つの分析結果まとめ 難易度-特徴量間の相関分析 • 難易度に相関がみられた特徴は 「跳躍進行」「音高の代表値」 「旋律進行方向変化割合」 「Leaping Register」 • しかしその相関の強さ度合いは

    個人により差が見られた 理由項目の分析 • 難しい理由は「音域」「跳躍」「複雑さ」の 3つの項目に大別 クラスタもその基準で別れた • 歌唱者を「音域重視」「複雑さ重視」に大別 • 各クラスタの性質と、各クラスタで大きい値 を示す楽譜特徴量の性質は概ね一致 2019/2/7 28
  9. まとめ 研究の概要 • 歌唱難易度の要因を主観評価実験と楽譜特徴量を用いて解明 実験 • 歌唱難易度についての主観評価を得る • 楽譜特徴量を設計、難易度評価との相関を分析 •

    難易度理由から楽曲ごとにどう歌いにくいかを分析 結果 • 歌いにくさに大きく関係する特徴は 「音域」「跳躍」「複雑さ」 • その影響の程度には個人差あり 2019/2/7 31
  10. 今後は データの量・質に関する課題 • より多くの実験参加者・使用楽曲の再考 • 未知のメロディを覚えてもらい歌わせる実験など • 記憶の影響の排除 • 欠損値のないデータ

    特徴量・分析手法の再考 • 調・音楽構造など、音楽理論の観点からの特徴量 • 難易度算出を意識した分析(重回帰など) 音声の分析 • 歌唱音声を収録した 難しい楽曲の歌唱時、音声に特徴が出る可能性 2019/2/7 32
  11. 参考文献 [1] 藤井ほのか, 佐藤陸, and 齋藤康之. "SMF 解析による楽曲の難易度判定." 研究報告音楽情報科学 (MUS)

    2016.1 (2016): 1-6. [2] Chiu, Shih-Chuan, and Min-Syan Chen. "A study on difficulty level recognition of piano sheet music." Multimedia (ISM), 2012 IEEE International Symposium on. IEEE, 2012. [3] Sébastien, Véronique, et al. "Score analyzer: automatically determining scores difficulty level for instrumental e-learning." 13th International Society for Music Information Retrieval Conference (ISMIR 2012). 2012. [4] 森田花野, 小泉悠馬, and 伊藤克亘. "教則本を利用したギターフレーズの難易度推定." 第 75 回全 国大会講演論文集 2013.1 (2013): 267-268. [5] 齋藤蕗生, 島田広, and 田村直良. "ギター練習支援システムのためのフレーズ難易度評価." 研究報 告音楽情報科学 (MUS) 2018.21 (2018): 1-3. [6] Holder, Ethan, Eli Tilevich, and Amy Gillick. "Musiplectics: computational assessment of the complexity of music scores." 2015 ACM International Symposium on New Ideas, New Paradigms, and Reflections on Programming and Software (Onward!). ACM, 2015. [7] 【レコチョク】"音楽ダウンロードサイト." http://recochoku.jp/special/ 2019/2/7 33
  12. 基本用語 2019/2/7 35 • 音高:音符の音の高さ ド、レ、ミなど • 音程:2つの音符の音高の間隔 半音単位 •

    音価:音符の長さ 全・2分・4分・8分など • 跳躍:跳躍進行のこと 次スライドにて詳細 • 旋律進行方向:音が上がったか・下がったかという向き
  13. 本実験で使用した楽曲 2019/2/7 37 楽曲名 アーティスト名 テンポ(BPM) Lemon 米津玄師 87 ultra

    soul B’z 126 キセキ GReeeen 92 チェリー スピッツ 97 世界に一つだけの花 SMAP 100 前前前世 RADWIMPS 190 天体観測 BUMP OF CHICKEN 165 恋 星野源 158 粉雪 レミオロメン 87 小さな恋のうた MONGOL800 220
  14. 関連研究 難易度に関して 2019/2/4 図書館情報メディア研究科 博士前期課程 口述試験 J41470017 山本雄也 39 難易度研究のアプローチ手法は主に3種類

    パフォーマンスからの 逆算 • 「よい評価を出せない ものの難易度は高い」 • カラオケ楽曲推薦[8] • サッカーゴールセーブ 難易度[9] 対人実験で得られる データの利用 • 難易度を人から得る • 難所聴き取りによる ピアノ難易度判定[10] • 顔動作からのe- Learning難易度[11] ドメイン知識を利用した ルールベース • 何が難しそうか当たり がついている場合 • 音域・奏法を考慮した 複数管楽器演奏難易度 [6]
  15. 2019/2/7 41 • 目的 歌った結果から、歌いにくい楽曲の特徴を挙げる 難易度判定に用いる特徴量を検討する • 日時・場所 2018 07/22~23

    カラオケバンバンつくば天久保店(一般的なカラオケボックス) • 評価方法 主観評価:どこが歌いにくかったかの項目を挙げ記録する 客観評価:歌唱軌跡の分析 予備調査 概要
  16. 2019/2/7 42 歌った楽曲一覧(全32曲、[7]より) 童謡 初級 中級 上級 ウルトラ上級 こいのぼり お正月

    故郷 かえるのうた きらきらぼし あかとんぼ どんぐりころころ チェリー/スピッツ リンダリンダ/ The Blue Hearts 浪漫飛行/米米CLUB 小さな恋のうた /MONGOL800 3月9日/レミオロメン ハナミズキ/一青窈 ありがとう/ いきものがかり TSUNAMI/ サザンオールスターズ 奏/スキマスイッチ SPARK/ THE YELLOW MONKEY アポロ/ポルノグラフィ ティ Let it Go~ありのまま で/松たか子 366日/HY POPSTAR/平井堅 Rusty nail/X JAPAN 粉雪/レミオロメン やさしいキスをして /Dreams Come True ロマンスの神様/ 広瀬香美 もらい泣き/一青窈 紅/ X JAPAN 7thTrigger/ UVERWORLD 瞳の住人/ L’Arc~en~ciel GO!GO!MANIAC/ 放課後ティータイム 私以外私じゃないの/ ゲスの極み乙女。 蠟人形の館/ 聖飢魔Ⅱ
  17. 2019/2/7 43 調査手順 難易度ラベルクラスが簡単なものから順に1曲ずつ歌う インターバルを3分入れ、その間に特徴を記録 ①童謡 ②初級 ③中級 ④上級 ⑤ウルト

    ラ上級 3分 3分 3分 3分 3分 楽曲1-1 →歌いやすい 順次進行多 め 楽曲2-1 →歌いやすい テンポが ゆっくり音価 楽曲3-1 →跳躍が少し 多い 音価は粗め 楽曲4-1 →音域が広い リズムが複雑 楽曲5-1 →裏声を出せ ないと無理
  18. 2019/2/7 44 予備調査 結果 歌いにくさに関係すると思われた特徴 音高に関するもの リズムに関するもの それ以外 ・跳躍進行の多さ ・音域の広さ

    ・音域に無理があるか ・メロディのなじみにくさ ・シンコペーションリズム ・複雑なリズムの多さ ・テンポの速さ ・息継ぎのしづらさ
  19. 予備実験結果 -難易度評価- 2019/2/7 48 0 0.5 1 1.5 2 2.5

    3 3.5 A B S 難易度 セクション 各曲セクションごとの難易度評価平均 チェリー TSUNAMI 紅蓮の弓矢 浪漫飛行 アポロ 粉雪 レコチョク 難易度 楽曲名 初級 チェリー 初級 浪漫飛行 中級 TSUNAMI 中級 アポロ 上級 粉雪 上級 紅蓮の弓矢 レコチョク難易度と必ずしも一致せず
  20. 2019/2/7 49 何に関する特徴か 項目名 相関係数 メロディ 跳躍進行割合 0.497 上向跳躍進行割合 0.375

    下降跳躍進行割合 0.286 音域 -0.276 WPCS 0.106 リズム タイの数 -0.155 音価コスト -0.464 予備実験結果 -相関- 4段階の難易度調査と特徴量の相関
  21. 2019/2/7 50 Moving with Same Duration Rate (MSDR) • 異なる音高・同じ音価での遷移割合

    • この値が高いと、せわしないメロディになる MSDRが高いフレーズ MSDRが低いフレーズ MSDR = 2/(7-1) = 0.333 MSDR = 5/(7-1) = 0.833
  22. Weighted Pitch Count Sum(WPCS) 2019/2/7 51 各音の総音長の重み付け和 分析区間中、N種類中i番目の音符 に対し重み で積をとり、

    その総和をWPCS値とする WPCS = σ=1 ( ∙ ( )) ただし、 ( ):分析区間中の の総音長 :次スライド参照
  23. Leaping Register(LR) 2019/2/7 53 • 喚声点(地声区と裏声区の境目)をまたぐ回数 • Ex. 粉雪/レミオロメン サビ

    喚声点D#4とした場合:4回 • LR63→D#4(MIDIノートナンバー63)を喚声点としたもの • LR66→F#4(MIDIノートナンバー66)を喚声点としたもの
  24. 2019/2/7 56 難しい理由 10項目・該当するものを選択 該当する場合はその強さを3段階で回答 • メロディが複雑 • 急に音の上下 •

    音域に無理がある • リズムが複雑 • リズムが細かい • テンポが速い • 肺活量に無理がある • 歌詞が発音しづらい • 特殊奏法 • その他(自由記述)
  25. 相関分析結果 個人こと 2019/2/7 59 No.0 No.1 No.2 No.3 No.4 No.5

    No.6 No.7 No.8 No.9 No.10 No.11 平均 跳躍割合 *0.385 **0.691 0.549 0.326 **0.683 0.329 *0.364 -0.066 0.24 *0.364 0.157 **0.555 0.518 上行跳躍割合 0.271 **0.541 0.36 0.25 *0.513 0.173 0.22 -0.16 0.235 0.242 0.124 *0.42 0.395 下行跳躍割合 *0.407 **0.631 *0.546 0.312 **0.632 0.397 *0.411 0.068 0.196 *0.397 0.157 **0.562 0.518 音域の広さ 0.235 0.236 *0.488 -0.206 0.224 0.388 0.124 -0.277 0.202 0.036 0.168 0.106 0.228 音価エントロピー -0.239 0.163 0.011 -0.113 -0.239 0.089 -0.139 *0.531 -0.067 -0.196 0.01 0.073 -0.132 タイの数 -0.288 -0.14 -0.05 -0.306 -0.354 -0.398 -0.255 -0.085 -0.292 -0.302 -0.141 -0.197 -0.365 テンポ *0.416 -0.13 0.211 0.224 0.212 0.08 *0.428 *-0.466 -0.086 *0.427 -0.071 -0.028 0.144 旋律進行方向変化割合 *0.445 0.416 0.196 *0.42 **0.635 *0.503 0.352 -0.24 0.297 *0.364 0.144 **0.557 0.462 ピッチエントロピー 0.296 0.197 *0.465 -0.015 0.361 *0.527 0.099 -0.256 0.323 -0.025 0.306 *0.368 0.295 MSDR 0.362 0.19 0.088 0.365 *0.5 0.321 0.356 -0.212 0.19 0.272 0.011 *0.395 0.37 WPCS63 0.295 0.375 **0.565 -0.22 0.332 0.418 0.121 -0.163 0.187 0.039 0.356 0.24 0.317 WPCS66 0.28 0.314 **0.566 -0.269 0.283 0.364 0.079 -0.285 0.159 0.012 0.323 0.241 0.263 LR63 *0.416 **0.591 0.423 0.12 0.234 0.442 0.467 0.258 -0.114 *0.439 *0.364 -0.008 0.442 LR66 *0.472 *0.466 **0.58 0.079 0.259 0.236 0.337 0.145 0.036 0.312 *0.38 0.072 0.444 音価変化割合 -0.197 0.11 0.078 -0.156 -0.261 -0.145 -0.162 0.333 -0.131 -0.131 0.038 -0.154 -0.133 音高の平均値 0.258 0.389 0.281 0.127 0.151 0.151 0.271 **0.623 -0.01 0.232 *0.378 0.07 0.441 音高の中央値 0.291 0.398 0.282 0.203 0.2 0.23 0.295 **0.614 0.032 0.221 *0.382 0.114 0.462 最低音 0.211 0.294 0.109 0.167 0.088 -0.16 0.205 **0.581 -0.142 0.298 0.321 0.072 0.356 最高音 0.349 *0.456 *0.494 -0.06 0.23 0.173 0.251 0.435 0.063 0.313 **0.487 0.142 0.504 無相関検定において *:p<.05,**:p<.01 で相関あり
  26. 2019/2/7 61 No.1 No.2 No.3 No.4 No.5 No.6 No.7 No.8

    No.9 No.10 No.11 No.12 嗜好度 -0.03 0.51 0.135 -0.197-0.103-0.057-0.261-0.485-0.425-0.383-0.073-0.156 記憶の確実度 -0.201 0.218 0.252 0.154 -0.027-0.812-0.527-0.422-0.018-0.373-0.259-0.515 -1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 難易度と外的要因の相関 嗜好度 記憶の確実度
  27. 補助資料の参考文献 [8] Guan, Chu, et al. "Vocal Competence Based Karaoke

    Recommendation: A Maximum-Margin Joint Model." Proceedings of the 2016 SIAM International Conference on Data Mining. Society for Industrial and Applied Mathematics, 2016. [9]平嶋裕輔, et al. "サッカーにおけるゴールキーパーのシュートストップ難易度の定量化." 体育学研 究 59.2 (2014): 805-816. [10]宮川洋平. "ピアノ用楽譜の難易度評価手法の研究." (2003). [11]中村和晃, et al. "e-learning における学習者の顔動作観測に基づく主観的難易度の推定." 電子情 報通信学会論文誌 D 93.5 (2010): 568-578. [12]田中良久:心理学研究法 16 尺度構成, 東京大学出版会, p.98, (1973) [13]狩野裕:AMOS, EQS, LISRELによるグラフィカル多変量解析, 現代数学社, p.156, (1997). 2019/2/7 62