初学者による演奏音の自動評価を目的としたフルート音の音響分析

2023年度修士論文発表 大下沙偉

Transcript

1. 初学者による演奏⾳の⾃動評価を⽬的 としたフルート⾳の⾳響分析 ⽇本⼤学⼤学院 総合基礎科学研究科 地球情報数理科学科専攻 北原研究室 6122M10 ⼤下 沙偉 1
2. 研究背景・目的 背景 フルートは吹奏楽やオーケストラでよく演奏されている楽器だが, 少し吹き⽅を変えると⾳ が変わりやすい. しかし吹き⽅を調べると「良い⾳が出る位置を探して慣れていく」などと 書いてあり, わかりやすい記述はなかった. どのように吹けばいいのかをわかりやすく⽰すようなものがあれば良い 2 ラーン・トゥ・プレイ 最新フルート教本より
3. 研究背景・目的 3 改善点 ⼝をもう少し⼤きめに・息をもう少し上向きに等 システムの⽬標図 目的 吹いた⾳からどのように修正すれば良い ⾳になるのかを判定するシステムの作成 • 演奏⾳の評価 ⾳の総合評価や揺れ • 吹き⽅の改善点 [⼝を◯mm⼤きく]などの具体的なことはなし
4. 研究背景・目的 困難な点 吹き⽅と特徴量の関係性が不明 関連研究にも記述なし 解決案 データ収集・作成, 特徴量の抽出, 吹き⽅の分類 吹き⽅と特徴量の関係性を明らかに 4 改善点 ⼝をもう少し⼤きめに・息をもう少し上向きに等 システムの⽬標図 普通 ⼝⼤きめ 楽器を⼿前に傾けて
5. 関連研究 6 • 安藤 由典,⽇本⾳響学会誌, 1970-2003: 機械で吹く⾓度や息の強さを変えて⾳域による鳴りやすい範囲や倍⾳の数の違いや複数のフルー トの違いを分析 • ⼩野⽊ら,スーパーコンピューティングニュース, 2020: 機械でどうすれば⼈の演奏に近づけるのかを分析 • ⻄村ら, Forum Acusticum Sevilla, 2002: プロとアマチュアのフルートの⾳⾊の好みの違いを分析 • Ron Yoritaら, Meetings on Acoustics, 2015: どのような特徴量の⾳が好まれやすいのかを分析 • N. H. Fletcher, The Journal of the Acoustical Society of America , 1975: 空気圧や唇の形や倍⾳を⽐較して経験年数とどのような関係が あるかを分析 分析が主, 演奏⽅法と特徴量の関係は⾔及せず • 哘崎ら,⾳響研資, 2021: 演奏⽅法が⾳に与える影響 • G. Wilcocks,学位論⽂, 2006: 推奨する教師や⽣徒の演奏練習⽅法や, どのように演奏⽅法を変えれば⾳⾊が変化するのかをの提⽰ • Yoonchang Han, ISMIR, 2014: 空気の圧⼒, 運指を演奏⾳から判断して正しい⾳を吹いているのかを判断するシステムを作成 良い⾳かは判断していない
6. 発表の流れ 7 1. 演奏⾳実験, 主観評価実験（データ収集） 2. 分析結果 • 特徴量分析 • ⾃動評価（線形回帰, 決定⽊） 3. 練習⽀援システム • システム使⽤実験 • システムと評価者の⼀致度評価 4. まとめ
7. 演奏音と評価の収集 フルート演奏歴が⼗分に⻑い⼈（⾳⼤⽣） ⼝の⼤きさなどを細かく制御できる⼈に演奏してもらう 演奏内容 5楽譜, 8種類の演奏⽅法（[普通] [⼝を⼤きめ] [⼝を⼩さめ] [楽器を⼿前に][楽器を奥に][タンギング強め] [タンギ ング弱め]） [普通]以外は⼩・中・⼤の3段階 演奏者⾃⾝が主観評価 3つの質問項⽬（どの程度良い⾳だったか, どの程度澄んでいたか, 聞こ える息の量はどの程度少なかったか） VAS（Visual Analogue Scale）を使⽤（0~100） 8
8. 実験参加者（空欄は未回答） 9
9. 音響特徴量について 特徴量 説明 rv 振幅の範囲 dv 振幅の時間差分平均値 rf F0の範囲 df F0の時間差分平均値 vf ⾳⾼の正確さ os 吹き始めの倍⾳の本数 fs 吹き始めの全倍⾳の合計とF0成分との⽐ ns 吹き始めのスペクトル全体における調波成分の割合 ds 吹き始めの2本⽬の倍⾳と3本⽬の倍⾳の割合 oc 中間の倍⾳の本数 fc 中間の全倍⾳の合計とF0成分との⽐ nc 中間のスペクトル全体における調波成分の割合 dc 中間の2本⽬の倍⾳と3本⽬の倍⾳の割合 10 ⾳の強さ抽出 ⾳の⾼さ抽出 ⾳の波形 周波数の強さ抽出 （中間1秒） 周波数の強さ抽出 （吹き始め1秒）
10. 音響特徴量分析 11 振 幅 の 範 囲 振 幅 の 時 間 差 分 平 均 値 縦軸: 特徴量の値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⾊: 演奏者ごとに⾊を変化 ⾳ ⾼ の 正 確 さ
11. 音響特徴量分析 12 振 幅 の 範 囲 振 幅 の 時 間 差 分 平 均 値 縦軸: 特徴量の値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⾊: 演奏者ごとに⾊を変化 やや低めの値 ⾳ ⾼ の 正 確 さ
12. 音響特徴量分析 13 振 幅 の 範 囲 振 幅 の 時 間 差 分 平 均 値 縦軸: 特徴量の値 横軸: 演奏⽅法ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⾊: 演奏者ごとに⾊を変化 演奏⽅法の度合いが ⼤きいほど⾼い値 ⾳ ⾼ の 正 確 さ
13. 音響特徴量分析 14 振 幅 の 範 囲 振 幅 の 時 間 差 分 平 均 値 縦軸: 特徴量の値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⾊: 演奏者ごとに⾊を変化 ⾳ ⾼ の 正 確 さ ⼿前に傾ける ほど低い値
14. 音響特徴量分析 15 振 幅 の 範 囲 振 幅 の 時 間 差 分 平 均 値 縦軸: 特徴量の値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⾊: 演奏者ごとに⾊を変化 ⾳ ⾼ の 正 確 さ 奥に傾ける ほど⾼い値
15. 主観評価分析 16 ど の く ら い 良 い ⾳ だ 8 た か ど の 程 度 澄 ん で い た か 聞 こ え る 息 の 量 縦軸: 主観評価値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順
16. 主観評価分析 17 ど の く ら い 良 い ⾳ だ 8 た か ど の 程 度 澄 ん で い た か 聞 こ え る 息 の 量 縦軸: 主観評価値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 演奏⽅法の度合いが ⼤きいほど低い値 演奏⽅法の度合いが ⼤きいほど低い値
17. 主観評価分析 18 ど の く ら い 良 い ⾳ だ 8 た か ど の 程 度 澄 ん で い た か 聞 こ え る 息 の 量 縦軸: 主観評価値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⼝を⼩さくする ほど低い値
18. 主観評価分析 19 ど の く ら い 良 い ⾳ だ 8 た か ど の 程 度 澄 ん で い た か 聞 こ え る 息 の 量 縦軸: 主観評価値 横軸: 吹き⽅ごとに分割 • [普通][⼝を⼤きめに][⼝を⼩さめに][楽器を⼿前に傾けて][楽器を奥に傾けて][タンギング強め][タンギング弱め]の順 • [普通]以外の吹き⽅は吹き⽅の段階が⼩→中→⼤の順 ⼝を⼩さくする ほど⾼い値
19. 音響特徴量と主観評価の分析 20 振 幅 の 時 間 差 分 平 均 値 基 本 周 波 数 の 範 囲 中 間 部 の 倍 ⾳ の 本 数 縦軸: 特徴量の値 横軸: [どのくらい良い⾳だったか]の評価値 評価と特徴量の関係性はあまり⾒られなかった
20. 線形回帰 ⽬的変数: 主観評価値, 説明変数: ⾳響特徴量 絶対平均誤差（MAE）: 13.55 相関係数: 0.40 弱めの相関あり 実際の評価が⾼い場合に予測値にあまり変化がない 係数より • 揺れはなるべく⼩さい⽅が評価が⾼い • 倍⾳の本数が多く, 息の⾳などの⾮調波成分が少ないほど評価が⾼い • 吹き始めはF0成分以外の割合, 中間ではF0成分の割合が⾼いほど評価 が⾼い 不適切な演奏時, 吹き始めが安定せず, 倍⾳数が少なくなりfsが増⼤ 21 線形回帰で得られた係数 縦軸: 予測値 横軸: 主観評価値
21. 線形回帰 22 線形回帰で得られた係数 ⽬的変数: 主観評価値, 説明変数: ⾳響特徴量 絶対平均誤差（MAE）: 13.55 相関係数: 0.40 弱めの相関あり 実際の評価が⾼い場合にシステムの予測にあまり変化がない 係数より • 揺れはなるべく⼩さい⽅が評価が⾼い • 倍⾳の本数が多く, 息の⾳などの⾮調波成分が少ないほど評価が⾼い • 吹き始めはF0成分以外の割合, 中間ではF0成分の割合が⾼いほど評価 が⾼い 不適切な演奏時, 吹き始めが安定せず, 倍⾳数が少なくなりfsが増⼤ 縦軸: 予測値 横軸: 主観評価値
22. 線形回帰 23 線形回帰で得られた係数 ⽬的変数: 主観評価値, 説明変数: ⾳響特徴量 絶対平均誤差（MAE）: 13.55 相関係数: 0.40 弱めの相関あり 実際の評価が⾼い場合にシステムの予測にあまり変化がない 係数より • 揺れはなるべく⼩さい⽅が評価が⾼い • 倍⾳の本数が多く, 息の⾳などの⾮調波成分が少ないほど評価が⾼い • 吹き始めはF0成分以外の割合, 中間ではF0成分の割合が⾼いほど評価 が⾼い 不適切な演奏時, 吹き始めが安定せず, 倍⾳数が少なくなりfsが増⼤ 縦軸: 予測値 横軸: 主観評価値
23. 線形回帰 24 線形回帰で得られた係数 ⽬的変数: 主観評価値, 説明変数: ⾳響特徴量 絶対平均誤差（MAE）: 13.55 相関係数: 0.40 弱めの相関あり 実際の評価が⾼い場合にシステムの予測にあまり変化がない 係数より • 揺れはなるべく⼩さい⽅が評価が⾼い • 倍⾳の本数が多く, 息の⾳などの⾮調波成分が少ないほど評価が⾼い • 吹き始めはF0成分以外の割合, 中間ではF0成分の割合が⾼いほど評価 が⾼い 不適切な演奏時, 吹き始めが安定せず, 倍⾳数が少なくなりfsが増⼤ 縦軸: 予測値 横軸: 主観評価値
24. 線形回帰 ⽬的変数: 主観評価値, 説明変数: ⾳響特徴量 絶対平均誤差（MAE）: 13.55 相関係数: 0.40 弱めの相関あり 評価者ごとの相関係数より • 2⼈には相関があり, 1⼈は弱い相関がある 2⼈に⽐べて評価が全体的に⾼かった 26 縦軸: 予測値 横軸: 主観評価値 各評価者の相関係数
25. 決定木 27 ⼝の⼤きさに関する決定⽊ 楽器の傾きに関する決定⽊ ⽬的変数: 演奏⽅法, 説明変数: ⾳響特徴量 演奏者の半分を学習データ, 残りをテストデータ • [普通] [⼝を⼤きめに] [⼝を⼩さめに]の3値分類 • [普通] [楽器を⼿前に傾けて] [楽器を奥に傾けて]の3値分類 決定⽊の識別率
26. 練習支援システム システム概要 総合点: 線形回帰で得られた式から評価 どのような演奏だったか 1. ⾳量, ⾳⾼: 安定度から判断 2. ⾳⾊: 倍⾳の本数から判断 原因 1. ⾳量, ⾳⾼: 安定度から判断 2. その他: 決定⽊から判断 28 システムの表⽰
27. 練習支援システム システム使⽤実験の流れ（対象: 未経験者〜初⼼者） 1. Youtube にあるフルートの教本動画を視聴しながら, 10 分程度演奏 練習（リンク1, リンク2） 2. システムを使⽤し, 評価や現在の演奏⽅法を確認しながら 30 分程度 練習 3. システムの使いやすさなどのアンケートを回答 （0~6の7段階） （本発表ではアンケート結果を省略） 29 システム使⽤時の環境
28. システムと評価者の一致度 演奏⾳評価（対象: フルートの⾳楽経験の⻑い⼈, ⾳⼤⽣など） システムを使⽤した際の⾳を使⽤（30個） • 演奏者や総合点, 考えられる問題点がなるべくバラけるように選択 総合点や考えられる問題点をシステムと評価者で⽐較（本発表では演奏⾳の点数についてのみ発表） 31 質問内容 質問2の選択肢 使⽤データ 音数
29. システムと評価者の一致度 32 参加者 評価概要
30. システムと評価者の一致度 各⾳⼤⽣の回答を最⼩値が0最⼤値が100になるように正規化し た後, ⾳⼤⽣の回答の平均を出している 平均絶対誤差（MAE） プロ奏者: 20.32 ⾳⼤⽣の平均: 23.41 相関係数 プロ奏者: 0.66 ⾳⼤⽣の平均: 0.51 どちらも相関があるといえる 実際の評価が20未満のMAEは11.9と誤差が減っているが, それ 以上の評価ではシステムの評価にあまり変化がない 33 システム予測値と主観評価値 （⻘: プロ演奏家, ⾚: ⾳⼤⽣の平均） 評価の変動 （緑: システム, ⻘: プロ演奏家, 橙: ⾳⼤⽣の平均）
31. システムと評価者の一致度 ⾳の評価の動きより • プロ演奏家の⽅が評価の幅が広い • プロ演奏家も⾳⼤⽣も同じように評価が上下 • 7~14⾳以外ではシステムの評価とプロ演奏家の評価が同じ ような動き 34 システム予測値と主観評価値 （⻘: プロ演奏家, ⾚: ⾳⼤⽣の平均） 評価の変動 （緑: システム, ⻘: プロ演奏家, 橙: ⾳⼤⽣の平均） 全員評価低（26⾳⽬） 全員評価⾼（15⾳⽬） システム⾼ 評価低（11⾳⽬） システム低 評価⾼（14⾳⽬）
32. まとめ ⽬的：フルートの演奏⾳から評価と改善点を表 ⽰するシステムの作成 分析と⾃動評価の結果 線形回帰より主観評価との, 決定⽊より吹き⽅ を6割程度判別 実際の評価値が⾼くなってもシステムの評価に あまり変化がない 吹き⽅をすべて分類しようとすると2割程度 練習⽀援システムの結果 主観評価が6割程度⼀致 36 考えられる原因 • 適切な演奏:不適切な演奏=1:6であるため, 線形 回帰の式が不適切な演奏を中⼼に予測している • 決定⽊では演奏⽅法の度合いが「中」より⼤き いものを分類の対象 かなり不適切な演奏でないと⼝の⼤きさや楽器の傾きに 関する表⽰がされない • 組み⽴てたフルートでなく頭部管のみで演奏 未経験者〜初⼼者に組み⽴てたフルートの演奏が困難で あることが予備実験で判明
33. 課題 分析に関して • 演奏実験後の主観評価が半数程度しか得られていない 1⼈1⼈の影響が⼤, 個⼈の好みなどが影響しているかも データを多く集めることで不適切な演奏⽅法をした際の⾳響特徴量や主観評価値の平均が得られ, 演奏⽅法の分類の 精度が上がるのでは システムに関して • 全く⾳が出ていない場合や空気のような⾳の場合にエラー この場合でもどのような吹き⽅かを提⽰できれば, 全くフルートに触れたことのない⼈でもシステムを利⽤できるのでは • ロングトーンのみを判断 応⽤すればアルペジオやスケール, 曲の⼀部などにも使⽤できるのでは 37