マイクロホンアレイを用いた音響信号処理/ASJ summer seminar 2021 array signal processing

日本音響学会 第２２回サマーセミナー「音響学の基礎と最近のトピックス」 講演資料

Transcript

1. マイクロホンアレイを用いた音響信号処理 日本音響学会第 22 回サマーセミナー 「音響学の基礎と最近のトピックス」 中嶋 大志 システムデザイン研究科 情報科学域 博士後期課程 1 年 日本学術振興会特別研究員 DC1
2. はじめに 1/9 自己紹介 • 名前: なか 中 しま 嶋 た い し 大志 � @_tai_shi • 経歴: ∘ 2021 年: 東京都立大学大学院 博士前期課程 修了 ∘ 現在: 同 博士後期課程 1 年，日本学術振興会特別研究員 DC1 • 研究分野: ブラインド音源分離
3. はじめに 1/9 自己紹介 • 名前: なか 中 しま 嶋 た い し 大志 � @_tai_shi • 経歴: ∘ 2021 年: 東京都立大学大学院 博士前期課程 修了 ∘ 現在: 同 博士後期課程 1 年，日本学術振興会特別研究員 DC1 • 研究分野: ブラインド音源分離 本日の内容 マイクロホンアレイ マイクロホンアレイを用いた音響信号処理 ビームフォーミング 音源分離 残響除去 研究紹介: 円状マイクロホンアレイを用いた回転移動に頑健な信号処理 参考書・ツールの紹介
4. マイクロホンアレイ
5. マイクロホンアレイとは？ 2/9 • 複数のマイクロホンを並べた録音機器 Amazon Echo Eigenmike TAMAGO-Pi
6. マイクロホンアレイとは？ 2/9 • 複数のマイクロホンを並べた録音機器 Amazon Echo Eigenmike TAMAGO-Pi 🤔 単一マイクロホンとの違い ෳ਺ϚΠΫ ୯ҰϚΠΫ ࣌ؒࠩ ࣌ؒࠩ Իྔࠩ Իྔࠩ 音信号だけでなくマイク間の情報も取得可能！
7. マイクロホンアレイを用いた音響 信号処理
8. ビームフォーミング 3/9 ϏʔϜϑΥʔϛϯά ؍ଌ৴߸ ਪఆ৴߸ • 特定の方向の音を強調する！ • 代表的な手法 ∘ 遅延和ビームフォーマ ∘ 最小分散無歪応答ビームフォーマ
9. ビームフォーミング 3/9 ϏʔϜϑΥʔϛϯά ؍ଌ৴߸ ਪఆ৴߸ • 特定の方向の音を強調する！ • 代表的な手法 ∘ 遅延和ビームフォーマ ∘ 最小分散無歪応答ビームフォーマ
10. 音の伝搬・観測のモデル 4/9 ؍ଌ৴߸ • 𝑐: 音速 • 𝑑: マイク間距離 • 𝜃: 到来方向 • 𝜏 = 𝑑 sin 𝜃 𝑐 : 到来時間差 • 𝑥1 (𝑡) = 𝑠(𝑡 − 𝜏): 1 個目のマイクの観測信号 • 𝑥2 (𝑡) = 𝑠(𝑡): 2 個目のマイクの観測信号
11. 遅延和ビームフォーマ 5/9 ؍ଌ৴߸ ਪఆ৴߸ • 𝑤1 (𝑡): 𝑥1 (𝑡) の遅延を補償するフィルタ • 𝑤2 (𝑡): 𝑥2 (𝑡) の遅延を補償するフィルタ • 𝜃 方向から到来した音は同じ位相で加算 � 強調 • 他方向から到来した音は異なる位相で加算 � 抑圧
12. 音源分離 6/9 Իݯ෼཭ ؍ଌ৴߸ ਪఆ৴߸ • 混ざった音を分ける！ • 代表的な手法 ∘ 独立成分分析 [Comon1994] ∘ 独立ベクトル分析 [Kim+2006,Ono2011] ∘ 独立低ランク行列分析 [Kitamura+2016] 詳しくは李さんが説明してくださったかと思います！
13. 残響除去 7/9 ࢒ڹআڈ ؍ଌ৴߸ ਪఆ৴߸ • ぼやけた音をきれいにする！ • 代表的な手法 ∘ 多チャネル線形予測 [Nakatani+2010] • 手前味噌な手法 ∘ ILRMA-T-ISS [Nakashima+2021] · 残響除去・音源分離同時最適化のパラメータ更新を高速化！
14. 研究紹介: 円状マイクロホンアレイ を用いた回転移動に頑健な信号処理
15. 円状マイクロホンアレイ上の音場補間 8/9 • 背景 ∘ ここまで紹介した手法はいずれも時不変性を仮定 🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない
16. 円状マイクロホンアレイ上の音場補間 8/9 • 背景 ∘ ここまで紹介した手法はいずれも時不変性を仮定 🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない � 時不変性が成り立たない状況でも信号処理をしたい！
17. 円状マイクロホンアレイ上の音場補間 8/9 • 背景 ∘ ここまで紹介した手法はいずれも時不変性を仮定 🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない � 時不変性が成り立たない状況でも信号処理をしたい！ • 方法 4PVOE
    pFME JOUFSQPMBUJPO "SSBZ
    TJHOBM QSPDFTTJOH .JDSPQIPOF
    BSSBZ 3PUBUJPO
    BOHMF ϶ ϶ ∘ 音場補間 [若林 +2020] により回転前の信号を推定 � あたかもマイクアレイが回転していないかのように処理！
18. 円状マイクロホンアレイ上の音場補間 8/9 • 背景 ∘ ここまで紹介した手法はいずれも時不変性を仮定 🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない � 時不変性が成り立たない状況でも信号処理をしたい！ • 方法 4PVOE
    pFME JOUFSQPMBUJPO "SSBZ
    TJHOBM QSPDFTTJOH .JDSPQIPOF
    BSSBZ 3PUBUJPO
    BOHMF ϶ ϶ ∘ 音場補間 [若林 +2020] により回転前の信号を推定 � あたかもマイクアレイが回転していないかのように処理！ • 文献 ∘ 回転角度の最尤推定 [連 +2021] ∘ ビームフォーミングへの応用 [Wakabayashi+2021,若林 +2021]
19. 参考書・ツールの紹介
20. 参考書・ツールの紹介 9/9 参考書 • 音のアレイ信号処理 [浅野 2011] ∘ アレイ信号処理の代表的書籍 • Python で学ぶ音源分離 [戸上 2020] ∘ 最近の音源分離・残響除去手法を多数紹介 • 音源分離における音響モデリング [北村 2017] ∘ 北村大地先生による俯瞰的・網羅的解説
21. 参考書・ツールの紹介 9/9 参考書 • 音のアレイ信号処理 [浅野 2011] ∘ アレイ信号処理の代表的書籍 • Python で学ぶ音源分離 [戸上 2020] ∘ 最近の音源分離・残響除去手法を多数紹介 • 音源分離における音響モデリング [北村 2017] ∘ 北村大地先生による俯瞰的・網羅的解説 Python パッケージ • pyroomacoustics ∘ 多数のアレイ信号処理手法を実装 AuxIVA, ILRMA もあります！ • nussl ∘ DNN ベースの音源分離手法が豊富
22. 参考文献 i [Comon1994] P. Comon, “Independent component analysis, a new concept?” Signal Processing, vol. 36, no. 3, pp. 287–314, Apr. 1994. [Kim+2006] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blind source separation exploiting higher-order frequency dependencies,” IEEE/ACM Trans. Audio, Speech, Language Process., vol. 15, no. 1, pp. 70–79, 2006. [Kitamura+2016] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Trans. Audio, Speech, Language Process., vol. 24, no. 9, pp. 1622–1637, 2016. [Nakashima+2021] T. Nakashima, R. Scheibler, M. Togami, and N. Ono, “Joint dereverberation and separation with iterative source steering,” in Proc. ICASSP, Jun. 2021. [Nakatani+2010] T. Nakatani, T. Yoshioka, K. Kinoshita, M. Miyoshi, and B. Juang, “Speech dereverberation based on variance-normalized delayed linear prediction,” IEEE/ACM Trans. Audio, Speech, Language Process., vol. 18, no. 7, pp. 1717–1731, 2010.
23. 参考文献 ii [Ono2011] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” in Proceedings of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp. 189–192, 2011. [Wakabayashi+2021] Y. Wakabayashi, K. Yamaoka, and N. Ono, “Rotation-robust beamforming based on sound field interpolation with regularly circular microphone array„” in Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2021. [北村 2017] 北村 大地 , “音源分離における音響モデリング,” 2017. https://www.slideshare.net/DaichiKitamura/ acoustic-modeling-in-audio-source-separation [戸上 2020] 戸上 真人 , Python で学ぶ音源分離. インプレス, 2020. [浅野 2011] 浅野 太 , 音のアレイ信号処理—音源の定位・追跡と分離—. コロナ社, 2011. [若林 +2020] 若林 佑幸 and 小野 順貴 , “回転移動に頑健なアレイ信号処理のための音場の 補間に関する一検討,” in 音響学会秋季研究発表会 講演論文集, pp. 187–188, Sep. 2020.
24. 参考文献 iii [若林 +2021] ——, “音場補間を用いた円状マイクロホンアレイの回転に頑健なビーム フォーミング„” in 音響学会春季研究発表会 講演論文集, pp. 233–234, Mar. 2021. [連 +2021] 連 冠三 , 中嶋 大志 , 若林 佑幸 , and 小野 順貴 , “音場補間に基づく円状マイ クロホンアレイの自己回転角度推定,” in 音響学会春季研究発表会 講演論 文集, Mar. 2021.