マイクロホンアレイを用いた音響信号処理/ASJ summer seminar 2021 array signal processing

日本音響学会 第２２回サマーセミナー「音響学の基礎と最近のトピックス」 講演資料

Transcript

1. マイクロホンアレイを用いた音響信号処理
   日本音響学会第 22 回サマーセミナー
   「音響学の基礎と最近のトピックス」
   中嶋 大志
   システムデザイン研究科 情報科学域 博士後期課程 1 年
   日本学術振興会特別研究員 DC1
   

   View Slide

2. はじめに
   1/9
   自己紹介
   • 名前:
   なか
   中
   しま
   嶋
   た い し
   大志 � @_tai_shi
   • 経歴:
   ∘ 2021 年: 東京都立大学大学院 博士前期課程 修了
   ∘ 現在: 同 博士後期課程 1 年，日本学術振興会特別研究員 DC1
   • 研究分野: ブラインド音源分離
   

   View Slide

3. はじめに
   1/9
   自己紹介
   • 名前:
   なか
   中
   しま
   嶋
   た い し
   大志 � @_tai_shi
   • 経歴:
   ∘ 2021 年: 東京都立大学大学院 博士前期課程 修了
   ∘ 現在: 同 博士後期課程 1 年，日本学術振興会特別研究員 DC1
   • 研究分野: ブラインド音源分離
   本日の内容
   マイクロホンアレイ
   マイクロホンアレイを用いた音響信号処理
   ビームフォーミング
   音源分離
   残響除去
   研究紹介: 円状マイクロホンアレイを用いた回転移動に頑健な信号処理
   参考書・ツールの紹介
   

   View Slide

4. マイクロホンアレイ
   

   View Slide

5. マイクロホンアレイとは？
   2/9
   • 複数のマイクロホンを並べた録音機器
   Amazon Echo Eigenmike TAMAGO-Pi
   

   View Slide

6. マイクロホンアレイとは？
   2/9
   • 複数のマイクロホンを並べた録音機器
   Amazon Echo Eigenmike TAMAGO-Pi
   🤔 単一マイクロホンとの違い
   ෳ਺ϚΠΫ
   ୯ҰϚΠΫ
   ࣌ؒࠩ
   ࣌ؒࠩ
   Իྔࠩ
   Իྔࠩ
   音信号だけでなくマイク間の情報も取得可能！
   

   View Slide

7. マイクロホンアレイを用いた音響
   信号処理
   

   View Slide

8. ビームフォーミング
   3/9
   ϏʔϜϑΥʔϛϯά
   ؍ଌ৴߸ ਪఆ৴߸
   • 特定の方向の音を強調する！
   • 代表的な手法
   ∘ 遅延和ビームフォーマ
   ∘ 最小分散無歪応答ビームフォーマ
   

   View Slide

9. ビームフォーミング
   3/9
   ϏʔϜϑΥʔϛϯά
   ؍ଌ৴߸ ਪఆ৴߸
   • 特定の方向の音を強調する！
   • 代表的な手法
   ∘ 遅延和ビームフォーマ
   ∘ 最小分散無歪応答ビームフォーマ
   

   View Slide

10. 音の伝搬・観測のモデル
    4/9
    ؍ଌ৴߸
    • 𝑐: 音速
    • 𝑑: マイク間距離
    • 𝜃: 到来方向
    • 𝜏 = 𝑑 sin 𝜃
    𝑐
    : 到来時間差
    • 𝑥1
    (𝑡) = 𝑠(𝑡 − 𝜏): 1 個目のマイクの観測信号
    • 𝑥2
    (𝑡) = 𝑠(𝑡): 2 個目のマイクの観測信号
    

    View Slide

11. 遅延和ビームフォーマ
    5/9
    ؍ଌ৴߸ ਪఆ৴߸
    • 𝑤1
    (𝑡): 𝑥1
    (𝑡) の遅延を補償するフィルタ
    • 𝑤2
    (𝑡): 𝑥2
    (𝑡) の遅延を補償するフィルタ
    • 𝜃 方向から到来した音は同じ位相で加算 � 強調
    • 他方向から到来した音は異なる位相で加算 � 抑圧
    

    View Slide

12. 音源分離
    6/9
    Իݯ෼཭
    ؍ଌ৴߸ ਪఆ৴߸
    • 混ざった音を分ける！
    • 代表的な手法
    ∘ 独立成分分析 [Comon1994]
    ∘ 独立ベクトル分析 [Kim+2006,Ono2011]
    ∘ 独立低ランク行列分析 [Kitamura+2016]
    詳しくは李さんが説明してくださったかと思います！
    

    View Slide

13. 残響除去
    7/9
    ࢒ڹআڈ
    ؍ଌ৴߸ ਪఆ৴߸
    • ぼやけた音をきれいにする！
    • 代表的な手法
    ∘ 多チャネル線形予測 [Nakatani+2010]
    • 手前味噌な手法
    ∘ ILRMA-T-ISS [Nakashima+2021]
    · 残響除去・音源分離同時最適化のパラメータ更新を高速化！
    

    View Slide

14. 研究紹介: 円状マイクロホンアレイ
    を用いた回転移動に頑健な信号処理
    

    View Slide

15. 円状マイクロホンアレイ上の音場補間
    8/9
    • 背景
    ∘ ここまで紹介した手法はいずれも時不変性を仮定
    🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない
    

    View Slide

16. 円状マイクロホンアレイ上の音場補間
    8/9
    • 背景
    ∘ ここまで紹介した手法はいずれも時不変性を仮定
    🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない
    � 時不変性が成り立たない状況でも信号処理をしたい！
    

    View Slide

17. 円状マイクロホンアレイ上の音場補間
    8/9
    • 背景
    ∘ ここまで紹介した手法はいずれも時不変性を仮定
    🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない
    � 時不変性が成り立たない状況でも信号処理をしたい！
    • 方法
    4PVOEpFME
    JOUFSQPMBUJPO
    "SSBZTJHOBM
    QSPDFTTJOH
    .JDSPQIPOFBSSBZ
    3PUBUJPOBOHMF ϶
    ϶
    ∘ 音場補間 [若林 +2020] により回転前の信号を推定
    � あたかもマイクアレイが回転していないかのように処理！
    

    View Slide

18. 円状マイクロホンアレイ上の音場補間
    8/9
    • 背景
    ∘ ここまで紹介した手法はいずれも時不変性を仮定
    🤔 例：音源・マイクが動かない，部屋の温度・湿度が変わらない
    � 時不変性が成り立たない状況でも信号処理をしたい！
    • 方法
    4PVOEpFME
    JOUFSQPMBUJPO
    "SSBZTJHOBM
    QSPDFTTJOH
    .JDSPQIPOFBSSBZ
    3PUBUJPOBOHMF ϶
    ϶
    ∘ 音場補間 [若林 +2020] により回転前の信号を推定
    � あたかもマイクアレイが回転していないかのように処理！
    • 文献
    ∘ 回転角度の最尤推定 [連 +2021]
    ∘ ビームフォーミングへの応用 [Wakabayashi+2021,若林 +2021]
    

    View Slide

19. 参考書・ツールの紹介
    

    View Slide

20. 参考書・ツールの紹介
    9/9
    参考書
    • 音のアレイ信号処理 [浅野 2011]
    ∘ アレイ信号処理の代表的書籍
    • Python で学ぶ音源分離 [戸上 2020]
    ∘ 最近の音源分離・残響除去手法を多数紹介
    • 音源分離における音響モデリング [北村 2017]
    ∘ 北村大地先生による俯瞰的・網羅的解説
    

    View Slide

21. 参考書・ツールの紹介
    9/9
    参考書
    • 音のアレイ信号処理 [浅野 2011]
    ∘ アレイ信号処理の代表的書籍
    • Python で学ぶ音源分離 [戸上 2020]
    ∘ 最近の音源分離・残響除去手法を多数紹介
    • 音源分離における音響モデリング [北村 2017]
    ∘ 北村大地先生による俯瞰的・網羅的解説
    Python パッケージ
    • pyroomacoustics
    ∘ 多数のアレイ信号処理手法を実装
    AuxIVA, ILRMA もあります！
    • nussl
    ∘ DNN ベースの音源分離手法が豊富
    

    View Slide

22. 参考文献 i
    [Comon1994] P. Comon, “Independent component analysis, a new concept?” Signal
    Processing, vol. 36, no. 3, pp. 287–314, Apr. 1994.
    [Kim+2006] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blind source separation
    exploiting higher-order frequency dependencies,” IEEE/ACM Trans.
    Audio, Speech, Language Process., vol. 15, no. 1, pp. 70–79, 2006.
    [Kitamura+2016] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari,
    “Determined blind source separation unifying independent vector
    analysis and nonnegative matrix factorization,” IEEE/ACM Trans.
    Audio, Speech, Language Process., vol. 24, no. 9, pp. 1622–1637, 2016.
    [Nakashima+2021] T. Nakashima, R. Scheibler, M. Togami, and N. Ono, “Joint
    dereverberation and separation with iterative source steering,” in
    Proc. ICASSP, Jun. 2021.
    [Nakatani+2010] T. Nakatani, T. Yoshioka, K. Kinoshita, M. Miyoshi, and B. Juang, “Speech
    dereverberation based on variance-normalized delayed linear
    prediction,” IEEE/ACM Trans. Audio, Speech, Language Process., vol. 18,
    no. 7, pp. 1717–1731, 2010.
    

    View Slide

23. 参考文献 ii
    [Ono2011] N. Ono, “Stable and fast update rules for independent vector analysis
    based on auxiliary function technique,” in Proceedings of IEEE
    Workshop on Applications of Signal Processing to Audio and Acoustics
    (WASPAA), pp. 189–192, 2011.
    [Wakabayashi+2021] Y. Wakabayashi, K. Yamaoka, and N. Ono, “Rotation-robust
    beamforming based on sound field interpolation with regularly
    circular microphone array„” in Proceedings of IEEE International
    Conference on Acoustics, Speech and Signal Processing (ICASSP), May
    2021.
    [北村 2017] 北村 大地 , “音源分離における音響モデリング,” 2017.
    https://www.slideshare.net/DaichiKitamura/
    acoustic-modeling-in-audio-source-separation
    [戸上 2020] 戸上 真人 , Python で学ぶ音源分離. インプレス, 2020.
    [浅野 2011] 浅野 太 , 音のアレイ信号処理—音源の定位・追跡と分離—. コロナ社, 2011.
    [若林 +2020] 若林 佑幸 and 小野 順貴 , “回転移動に頑健なアレイ信号処理のための音場の
    補間に関する一検討,” in 音響学会秋季研究発表会 講演論文集, pp. 187–188,
    Sep. 2020.
    

    View Slide

24. 参考文献 iii
    [若林 +2021] ——, “音場補間を用いた円状マイクロホンアレイの回転に頑健なビーム
    フォーミング„” in 音響学会春季研究発表会 講演論文集, pp. 233–234, Mar.
    2021.
    [連 +2021] 連 冠三 , 中嶋 大志 , 若林 佑幸 , and 小野 順貴 , “音場補間に基づく円状マイ
    クロホンアレイの自己回転角度推定,” in 音響学会春季研究発表会 講演論
    文集, Mar. 2021.
    

    View Slide