Iterative source steering を用いたオンライン補助関数型独立ベクトル分析に基づくブラインド音源分離 / Blind source separation using online auxiliary-function-based independent vector analysis with iterative source steering

日本音響学会 2022年春季研究発表会 1-1-9 講演資料

Transcript

1. Iterative source steering を用いた
   オンライン補助関数型独立ベクトル分析
   に基づくブラインド音源分離
   日本音響学会 2022 年春季研究発表会 1-1-9
   中嶋 大志
   システムデザイン研究科 情報科学域 博士後期課程 1 年
   日本学術振興会特別研究員 DC1
   2022 年 3 月 9 日
   

   View Slide

2. はじめに
   1/12
   ϒϥΠϯυ
   Իݯ෼཭
   ブラインド音源分離 (blind source separation; BSS)
   • 複数の音源が混合した信号から元の信号を推定
   🎺🎸🎹
   

   View Slide

3. はじめに
   1/12
   ϒϥΠϯυ
   Իݯ෼཭
   ブラインド音源分離 (blind source separation; BSS)
   • 複数の音源が混合した信号から元の信号を推定
   🎺🎸🎹
   � 目的: ISS を用いたオンライン独立ベクトル分析を提案
   

   View Slide

4. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   

   View Slide

5. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   � 分離精度が高い
   � 環境の変化に追従できない
   � リアルタイム処理に向かない
   

   View Slide

6. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   � 分離精度が高い
   � 環境の変化に追従できない
   � リアルタイム処理に向かない
   オンライン BSS
   • 一定区間のデータで逐次処理
   

   View Slide

7. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   � 分離精度が高い
   � 環境の変化に追従できない
   � リアルタイム処理に向かない
   オンライン BSS
   • 一定区間のデータで逐次処理
   

   View Slide

8. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   � 分離精度が高い
   � 環境の変化に追従できない
   � リアルタイム処理に向かない
   オンライン BSS
   • 一定区間のデータで逐次処理
   

   View Slide

9. バッチとオンライン
   2/12
   ਪఆ৴߸
   ؍ଌ৴߸
   ϒϥΠϯυ
   Իݯ෼཭
   バッチ BSS
   • 全区間のデータで処理
   � 分離精度が高い
   � 環境の変化に追従できない
   � リアルタイム処理に向かない
   オンライン BSS
   • 一定区間のデータで逐次処理
   

   View Slide

10. バッチとオンライン
    2/12
    ਪఆ৴߸
    ؍ଌ৴߸
    ϒϥΠϯυ
    Իݯ෼཭
    バッチ BSS
    • 全区間のデータで処理
    � 分離精度が高い
    � 環境の変化に追従できない
    � リアルタイム処理に向かない
    オンライン BSS
    • 一定区間のデータで逐次処理
    � 環境の変化に追従できる
    � パラメータの設定が難しい
    � 更新式を変更する必要がある
    

    View Slide

11. 周波数領域 BSS 3/12
    .
    .
    .
    ࠞ߹ߦྻ ෼཭ߦྻ ਪఆ৴߸
    ؍ଌ৴߸
    Իݯ৴߸
    freq.
    time
    src.
    .
    .
    .
    観測モデル
    観測信号
    𝒙𝑓𝑡
    =
    時不変な混合行列
    𝑨𝑓
    𝒔𝑓𝑡
    

    View Slide

12. 周波数領域 BSS 3/12
    .
    .
    .
    ࠞ߹ߦྻ ෼཭ߦྻ ਪఆ৴߸
    ؍ଌ৴߸
    Իݯ৴߸
    freq.
    time
    src.
    .
    .
    .
    観測モデル
    観測信号
    𝒙𝑓𝑡
    =
    時不変な混合行列
    𝑨𝑓
    𝒔𝑓𝑡
    分離過程
    推定信号
    𝒚𝑓𝑡
    =
    分離行列
    𝑾𝑓
    𝒙𝑓𝑡
    � 𝒚𝑓𝑡
    の各要素が統計的に独立になるよう 𝑾𝑓
    を推定
    

    View Slide

13. 補助関数型独立ベクトル分析 (AuxIVA) [Ono2011]
    4/12
    補助関数
    min. 𝐽+ = ∑
    𝑓
    [−2 log|det
    推定対象
    𝑾𝑓
    | + ∑
    𝑘
    𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    推定対象
    𝒘𝑘𝑓
    ]
    where 𝑼𝑘𝑓
    =
    1
    𝑇
    𝑇
    ∑
    𝑡=1
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    2𝑟𝑘𝑓𝑡
    （重み付き共分散行列）
    

    View Slide

14. 補助関数型独立ベクトル分析 (AuxIVA) [Ono2011]
    4/12
    補助関数
    min. 𝐽+ = ∑
    𝑓
    [−2 log|det
    推定対象
    𝑾𝑓
    | + ∑
    𝑘
    𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    推定対象
    𝒘𝑘𝑓
    ]
    where 𝑼𝑘𝑓
    =
    1
    𝑇
    𝑇
    ∑
    𝑡=1
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    2𝑟𝑘𝑓𝑡
    （重み付き共分散行列）
    𝑾𝑓
    の更新: iterative projection (IP) [Ono2011]
    • 𝐽+ を 𝑾𝑓
    の行ベクトル 𝒘H
    𝑘𝑓
    について最小化
    𝒘𝑘𝑓
    ← (𝑾𝑓
    𝑼𝑘𝑓
    )−1𝒆𝑘
    𝒘𝑘𝑓
    ←
    𝒘𝑘𝑓
    √𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    

    View Slide

15. 補助関数型独立ベクトル分析 (AuxIVA) [Ono2011]
    4/12
    補助関数
    min. 𝐽+ = ∑
    𝑓
    [−2 log|det 𝑾𝑓
    | + ∑
    𝑘
    𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    ]
    where 𝑼𝑘𝑓
    =
    1
    𝑇
    𝑇
    ∑
    𝑡=1
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    2𝑟𝑘𝑓𝑡
    （重み付き共分散行列）
    𝑾𝑓
    の更新: iterative projection (IP) [Ono2011]
    • 𝐽+ を 𝑾𝑓
    の行ベクトル 𝒘H
    𝑘𝑓
    について最小化
    𝒘𝑘𝑓
    ← (𝑾𝑓
    𝑼𝑘𝑓
    )−1𝒆𝑘
    𝒘𝑘𝑓
    ←
    𝒘𝑘𝑓
    √𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    � 𝑼𝑘𝑓
    の計算に全時間フレーム 𝑡 の観測信号 𝒙𝑓𝑡
    が必要
    

    View Slide

16. オンライン AuxIVA [Taniguchi+2014]
    5/12
    観測モデルの修正
    𝒙𝑓𝑡
    =
    フレームごとの変化を考慮
    𝑨𝑓𝑡
    𝒔𝑓𝑡
    𝒚𝑓𝑡
    = 𝑾𝑓𝑡
    𝒙𝑓𝑡
    共分散行列の近似
    𝑼𝑘𝑓𝑡
    ←
    忘却係数 (0 < 𝛼 ≤ 1)
    𝛼
    直前のフレームで計算
    𝑼𝑘𝑓(𝑡−1)
    + (1 − 𝛼)
    現在のフレームで計算
    1
    2𝑟𝑘𝑡
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    

    View Slide

17. オンライン AuxIVA [Taniguchi+2014]
    5/12
    観測モデルの修正
    𝒙𝑓𝑡
    =
    フレームごとの変化を考慮
    𝑨𝑓𝑡
    𝒔𝑓𝑡
    𝒚𝑓𝑡
    = 𝑾𝑓𝑡
    𝒙𝑓𝑡
    共分散行列の近似
    𝑼𝑘𝑓𝑡
    ←
    忘却係数 (0 < 𝛼 ≤ 1)
    𝛼
    直前のフレームで計算
    𝑼𝑘𝑓(𝑡−1)
    + (1 − 𝛼)
    現在のフレームで計算
    1
    2𝑟𝑘𝑡
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    本研究の動機
    • 十分なフレーム数経過すれば分離行列は収束しているはず
    • 収束した分離行列を更新したくない
    � Iterative source steering の性質に着目
    

    View Slide

18. Iterative source steering (ISS) [Scheibler+2020]
    6/12
    • 分離行列 𝑾𝑓
    の行基本変形で更新
    𝑾𝑓
    ← 𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    (♠)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    (if 𝑚 ≠ 𝑘)
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 (if 𝑚 = 𝑘)
    

    View Slide

19. Iterative source steering (ISS) [Scheibler+2020]
    6/12
    • 分離行列 𝑾𝑓
    の行基本変形で更新
    𝑾𝑓
    ← 𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    (♠)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    (if 𝑚 ≠ 𝑘)
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 (if 𝑚 = 𝑘)
    � 𝑾𝑓
    , 𝑼𝑘𝑓
    を必要としない高速な計算
    𝒚𝑓𝑡
    ← (𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    )𝒙𝑓𝑡
    = 𝒚𝑓𝑡
    − 𝒗𝑘𝑓
    𝑦𝑘𝑓𝑡
    (♡)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    ∑
    𝑡
    𝑦∗
    𝑚𝑓𝑡
    𝑦𝑘𝑓𝑡
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    (if 𝑚 ≠ 𝑘)
    1 − (1
    𝑇
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    𝑟𝑘𝑓𝑡
    )
    −1
    2
    (if 𝑚 = 𝑘)
    

    View Slide

20. Iterative source steering (ISS) [Scheibler+2020]
    6/12
    • 分離行列 𝑾𝑓
    の行基本変形で更新
    𝑾𝑓
    ← 𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    (♠)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    (if 𝑚 ≠ 𝑘)
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 (if 𝑚 = 𝑘)
    � 𝑾𝑓
    , 𝑼𝑘𝑓
    を必要としない高速な計算
    𝒚𝑓𝑡
    ← (𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    )𝒙𝑓𝑡
    = 𝒚𝑓𝑡
    − 𝒗𝑘𝑓
    𝑦𝑘𝑓𝑡
    (♡)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    ∑
    𝑡
    𝑦∗
    𝑚𝑓𝑡
    𝑦𝑘𝑓𝑡
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    (if 𝑚 ≠ 𝑘)
    1 − (1
    𝑇
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    𝑟𝑘𝑓𝑡
    )
    −1
    2
    (if 𝑚 = 𝑘)
    � オンライン BSS では 𝑼𝑘𝑓
    を逐次更新するため (♡) を適用不可
    

    View Slide

21. Iterative source steering (ISS) [Scheibler+2020]
    6/12
    • 分離行列 𝑾𝑓
    の行基本変形で更新
    𝑾𝑓
    ← 𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    (♠)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    (if 𝑚 ≠ 𝑘)
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 (if 𝑚 = 𝑘)
    � 𝑾𝑓
    , 𝑼𝑘𝑓
    を必要としない高速な計算
    𝒚𝑓𝑡
    ← (𝑾𝑓
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓
    )𝒙𝑓𝑡
    = 𝒚𝑓𝑡
    − 𝒗𝑘𝑓
    𝑦𝑘𝑓𝑡
    (♡)
    𝑣𝑚𝑘𝑓
    =
    ⎧
    {
    ⎨
    {
    ⎩
    ∑
    𝑡
    𝑦∗
    𝑚𝑓𝑡
    𝑦𝑘𝑓𝑡
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    (if 𝑚 ≠ 𝑘)
    1 − (1
    𝑇
    ∑
    𝑡
    |𝑦𝑘𝑓𝑡
    |2
    𝑟𝑘𝑓𝑡
    )
    −1
    2
    (if 𝑚 = 𝑘)
    � オンライン BSS では 𝑼𝑘𝑓
    を逐次更新するため (♡) を適用不可
    � (♠) を用いたオンライン AuxIVA を提案
    � ISS の性質（後述）がオンライン BSS に有用
    

    View Slide

22. ISS の直感的解釈
    7/12
    • 混合行列 𝑨𝑓
    の列ベクトル 𝒂𝑘𝑓
    の更新と等価 [Scheibler+2020]
    𝒂𝑘𝑓
    ←
    1
    1 − 𝑣𝑘𝑘𝑓
    (𝒂𝑘𝑓
    + ∑
    𝑚≠𝑘
    𝑣𝑚𝑘𝑓
    𝒂𝑚𝑓
    )
    

    View Slide

23. ISS の直感的解釈
    7/12
    • 混合行列 𝑨𝑓
    の列ベクトル 𝒂𝑘𝑓
    の更新と等価 [Scheibler+2020]
    𝒂𝑘𝑓
    ←
    1
    1 − 𝑣𝑘𝑘𝑓
    (𝒂𝑘𝑓
    + ∑
    𝑚≠𝑘
    𝑣𝑚𝑘𝑓
    𝒂𝑚𝑓
    )
    

    View Slide

24. ISS の直感的解釈
    7/12
    • 混合行列 𝑨𝑓
    の列ベクトル 𝒂𝑘𝑓
    の更新と等価 [Scheibler+2020]
    𝒂𝑘𝑓
    ←
    1
    1 − 𝑣𝑘𝑘𝑓
    (𝒂𝑘𝑓
    + ∑
    𝑚≠𝑘
    𝑣𝑚𝑘𝑓
    𝒂𝑚𝑓
    )
    � 例：音源 𝑠2𝑓𝑡
    が移動
    ∘ 𝑨𝑓
    のうち 𝒂2𝑓
    だけが変化する
    

    View Slide

25. ISS の直感的解釈
    7/12
    • 混合行列 𝑨𝑓
    の列ベクトル 𝒂𝑘𝑓
    の更新と等価 [Scheibler+2020]
    𝒂𝑘𝑓
    ←
    1
    1 − 𝑣𝑘𝑘𝑓
    (𝒂𝑘𝑓
    + ∑
    𝑚≠𝑘
    𝑣𝑚𝑘𝑓
    𝒂𝑚𝑓
    )
    � 例：音源 𝑠2𝑓𝑡
    が移動
    ∘ 𝑨𝑓
    のうち 𝒂2𝑓
    だけが変化する
    � IP では 𝒂2𝑓
    を直接更新できない
    

    View Slide

26. ISS の直感的解釈
    7/12
    • 混合行列 𝑨𝑓
    の列ベクトル 𝒂𝑘𝑓
    の更新と等価 [Scheibler+2020]
    𝒂𝑘𝑓
    ←
    1
    1 − 𝑣𝑘𝑘𝑓
    (𝒂𝑘𝑓
    + ∑
    𝑚≠𝑘
    𝑣𝑚𝑘𝑓
    𝒂𝑚𝑓
    )
    � 例：音源 𝑠2𝑓𝑡
    が移動
    ∘ 𝑨𝑓
    のうち 𝒂2𝑓
    だけが変化する
    � IP では 𝒂2𝑓
    を直接更新できない
    � ISS では 𝒂2𝑓
    だけを部分的に更新できる
    

    View Slide

27. ISS を用いたオンライン AuxIVAPROPOSED
    8/12
    for 𝑡 = 1, … , 𝑇 do
    𝑾𝑓𝑡
    ← 𝑾𝑓(𝑡−1)
    (∀𝑓)
    for it = 1, … , 𝑁it
    do
    for 𝑘 = 1, … , 𝐾 do
    𝑟𝑘𝑡
    ← √∑
    𝑓
    |𝒘H
    𝑘𝑓𝑡
    𝒙𝑓𝑡
    |2
    𝑼𝑘𝑓𝑡
    ← 𝛼𝑼𝑘𝑓(𝑡−1)
    + (1 − 𝛼) 1
    2𝑟𝑘𝑡
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    (∀𝑓)
    for 𝑘 ∈ 𝒦 do
    for 𝑚 = 1, … , 𝐾 do
    𝑣𝑚𝑘𝑓
    ←
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    if 𝑚 ≠ 𝑘
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 if 𝑚 = 𝑘
    (∀𝑓)
    𝑾𝑓𝑡
    ← 𝑾𝑓𝑡
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓𝑡
    (∀𝑓)
    𝒚𝑓𝑡
    = 𝑾𝑓𝑡
    𝒙𝑓𝑡
    (∀𝑓)
    

    View Slide

28. ISS を用いたオンライン AuxIVAPROPOSED
    8/12
    for 𝑡 = 1, … , 𝑇 do
    𝑾𝑓𝑡
    ← 𝑾𝑓(𝑡−1)
    (∀𝑓)
    for it = 1, … , 𝑁it
    do
    for 𝑘 = 1, … , 𝐾 do
    𝑟𝑘𝑡
    ← √∑
    𝑓
    |𝒘H
    𝑘𝑓𝑡
    𝒙𝑓𝑡
    |2
    𝑼𝑘𝑓𝑡
    ← 𝛼𝑼𝑘𝑓(𝑡−1)
    + (1 − 𝛼) 1
    2𝑟𝑘𝑡
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    (∀𝑓)
    for
    更新対象とする音源インデクスの集合
    𝑘 ∈ 𝒦 do
    for 𝑚 = 1, … , 𝐾 do
    𝑣𝑚𝑘𝑓
    ←
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    if 𝑚 ≠ 𝑘
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 if 𝑚 = 𝑘
    (∀𝑓)
    𝑾𝑓𝑡
    ← 𝑾𝑓𝑡
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓𝑡
    (∀𝑓)
    𝒚𝑓𝑡
    = 𝑾𝑓𝑡
    𝒙𝑓𝑡
    (∀𝑓)
    

    View Slide

29. ISS を用いたオンライン AuxIVAPROPOSED
    8/12
    for 𝑡 = 1, … , 𝑇 do
    𝑾𝑓𝑡
    ← 𝑾𝑓(𝑡−1)
    (∀𝑓)
    for it = 1, … , 𝑁it
    do
    for 𝑘 = 1, … , 𝐾 do
    𝑟𝑘𝑡
    ← √∑
    𝑓
    |𝒘H
    𝑘𝑓𝑡
    𝒙𝑓𝑡
    |2
    𝑼𝑘𝑓𝑡
    ← 𝛼𝑼𝑘𝑓(𝑡−1)
    + (1 − 𝛼) 1
    2𝑟𝑘𝑡
    𝒙𝑓𝑡
    𝒙H
    𝑓𝑡
    (∀𝑓)
    for
    更新対象とする音源インデクスの集合
    設定例 ∶
    𝑾𝑓𝑡
    が収束するまで 𝒦 = {1, … , 𝐾}
    𝑾𝑓𝑡
    が収束したあとは 𝒦 = ∅
    音源 𝑙 が変化したとき 𝒦 = {𝑙}
    𝑘 ∈ 𝒦 do
    for 𝑚 = 1, … , 𝐾 do
    𝑣𝑚𝑘𝑓
    ←
    ⎧
    {
    ⎨
    {
    ⎩
    𝒘H
    𝑚𝑓
    𝑼𝑚𝑓
    𝒘𝑘𝑓
    𝒘H
    𝑘𝑓
    𝑼𝑚𝑓
    𝒘
    𝑘𝑓
    if 𝑚 ≠ 𝑘
    1 − (𝒘H
    𝑘𝑓
    𝑼𝑘𝑓
    𝒘𝑘𝑓
    )−1
    2 if 𝑚 = 𝑘
    (∀𝑓)
    𝑾𝑓𝑡
    ← 𝑾𝑓𝑡
    − 𝒗𝑘𝑓
    𝒘H
    𝑘𝑓𝑡
    (∀𝑓)
    𝒚𝑓𝑡
    = 𝑾𝑓𝑡
    𝒙𝑓𝑡
    (∀𝑓)
    

    View Slide

30. シミュレーション実験
    9/12
    仮想的な移動音源の生成
    Width = �.� m
    Depth = �.� m
    �
    �
    �
    Height = �.�� m
    Microphones
    Source (fixed)
    Source (moved)
    音源・マイク配置
    

    View Slide

31. シミュレーション実験
    9/12
    仮想的な移動音源の生成
    Width = �.� m
    Depth = �.� m
    �
    �
    �
    �`
    Height = �.�� m
    Microphones
    Source (fixed)
    Source (moved)
    音源・マイク配置
    1. 音源 3 を音源 3′ の位置に複製
    

    View Slide

32. シミュレーション実験
    9/12
    仮想的な移動音源の生成
    Width = �.� m
    Depth = �.� m
    �
    �
    �
    �`
    Height = �.�� m
    Microphones
    Source (fixed)
    Source (moved)
    音源・マイク配置
    1. 音源 3 を音源 3′ の位置に複製
    

    View Slide

33. シミュレーション実験
    9/12
    仮想的な移動音源の生成
    Width = �.� m
    Depth = �.� m
    �
    �
    �
    �`
    Height = �.�� m
    Microphones
    Source (fixed)
    Source (moved)
    音源・マイク配置
    1. 音源 3 を音源 3′ の位置に複製
    2. 音源 3 の後半，音源 3′ の前半を削除
    

    View Slide

34. シミュレーション実験
    9/12
    仮想的な移動音源の生成
    Width = �.� m
    Depth = �.� m
    �
    �
    �
    �`
    Height = �.�� m
    Microphones
    Source (fixed)
    Source (moved)
    音源・マイク配置
    1. 音源 3 を音源 3′ の位置に複製
    2. 音源 3 の後半，音源 3′ の前半を削除
    � 音源 3 の瞬間的な移動をシミュレート
    

    View Slide

35. 実験条件
    10/12
    比較手法
    手法名 更新対象
    🆕 ISS-all 全音源
    🆕 ISS-one 全音源 ⇒ 音源 3 のみ
    IP-all 全音源
    IP-one 全音源 ⇒ 音源 3 のみ
    

    View Slide

36. 実験条件
    10/12
    比較手法
    手法名 更新対象
    🆕 ISS-all 全音源
    🆕 ISS-one 全音源 ⇒ 音源 3 のみ
    IP-all 全音源
    IP-one 全音源 ⇒ 音源 3 のみ
    評価指標
    • Signal-to-distortion ratio (SDR): 目的信号とその他の信号との比
    • Segmental SDR (SegSDR): 分離信号を短い区間に区切り，
    各区間ごとに計算した SDR
    

    View Slide

37. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • チャネルごとの segmental SDR 改善量
    

    View Slide

38. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • 点線で音源 3 が移動
    

    View Slide

39. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • 音源 3 移動前: 全音源インデクスに対して分離行列を更新
    

    View Slide

40. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • 音源 3 移動後: ISS-one は 𝒂3𝑓
    のみ，IP-one は 𝒘3𝑓
    のみ更新
    

    View Slide

41. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • 音源の移動により分離性能が低下
    

    View Slide

42. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    • オンライン更新により分離性能が徐々に改善
    

    View Slide

43. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    � ISS-one は ISS-all よりも少ない更新で同等の性能
    

    View Slide

44. 実験結果
    11/12
    0
    20
    ISS-all ISS-one IP-all IP-one
    0
    20
    0 5 10 15 20 25 30
    Segment index
    0
    20
    Source 3 moved
    SegSDR improvement (dB)
    $I
    $I
    $I
    $I
    $I
    $I
    � ISS-one は IP-one よりも高い分離性能
    

    View Slide

45. おわりに
    12/12
    まとめ
    • 分離行列更新に ISS を用いた online AuxIVA を提案
    IP ISS
    分離性能 � �
    部分的更新 � �
    • 音源が移動する環境で ISS の利点を確認
    今後の予定
    • 移動音源の自動検出
    • 忘却係数の効率的な決定法
    

    View Slide

46. 参考文献 i
    [Ono2011] N. Ono, “Stable and fast update rules for independent vector analysis
    based on auxiliary function technique,” in Proceedings of IEEE Workshop
    on Applications of Signal Processing to Audio and Acoustics (WASPAA), pp.
    189–192, 2011.
    [Scheibler+2020] R. Scheibler and N. Ono, “Fast and stable blind source separation with
    rank-1 updates,” in Proceedings of IEEE International Conference on
    Acoustics, Speech and Signal Processing (ICASSP), May 2020.
    [Taniguchi+2014] T. Taniguchi, N. Ono, A. Kawamura, and S. Sagayama, “An auxiliary-function
    approach to online independent vector analysis for real-time blind
    source separation,” in Proceedings of Hands-Free Speech Communication
    and Microphone Arrays (HSCMA), pp. 107–111, May 2014.
    

    View Slide

47. 実験条件詳細
    パラメータ
    音源信号 JNAS
    信号長 60 s
    音源・マイク数 𝐾 3
    STFT 窓長 1024
    シフト長 512
    音源モデル Laplace
    忘却係数 𝛼 0.99
    更新回数 𝑁it
    2
    

    View Slide

48. 実験結果 (Real-time factor)
    ISS-all IP-all ISS-one IP-one
    0.0
    0.1
    0.2
    0.3
    0.4
    0.37
    0.38
    0.29 0.30
    Real time factor
    • Real-time factor = (実行時間)/(信号長)
    � ISS-one は ISS-all よりも高速
    

    View Slide

49. 音源分離実験（実環境録音）
    1/2
    条件
    音源信号 SiSEC 2011
    音源・マイク数 2
    STFT 窓長 1024
    シフト長 512
    音源モデル Laplace
    忘却係数 𝛼 0.99
    更新回数 𝑁it
    2
    • 2 個の音源のうち 1 個は固定，1 個は連続的に移動
    

    View Slide

50. 音源分離実験（実環境録音）
    1/2
    0
    5
    ISS-all ISS-one IP-all IP-one
    0 5 10 15 20 25
    Segment index
    0
    5
    SegSDR improvement (dB)
    � ISS-all と ISS-one は同等の性能
    

    View Slide