論文紹介: soft-DTW

Transcript

1. Soft-DTW: a Differentiable Loss Function for Time-Series Marco Cuturi and Mathieu Blondel presenter: Takeshi Oura
2. アジェンダ • Soft-DTW: a Differentiable Loss Function for Time-Series Marco Cuturi and Mathieu Blondel • DTW(dynamic time warping)とは • 2つの時系列を⽐較する指標(時系列間の差、違い) • 時系列の⻑さの違い、伸び、縮みを吸収する • 時系列予測のロス関数として使⽤できる • soft-DTW • 微分可能なDTW • 勾配計算アルゴリズムの提案 • 評価 • 複数時系列の平均 • k-means • 時系列識別問題 • 時系列予測
3. DTW • ⻑さn,mの2つの時系列 " , {" } • 誤差関数 (" , ) ) • すべての時刻の誤差ペア ∆= (" , " ) ",) • A: アライメント⾏列(どの時刻ペ アを結びつけるかを表現) ",) = 1 ∶ とを対応付ける ",) = 0 ∶ とは対応付けない • = min 9 (, ∆) : DTWは, ∆の内積、最⼩の誤差 https://www.psb.ugent.be/cbd/papers/gentxwarper/ DTWalgorithm.htm) (https://izbicki.me/blog/converting-images-into-time- series-for-data-mining.html,
4. DTWのフォワード計算 • ()
5. soft-DTW • DTW: = min 9 (, ∆) • soft-DTW: = = > @(9,A)/= 9 • ⟶ 0：DTWに対応(最適Aのみの寄与) • DTWと同様に計算可能(()) min ("@H,) , ",)@H , "@H,)@H )を−log (@MNOP,Q/= + @MN,QOP/= + @MNOP,QOP/=)にす ればよい
6. soft-DTWの勾配計算(バックワード) • T = U∆ UT V • ",) = UMX,Y UMN,Q • いかにUMX,Y UMN,Q を計算するか? アイデア: Z,[ (DTWの値)の偏微分は(i-1,j),(i,j-1),(i-1,j-1)のみに依存 • ",) は上式で再帰的に計算 • ",) = " , " + min = {"@H,) , ",)@H , "@H,)@H } から上式右辺の微分は計算可能
7. soft-DTWの勾配計算(バックワード) • () フォワード バックワード
8. soft-DTWの評価 • 仮説: 直接DTWを最⼩化するよりsoft-DTWを最⼩化するほうが (DTWを)最⼩化するうえで優れている • soft-DTWの性質 • = 0: ⾮凸関数(最適化の際ローカルミニマムにつかまる) • ⟶ ∞: 凸関数に近付く • による凸緩和でより最適化されるか? • ⽐較⼿法 • DBA: GAと局所最適化を交互に使⽤しDTWを直接最適化(Patitjean et. al. 2011) • 劣勾配法: 劣勾配でDTWを最適化 • データセット • UCR(University of California, Riverside) time series
9. 複数時系列の平均 • タスク: (⻑さが違う)複数時系列データ{" }の平均 (最適化問題として定式化) min T > " " (, " ) " • " : あらかじめ" : 時系列の⻑さ( ∝ " なので正規化として) • 与えられる重み • 評価: soft-DTWで最⼩化しDTWの値で⽐較 • 結果: ⟶ 0でDTWに漸近 性能もよくなる soft-DTWがより最適 なサンプルの割合
10. k-means • 距離としてDTW(soft-DTW)を⽤いたk-means soft-DTWがより最適 なサンプルの割合
11. 時系列の識別問題 • はチューニング⽤データセットで選択 • 75%のサンプルでDBAとsoft-DTWの精度が同じ直線より上 → soft-DTWがDBAを上回る精度 各プロット: サンプル x軸: DBAでのAccuracy y軸: soft-DTWでのAccuracy
12. 時系列予測 • インプット: = 1, . . , まで • アウトプット(予測): = + 1, . . , + • c : パラメータで指定される関数 • ロス関数: min c ∑ (c " H,..,V , " VfH,..,VfZ) " • : サンプルインデックス • 実験: • 時系列の60%,40%: インプット、アウトプット • MLPで評価 (RNNも実験したがMLPより向上しなかった)
13. まとめ • 微分可能なDTWとその計算アルゴリズムの提案 • フォワード、バックワード: () • 凸緩和することで、解きやすい最適化関数のクラスにできる • DTWを最適化する複数のベンチマーク: • soft-DTWを⽤い勾配法での評価 • DTWを直接最適化する他アルゴリズムに対する優位性を⽰した