CompML: Precision and Recall for Time Series

CompMLで発表した、Tatbul et al. “Precision and Recall for Time Series”, NeurIPS 2018 の紹介資料です。

Transcript

1. CompML Precision and Recall for Time Series 論⽂紹介 Ryohei Izawa
2. CompML TL;DR 1 Tatbul et al. “Precision and Recall for Time Series”, NeurIPS 2018 の紹介 問題設定 [1] Nesime Tatbul, Tae Jun Lee, Stan Zdonik, Mejbah Alam, and Justin Gottschlich, “Precision and recall for time series,” in Advances in Neural Information Processing Systems 31, S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, Eds., pp. 1920‒1930. Curran Associates, Inc., 2018. 提案⼿法 実験 従来の時系列データの異常検知の評価⼿法はポイントベースの異常を対象としているが，実世界の異常 の多くはレンジベースの異常である．そのため，レンジベースの評価⼿法を適⽤するべき． 時系列データの分類アルゴリズムの精度を評価するため，レンジベースで、各異常レンジにおける異常 検出サイズ，検出位置，検出要素数などを考慮したPrecision，Recallを計算する数理モデルを提案． 複数の時系列データセット，LSTM-ADで実験．古典的な評価指標と⽐較してレンジベースの異常値の 表現⼒が優れていること，Numenta scoringの指標と⽐較して多様なシナリオに対応できる柔軟性があ ることを⽰した．
3. CompML 問題設定
4. CompML Point-based vs Range-based 3
5. CompML 提案⼿法
6. CompML 定義 5
7. CompML Recall 6 Existence Reward Overlap Reward • ! 内で異常を検出できているか • : ! 内で検知できた異常レンジ • : ! 内で検知した異常の位置 • : ! 内の! の個数
8. CompML Existence Reward 7 R1 Existence R2 P1 Time Real Predicted ER: 0 ER: 1
9. CompML Overlap Reward 8
10. CompML Overlap Reward - Size and Position(1) - 9 Size Position (if Front-end bias) R1 R2 P1 Real Predicted higher P2 Time R1 R2 P1 Real Predicted P2 Time lower higher lower
11. CompML Overlap Reward - Size and Position(2) - 10
12. CompML Overlap Reward - Cardinality - 11 R1 Cardinality R2 Time Real Predicted γ (≦ 1) 1 P1 P2 P3 γには，Ri とOverlapしているPjの数の逆数が使⽤される．
13. CompML Precision 12
14. CompML 実験
15. CompML 古典的な⼿法との⽐較 14 Positional biasがない場合 古典的なポイントベースの評価⼿法と同様の評価を得られている． ⇨ 提案⼿法は古典的な⼿法を内包できている． Positional biasがある場合 古典的なポイントベースの評価⼿法よりもPositional-biasを考慮できている． ⇨ 提案⼿法は古典的な⼿法よりも追加的なバリエーションに対応できる．
16. CompML vs Numenta Model 15 単純なケースはNumenta Modelを模倣できており，Numenta Modelで失敗するような 複雑なケースでもうまく扱うことができている．
17. CompML 計算コスト 16 ナイーブな実装だとオーバーヘッドが⼤きい． 計算コスト抑えた効率的な計算⼿法も提案している．
18. CompML 参考⽂献
19. CompML 18 Nesime Tatbul, Tae Jun Lee, Stan Zdonik, Mejbah Alam, and Justin Gottschlich, “Precision and recall for time series,” in Advances in Neural Information Processing Systems 31, S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, Eds., pp. 1920‒1930. Curran Associates, Inc., 2018. [1]