Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SDARアルゴリズムと統計的手法による時系列からの外れ値と変化点の検出

 SDARアルゴリズムと統計的手法による時系列からの外れ値と変化点の検出

SDARアルゴリズムと統計的手法による時系列からの外れ値と変化点の検出。大学時代の研究で調査していた内容。

2b692bd83f4418103142a053ecf5ff59?s=128

MATSUMOTO Ryosuke
PRO

July 13, 2013
Tweet

More Decks by MATSUMOTO Ryosuke

Other Decks in Technology

Transcript

  1. 1/24 B

  2. 2/24 [4] ⇒ ⇒ [4] J. Takeuchi and K. Yamanishi,

    “A Unifying Framework for Detecting Outliers and Change Points from Time Series,” IEEE transactions on Knowledge and Data Engineering, pp.482-492, 2006.
  3. 3/24 ⇒ ⇒ ⇒ ⇒ ⇒ ▪

  4. 4/24 ⇒ ⇒ ⇒ ⇒

  5. 5/24 ChangeFinder 2

  6. 6/24 ChangeFinder ChangeFinder 2

  7. 7/24 ChangeFinder ⇒ 2 ⇒ DoS ⇒

  8. 8/24 ChangeFinder 2

  9. 9/24 2 SDAR SDAR t x SDAR 1 2

  10. 10/24 ⇒ AR ⇒ AR ⇒ ⇒ ⇒ SDAR

  11. 11/24 SDAR L + + = − − − −

    2 2 1 1 t t t t t x A x A x AR AR ⇒ Σ Σ Σ Σ ⇒ SDAR ⇒ ⇒
  12. 12/24 AR ( ) Σ − − , , ,

    , , | 1 1 µ k t k t t A A x x P L ( )( )T 1 1 1 1 ∑ ∑ + = − + = − − − = − = t k i j i i j t k i i x x k t C x k t µ µ µ ⇒ ⇒ ⇒ ▪ ∑ ∑ = − = = Σ + = k i i j i j k i i i C A C C A C 1 1 0 k ( ) k j j , , 1 : L = AR ② ② ② ②
  13. 13/24 SDAR ( ) ( ) Σ − = −

    = − ∑ , , , , , | log 1 1 1 1 µ k i i t i i t A A x x P r I L ▪ I ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ t ▪ ( ) 1 0 < < r r ⇒ ⇒ ⇒
  14. 14/24 SDAR ⇒ ⇒ ( ) ( ) ( )(

    )T 1 : 1 : µ µ µ µ − − + − = + − = − j t t j j t x x r C r C rx r ( ) ( ) ( )( )T 1 ˆ ˆ 1 : : ˆ t t t t k i k t i t x x x x r r x A x − − + Σ − = Σ + − = ∑ = − µ µ ② ② ② ② j A r ∑ = − = k i i j i j C A C 1 ( ) ( ) Σ − = − = − ∑ , , , , , | log 1 1 1 1 µ k i i t i i t A A x x P r I L
  15. 15/24 t x t P SDAR ⇒ ⇒ ( )

    1 1 | log ) ( Score − − − = t t t t x x P x ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒
  16. 16/24 T ⇒ SDAR ⇒ ⇒ T ⇒ T t

    x t x t x
  17. 17/24 2 ⇒ ⇒

  18. 18/24 ChangeFinder 2

  19. 19/24 02 . 0 = r ▪ ChageFinder Port135 2003

    7 31 3 8 26 2 ⇒ MS.Blast 5 = T [2] ⇒ Trend Micro ※ ⇒
  20. 20/24 3 Trend Micro ▪ MS.Blast ⇒ 2003 8 17

    5 31 Trend Micro ▪ MS.Blast ⇒ 2003 8 11 9 44 ▪ ⇒ 2003 8 23 10 ▪ ⇒ 2003 8 11 9 ▪ ⇒ 2003 8 13 10
  21. 21/24 ChangeFinder 2

  22. 22/24 2 ▪ ⇒ ⇒ ▪

  23. 23/24 ▪ ⇒ ⇒ ▪ ARMA ⇒ AR ⇒ ⇒

    ▪ ⇒ ⇒ ⇒
  24. 24/24

  25. 25/24

  26. 26/24 t t t t z z z ε +

    − = − − 2 1 5 . 0 6 . 0 t t t z x µ + = 0 1000 10 1000 1 10 1000 = µ 9 2000 = µ 8 3000 = µ 1000
  27. 27/24

  28. 28/24 t t t t z z z ε +

    − = − − 2 1 5 . 0 6 . 0 t t t z x µ + = 0 1000 1 t × 1000 1000
  29. 29/24

  30. 30/24

  31. 31/24 ⇒

  32. 32/24 ⇒ ⇒

  33. 33/24 ↓ ▪ ⇒ ⇒

  34. 34/24 ▪ ⇒ ⇒ ⇒ ⇒ ⇒ ▪

  35. 35/24 ⇒ ChangeFinder ▪

  36. 36/24

  37. 37/24 ▪ SDAR ⇒ ▪ ⇒ ⇒ ( ) 1

    1 | log ) ( Score − − − = t t t t y y Q y ⇒