35th ICML における異常検知に関する論文紹介 / Deep One-Class Classification

https://pyml-niigata.connpass.com/event/95596/

Transcript

1. 35th ICML における異常検知に関する論文紹介
   Python 機械学習勉強会 in 新潟 Restart
   Aug 18, 2018
   

   View Slide

2. Yu Ohori (a.k.a. Kon)
   NS Solutions Corporation (Apr 2017 - )
   ● Researcher
   ● Data Science & Infrastructure Technologies
   ● System Research & Development Center
   ● Technology Bureau
   @Y_oHr_N
   @Y-oHr-N
   #SemiSupervisedLearning #AnomalyDetection #DataOps
   

   View Slide

3. 35th ICML で採択された異常検知に関する論文は 4 本ある
   新規性検知（novelty detection）
   ● Ruff, L., et al., "Deep One-Class Classification"
   変化検知（change point detection）
   ● Knoblauch, J., et al., "Spatio-temporal Bayesian On-line Changepoint Detection with Model Selection"c
   ● Mazhar, O., et al., "Bayesian Model Selection for Change Point Detection and Clustering"
   ● Boracchi, G., et al., "QuantTree: Histograms for Change Detection in Multivariate Data Streams"
   3
   

   View Slide

4. View Slide

5. Deep One-Class Classification
   Ruff, L., Vandermeulen, R., Goernitz, N., Deecke, L., Siddiqui, S. A., Binder, A., Müller, E., Kloft, M.
   In Proceedings of ICML, 2019.
   新規性検知に深層学習を「直接的に」用いたお話
   https://github.com/lukasruff/Deep-SVDD 5
   

   View Slide

6. 新規性検知（novelty detection）
   前提
   ● 正常標本のみが訓練標本として与えられる
   目的
   ● テスト標本が正常であるか異常であるかを
   正しく予測するモデルを学習する
   6
   

   View Slide

7. 既存手法
   古典的手法
   ● One-Class Support Vector Machine (OC-SVM)
   [Scholkopf+, 2001]
   ● Support Vector Data Description (SVDD)
   [Tax & Duin, 2004]
   ● Kernel Density Estimation (KDE)
   [Parzen, 1962]
   ● Isolation Forest (IF) [Liu+, 2008]
   ● Local Outlier Factor (LOF) [Breunig+, 2000]
   深層学習を用いた手法
   ● Method using autoencoder or its variants
   ● AnoGAN [Schlegl+, 2017]
   7
   

   View Slide

8. One-Class Support Vector Machine (OC-SVM)
   finds a maximum margin hyperplane in feature space that best separates the mapped data from the origin
   Scholkopf, B., et al., "Estimating the Support of a High-Dimensional Distribution,"
   Neural Computation, 13(7), pp. 1443-1471, 2001.
   双対問題（dual Problem）
   主問題（primal problem）
   決定関数（decision function）
   8
   

   View Slide

9. Support Vector Data Description (SVDD)
   finds the smallest hypersphere that encloses the majority of the data in feature space
   Tax, D. M., and Duin, R. P., "Support Vector Data Description," Machine learning, 54(1), pp. 45-66, 2004.
   双対問題（dual Problem）
   主問題（primal problem）
   決定関数（decision function）
   9
   

   View Slide

10. OC-SVM/SVDD の実装
    OC-SVM
    SVDD
    LIBSVM
    実装されている
    （スケールした問題を解いている）
    拡張として実装されている
    （別途ダウンロードする必要がある）
    scikit-learn LIBSVM を用いる形で実装されている PR #7910 で実装が検討されている
    10
    

    View Slide

11. 特徴空間への写像を明示的に学習
    One-Class Deep SVDD
    提案手法
    異常度（anomaly score）
    soft-boundary Deep SVDD
    11
    

    View Slide

12. OC-SVM/SVDD vs. Deep SVDD
    OC-SVM/SVDD
    (solved via SMO)
    Deep SVDD
    (solved via SGD or its variants)
    時間計算量 標本数に対して二乗時間 標本数（バッチ数）に対して線形時間
    空間計算量 SV を保存するため，大きい 訓練標本を保存しないため，小さい
    12
    

    View Slide

13. 多くの状況で提案手法が
    高性能であることを実証
    評価実験
    Deep SVDD の設定
    ● batch normalization: True
    ● activation: Leaky ReLU
    ● leakiness: 0.1
    ● weight decay hyperparameter: 10^(-8)
    ● optimizer: Adam
    ● learning rate: 10^(-4), 10^(-5)
    ● beta_1: 0.9 (default)
    ● beta_2: 0.999 (default)
    ● epsilon: 10^(-8) (default)
    ● batch size: 200
    ● epochs: 150+100
    13
    

    View Slide