35th ICML における異常検知に関する論文紹介 Python 機械学習勉強会 in 新潟 Restart Aug 18, 2018

Yu Ohori (a.k.a. Kon) NS Solutions Corporation (Apr 2017 - ) ● Researcher ● Data Science & Infrastructure Technologies ● System Research & Development Center ● Technology Bureau @Y_oHr_N @Y-oHr-N #SemiSupervisedLearning #AnomalyDetection #DataOps

35th ICML で採択された異常検知に関する論文は 4 本ある 新規性検知（novelty detection） ● Ruff, L., et al., "Deep One-Class Classification" 変化検知（change point detection） ● Knoblauch, J., et al., "Spatio-temporal Bayesian On-line Changepoint Detection with Model Selection"c ● Mazhar, O., et al., "Bayesian Model Selection for Change Point Detection and Clustering" ● Boracchi, G., et al., "QuantTree: Histograms for Change Detection in Multivariate Data Streams" 3

4

Deep One-Class Classification Ruff, L., Vandermeulen, R., Goernitz, N., Deecke, L., Siddiqui, S. A., Binder, A., Müller, E., Kloft, M. In Proceedings of ICML, 2019. 新規性検知に深層学習を「直接的に」用いたお話 https://github.com/lukasruff/Deep-SVDD 5

新規性検知（novelty detection） 前提 ● 正常標本のみが訓練標本として与えられる 目的 ● テスト標本が正常であるか異常であるかを 正しく予測するモデルを学習する 6

既存手法 古典的手法 ● One-Class Support Vector Machine (OC-SVM) [Scholkopf+, 2001] ● Support Vector Data Description (SVDD) [Tax & Duin, 2004] ● Kernel Density Estimation (KDE) [Parzen, 1962] ● Isolation Forest (IF) [Liu+, 2008] ● Local Outlier Factor (LOF) [Breunig+, 2000] 深層学習を用いた手法 ● Method using autoencoder or its variants ● AnoGAN [Schlegl+, 2017] 7

One-Class Support Vector Machine (OC-SVM) finds a maximum margin hyperplane in feature space that best separates the mapped data from the origin Scholkopf, B., et al., "Estimating the Support of a High-Dimensional Distribution," Neural Computation, 13(7), pp. 1443-1471, 2001. 双対問題（dual Problem） 主問題（primal problem） 決定関数（decision function） 8

Support Vector Data Description (SVDD) finds the smallest hypersphere that encloses the majority of the data in feature space Tax, D. M., and Duin, R. P., "Support Vector Data Description," Machine learning, 54(1), pp. 45-66, 2004. 双対問題（dual Problem） 主問題（primal problem） 決定関数（decision function） 9

OC-SVM/SVDD の実装 OC-SVM SVDD LIBSVM 実装されている （スケールした問題を解いている） 拡張として実装されている （別途ダウンロードする必要がある） scikit-learn LIBSVM を用いる形で実装されている PR #7910 で実装が検討されている 10

特徴空間への写像を明示的に学習 One-Class Deep SVDD 提案手法 異常度（anomaly score） soft-boundary Deep SVDD 11

OC-SVM/SVDD vs. Deep SVDD OC-SVM/SVDD (solved via SMO) Deep SVDD (solved via SGD or its variants) 時間計算量 標本数に対して二乗時間 標本数（バッチ数）に対して線形時間 空間計算量 SV を保存するため，大きい 訓練標本を保存しないため，小さい 12

多くの状況で提案手法が 高性能であることを実証 評価実験 Deep SVDD の設定 ● batch normalization: True ● activation: Leaky ReLU ● leakiness: 0.1 ● weight decay hyperparameter: 10^(-8) ● optimizer: Adam ● learning rate: 10^(-4), 10^(-5) ● beta_1: 0.9 (default) ● beta_2: 0.999 (default) ● epsilon: 10^(-8) (default) ● batch size: 200 ● epochs: 150+100 13