異常検知の評価指標って何を使えばいいの？ / Metrics for one-class classification

https://netadashi.connpass.com/event/100334/

Transcript

1. Netadashi Meetup #7
   Oct 19, 2018
   異常検知の評価指標って何を使えばいいの？
   

   View Slide

2. Yu Ohori (a.k.a. Kon)
   NS Solutions Corporation (Apr 2017 - )
   ● Researcher
   ● Data Science & Infrastructure Technologies
   ● System Research & Development Center
   ● Technology Bureau
   @Y_oHr_N
   @Y-oHr-N
   #SemiSupervisedLearning #AnomalyDetection #DataOps
   

   View Slide

3. 学習を終えたらモデルの性能を評価しなければならない
   Chapman, P., et al., "CRISP-DM 1.0 Step-by-step data mining guides," 2000.
   3
   

   View Slide

4. 不均衡データの場合，評価指標に F 値を使う事が多い
   適合率（precision）と
   再現率（recall）の調和平均で表される評価指標 実ラベル
   Y
   混同行列
   （confusion matrix）
   正常
   pos: +1
   異常
   neg: -1
   予測ラベル
   f(X)
   正常
   pos: +1
   true
   positive
   (tp)
   false
   positive
   (fp)
   異常
   neg: -1
   false
   negative
   (fn)
   true
   negative
   (tn)
   4
   

   View Slide

5. 新規性検知の評価指標は F 値を使えばいいの？
   新規性検知の場合，異常標本を一つも入手できない事がある
   このとき，F 値（正確に言うと適合率）は算出できない
   いいえ
   5
   

   View Slide

6. F 値に似た Lee-Liu metric と呼ばれる評価指標がある
   適合率と再現率の幾何平均の二乗の定数倍で表される
   評価指標 実ラベル
   Y
   混同行列
   （confusion matrix）
   正常
   pos: +1
   異常
   neg: -1
   予測ラベル
   f(X)
   正常
   pos: +1
   true
   positive
   (tp)
   false
   positive
   (fp)
   異常
   neg: -1
   false
   negative
   (fn)
   true
   negative
   (tn)
   Lee, W. S, and Liu, B., "Learning with positive and unlabeled examples using weighted Logistic Regression,"
   In Proceedings of ICML, pp. 448-455, 2003.
   6
   

   View Slide

7. 新規性検知の評価指標は Lee-Liu metric を使えばいいの？
   ベイズの定理より式変形することで適合率が消える
   したがって，明示的に適合率を求めることなく算出できる
   https://stats.stackexchange.com/questions/192530/metrics-for-one-class-classification
   はい
   7
   

   View Slide