Pro Yearly is on sale from $80 to $50! »

異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification

4d5544d0ea612705b35dcca4922e3864?s=47 Kon
October 19, 2018

異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification

4d5544d0ea612705b35dcca4922e3864?s=128

Kon

October 19, 2018
Tweet

Transcript

  1. Netadashi Meetup #7 Oct 19, 2018 異常検知の評価指標って何を使えばいいの?

  2. Yu Ohori (a.k.a. Kon) NS Solutions Corporation (Apr 2017 -

    ) • Researcher • Data Science & Infrastructure Technologies • System Research & Development Center • Technology Bureau @Y_oHr_N @Y-oHr-N #SemiSupervisedLearning #AnomalyDetection #DataOps
  3. 学習を終えたらモデルの性能を評価しなければならない Chapman, P., et al., "CRISP-DM 1.0 Step-by-step data mining

    guides," 2000. 3
  4. 不均衡データの場合,評価指標に F 値を使う事が多い 適合率(precision)と 再現率(recall)の調和平均で表される評価指標 実ラベル Y 混同行列 (confusion matrix)

    正常 pos: +1 異常 neg: -1 予測ラベル f(X) 正常 pos: +1 true positive (tp) false positive (fp) 異常 neg: -1 false negative (fn) true negative (tn) 4
  5. 新規性検知の評価指標は F 値を使えばいいの? 新規性検知の場合,異常標本を一つも入手できない事がある このとき,F 値(正確に言うと適合率)は算出できない いいえ 5

  6. F 値に似た Lee-Liu metric と呼ばれる評価指標がある 適合率と再現率の幾何平均の二乗の定数倍で表される 評価指標 実ラベル Y 混同行列

    (confusion matrix) 正常 pos: +1 異常 neg: -1 予測ラベル f(X) 正常 pos: +1 true positive (tp) false positive (fp) 異常 neg: -1 false negative (fn) true negative (tn) Lee, W. S, and Liu, B., "Learning with positive and unlabeled examples using weighted Logistic Regression," In Proceedings of ICML, pp. 448-455, 2003. 6
  7. 新規性検知の評価指標は Lee-Liu metric を使えばいいの? ベイズの定理より式変形することで適合率が消える したがって,明示的に適合率を求めることなく算出できる https://stats.stackexchange.com/questions/192530/metrics-for-one-class-classification はい 7