Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up
for free
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
Kon
October 19, 2018
Science
0
3.2k
異常検知の評価指標って何を使えばいいの? / Metrics for one-class classification
https://netadashi.connpass.com/event/100334/
Kon
October 19, 2018
Tweet
Share
More Decks by Kon
See All by Kon
yohrn
0
440
yohrn
1
2.4k
yohrn
0
200
yohrn
0
510
yohrn
1
3k
yohrn
9
2.4k
yohrn
0
1.6k
yohrn
6
2.1k
yohrn
0
550
Other Decks in Science
See All in Science
sagara
0
1.1k
hachama
0
350
kanaugust
PRO
0
230
hachama
0
360
utaka233
0
290
y__mattu
1
370
tomo20180402
0
440
yuya4
3
520
shuntaros
0
340
inoichan
0
160
harunashi
0
130
scrummasudar
2
490
Featured
See All Featured
myddelton
109
11k
keavy
107
14k
eitanlees
112
10k
gr2m
83
11k
mza
80
4.1k
malarkey
119
16k
bkeepers
52
4.2k
jonrohan
1021
380k
lauravandoore
10
1.6k
holman
447
130k
smashingmag
283
47k
jcasabona
8
560
Transcript
Netadashi Meetup #7 Oct 19, 2018 異常検知の評価指標って何を使えばいいの?
Yu Ohori (a.k.a. Kon) NS Solutions Corporation (Apr 2017 -
) • Researcher • Data Science & Infrastructure Technologies • System Research & Development Center • Technology Bureau @Y_oHr_N @Y-oHr-N #SemiSupervisedLearning #AnomalyDetection #DataOps
学習を終えたらモデルの性能を評価しなければならない Chapman, P., et al., "CRISP-DM 1.0 Step-by-step data mining
guides," 2000. 3
不均衡データの場合,評価指標に F 値を使う事が多い 適合率(precision)と 再現率(recall)の調和平均で表される評価指標 実ラベル Y 混同行列 (confusion matrix)
正常 pos: +1 異常 neg: -1 予測ラベル f(X) 正常 pos: +1 true positive (tp) false positive (fp) 異常 neg: -1 false negative (fn) true negative (tn) 4
新規性検知の評価指標は F 値を使えばいいの? 新規性検知の場合,異常標本を一つも入手できない事がある このとき,F 値(正確に言うと適合率)は算出できない いいえ 5
F 値に似た Lee-Liu metric と呼ばれる評価指標がある 適合率と再現率の幾何平均の二乗の定数倍で表される 評価指標 実ラベル Y 混同行列
(confusion matrix) 正常 pos: +1 異常 neg: -1 予測ラベル f(X) 正常 pos: +1 true positive (tp) false positive (fp) 異常 neg: -1 false negative (fn) true negative (tn) Lee, W. S, and Liu, B., "Learning with positive and unlabeled examples using weighted Logistic Regression," In Proceedings of ICML, pp. 448-455, 2003. 6
新規性検知の評価指標は Lee-Liu metric を使えばいいの? ベイズの定理より式変形することで適合率が消える したがって,明示的に適合率を求めることなく算出できる https://stats.stackexchange.com/questions/192530/metrics-for-one-class-classification はい 7