Slide 10
Slide 10 text
合同会社ふうたシステムサービス
性能大幅向上の詳細 前職の業務内容に触れるところがあるので細かくは言えません。
エビデンスも手元にないので…
対象者 画像データでの異常検知をしている人。MLの知識は新技術を調べて実践できるレベル。
色々なモデルを使い性能も上がってきたのだが、頭打ち状態。
条件 異常検知であるので以下であることがよい。
1. 見逃しは極力少ない(見逃しはCをAと判定していると考える)
2. 誤検知も極力少ない
3. 過検知も少ないに限るが見逃しよりはマシ
対策 1 主に領域Cなので検討対象 → C の領域を B とラベル変更し曖昧さを解消
2 主に領域Aなので対象外 → 今まで通りとする
3 主に領域Aなので対象外 → 今まで通りとする
Cの領域の振る舞いをコントロールすることで、異常検知モデルの振る舞いを制御。
結果、曖昧さに起因する誤検知(=見逃し)が減り性能向上。
当然ですが効果はデータセットや問題設定により変わります。
全てのケースで性能が向上するわけではありません。
Accuracy, Precision, Recall, F値 の値の変化そのものなのか
向上割合なのか…細かい情報が出せずすみません。