オートエンコーダーによる異常検知

2021年2月17日の社内勉強会で発表した資料です。

Transcript

1. オートエンコーダーによる異常検知 Abeta
2. 画像の異常検知 • 異常検知＝他の⼤多数のデータとは異なる特徴を持つデータを⾒つける。 正常 異常
3. オートエンコーダー Encoder Decoder • 正常画像で特徴を抽出、画像を復元するモデルを学習する。 モデルに異常画像を通し、復元できない差分で異常を検知する。 正常 異常
4. 従来モデルの⽋点 Encoder Decoder • 局所的な異常が画像全体の再構成に影響を与える。異常箇所の同定が困難になる。 また、VAEは出⼒画像がぼやけることが知られている。 理想 現実
5. 新⼿法 • 異常画像の異常な部分だけを再構成画像に近づけるようにする。 [arXiv:2002.03734]Iterative energy-based projection on a normal data manifold for anomaly localization Encoder Decoder 異常箇所のみ 再構成画像に 置き換える ① ② ③ ④ ①〜③を繰り返した後 ⽐較して異常度を出⼒ ⽐較して異常箇所を特定 推論
6. 難しい説明 正常画像の集合 ⼊⼒異常画像 𝒙𝟎 " 𝒙𝟎 VAE再構成画像 𝒙𝒕"𝟏 = 𝒙𝒕 − 𝜶 % 𝛁𝒙 𝑬 𝒙𝒕 ⊙ 𝒙𝒕 − 𝒇 𝒙𝒕 𝟐 再構成誤差 L1正則化 正常部分を⼊⼒画 像に保ちつつ再構 成画像に近づける 異常箇所のピク セルに重み付け " 𝒙𝟏 " 𝒙𝒕 𝒙𝟏 𝒙𝒕 正常箇所のピクセルは𝒙𝟎 と同じ値に保ちつつ異常 箇所のピクセルは再構成 画像に近づける 再構成画像は イテレーションで ほとんど変わらない 𝑬 𝒙𝒕 = 𝓛 𝒙𝒕 + 𝝀||𝒙𝒕 − 𝒙𝟎|| Pixel Space ぼやけるため正常画像の 集合からは少しずれる 異常箇所の ピクセル 正常箇所の ピクセル 正常箇所の ピクセル イテレーション
7. L1正則化の補⾜ 正常画像の集合 ⼊⼒異常画像 𝒙𝟎 " 𝒙𝟎 VAE再構成画像 𝒙𝒕"𝟏 = 𝒙𝒕 − 𝜶 % 𝛁𝒙 𝑬 𝒙𝒕 ⊙ 𝒙𝒕 − 𝒇 𝒙𝒕 𝟐 再構成誤差 L1正則化 正常部分を⼊⼒画 像に保ちつつ再構 成画像に近づける 異常箇所のピク セルに重み付け " 𝒙𝟏 " 𝒙𝒕 𝒙𝟏 𝒙𝒕 𝑬 𝒙𝒕 = 𝓛 𝒙𝒕 + 𝝀||𝒙𝒕 − 𝒙𝟎|| Pixel Space ぼやけるため正常画像の 集合からは少しずれる 異常箇所の ピクセル 正常箇所の ピクセル 正常箇所の ピクセル イテレーション MSEの場合
8. 知⾒ • そもそもかなり学習させないとVAEで綺麗な再構成画像を作れない • 𝛼と𝜆とイテレーション回数のチューニングはかなり技巧的 • イテレーション数⼗回のオーダーで必要 • イテレーションによる再構成画像はほとんど変化がない（多分） 再構成の精度が低いから？ • 再構成誤差の計測は交差エントロピーよりMAEのほうがよい • “Reduce Failed to Synchronise”エラーが出るとカーネルの再起動が必要
9. 参考 • 「 Iterative energy-based projection on a normal data manifold for anomaly localization」, David Dehaene, Oriel Frigo, Sébastien Combrexelle, Pierre Eline, ICLR 2020 Conference Blind Submission • “ICLR2020の異常検知論⽂を実装してみた”, https://qiita.com/kogepan102/items/122b2862ad5a51180656 • “ICLR2020の異常検知論⽂の紹介”, https://www.slideshare.net/ssuser9eb780/iclr2020-20191123