Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection

Masanori YANO
August 02, 2019

Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection

論文LT会で作成した「Memorizing Normality to Detect Anomaly」の説明資料です。

Masanori YANO

August 02, 2019
Tweet

More Decks by Masanori YANO

Other Decks in Science

Transcript

  1. 画像処理&機械学習 論文LT会 #6
    Memorizing Normality to Detect Anomaly:
    Memory-augmented Deep Autoencoder
    for Unsupervised Anomaly Detection
    2019年8月2日(金)
    矢農 正紀 (Masanori YANO)

    View Slide

  2. 論文
    2
    Memorizing Normality to Detect Anomaly:
    Memory-augmented Deep Autoencoder
    for Unsupervised Anomaly Detection
    論文のURL: https://arxiv.org/abs/1904.02639
    First Author: https://donggong1.github.io/
    ⇒ 異常検知の論文で、ICCV 2019に採択されたとのこと
    著者の所属は、オーストラリアのアデレード大学など
    選んだ理由
    ・CNNを活用した「異常検知」関連のタスクに関心あり
    ・Attentionが流行りだが、それ以上にMemoryに関心あり
    (Memory NetworksやNeural Turing Machinesの方向性)
    ・arXivを検索したら、異常検知+Memoryの本論文を発見

    View Slide

  3. 異常検知とは
    3
    画像や、時系列データなどから自動的に異常を検出
    ・異常(Anomaly): 教師データの分布から逸脱したパターン
    ・新規性(Novelty): 既存の教師データに含まれないパターン
    ⇒ 「異常 ⊆ 新規性」の関係
    学習の種類で分類可能
    ・教師あり学習 ⇒ 異常検知では、あまり考えられない状況
    ・半教師あり学習 ⇒ わずかしかない教師データが問題
    ・教師なし学習 ⇒ 一般に、教師あり/半教師ありより難しい
    深層学習の進展以降も、さまざまな手法が開発
    ⇒ 「深層学習の異常検知サーベイ」論文も発表済み
    Deep Learning for Anomaly Detection: A Survey
    論文のURL: https://arxiv.org/abs/1901.03407

    View Slide

  4. 本論文のポイント
    4
    Autoencoderの中間にAttentionベースのMemory
    ・学習時に、重み・バイアスとともにMemoryを更新
    ・推論時は、Memoryを固定 ⇒ データの「暗記」内容
    ・Memory参照の重みは、エンコーダ出力と各Memoryとの
    コサイン類似度を全て計算し、それらのSoftmaxで算出
    ・Hard Shrinkageと呼ぶ「スパース化」を実施(後述)

    View Slide

  5. 本論文の評価結果(1/2)
    5
    複数のデータセットで評価(Memory関連の評価も)
    [1] MNIST・CIFAR-10
    [2] 動画の異常検知データセット
    UCSD-Ped2・CHUK Avenue・ShanghaiTech
    [3] サイバーセキュリティのデータセット
    KDDCUP
    ⇒ 全てのデータセットで、比較対象の方式よりも高い精度
    UCSD-Ped2データセットのときの再構成誤差の例(Frameの赤枠が異常)

    View Slide

  6. 本論文の評価結果(2/2)
    6
    評価のうち「動画の異常検知データセット」の結果
    [1] MemAE: 提案方式(動画のときは3次元のCNN)
    [2] MemAE-nonSpar: Memory参照のスパース化「なし」
    ⇒ スパース化: 閾値λ以下を0に(ReLuを活用して実装)

    View Slide

  7. まとめ
    7
    本論文は、Memoryを用いたAutoencoder異常検知
    ・損失関数は再構成誤差とMemory参照重みのエントロピー
    ・汎用性が高いと主張し、複数のデータセットで検証済み
    ・今後は、より挑戦的なタスクへのMemoryの適用を検討
    ・論文に「PyTorchで実装」とあるが(現在のところ)未公開
    GitHub: https://github.com/donggong1/memae-anomaly-detection
    所感
    ・個人的には、VAEによる異常検知より「行けそう」な予感
    ・一方、GANを用いた手法との性能比較は記載がなく未知数
    ・実際のデータで動かした場合の性能は、今後の確認事項
    α = 0.0002で評価

    View Slide