Upgrade to Pro — share decks privately, control downloads, hide ads and more …

One-Class Convolutional Neural Network

One-Class Convolutional Neural Network

論文LT会で作成したOC-CNN論文の説明資料です。

Masanori YANO

May 09, 2019
Tweet

More Decks by Masanori YANO

Other Decks in Science

Transcript

  1. 画像処理&機械学習 論文LT会 #2
    One-Class Convolutional Neural Network
    2019年5月9日(木)
    矢農 正紀 (Masanori YANO)

    View Slide

  2. 論文
    2
    One-Class Convolutional Neural Network
    論文のURL: https://arxiv.org/abs/1901.08688
    実装のURL: https://github.com/otkupjnoz/oc-cnn
    ⇒ 著者は、アメリカ東海岸のJohns Hopkins University
    IEEE Signal Processing Letters Volume 26に採録
    Second AuthorのPatel助教は、異常検知の論文が多い
    選んだ理由
    ・異常検知の手法に関心があった
    ※ 1クラス分類 = 異常(Anomaly) ∪ 新規性(Novelty)
    ・arXiv論文を検索してみたら上位で、わりと新しかった
    ・つよそうな題名で、シンプルなアプローチが好み

    View Slide

  3. 異常検知とは
    3
    画像や、時系列データなどから自動的に異常を検出
    ⇒ 各社がソフトウェア・サービスをリリースしている状況
    [例1] ISP(システム計画研究所)
    ・gLupe
    数十枚の正常データのみで異常検知、学習も数秒
    [例2] PFN(Preferred Networks)
    ・Preferred Networks Visual Inspection
    良品画像100枚と不良品画像20枚から異常検知が可能
    ・ファナックとの共同開発によるAI新機能
    (1) モータの故障の予兆を異常度で監視: 深層学習
    (2) ロボットが撮影した画像の良否判定: 機械学習
    深層学習ではなく

    View Slide

  4. 1クラス分類(One-Class Classification)とは
    4
    一種類の、特定のクラスに対する分類を行う
    ・教師データには、負例のデータが含まれないため難しい
    ・異常(Anomaly)や新規性(Novelty)の検出に応用される
    1クラス分類のアプローチ
    ・SVM(サポートベクターマシン)ベースの手法が多い
    ・CNNの中間層から、SVMなどを使って解く手法も多い
    ・オートエンコーダを使う方法が多く、最近はGANやVAEも
    ・One-Class Neural Networkは、最適化手順に工夫あり
    ・Patel助教は、他のデータセットも使う学習手法を提案
    Learning Deep Features for One-Class Classification
    論文のURL: https://arxiv.org/abs/1801.05365
    実装例: https://qiita.com/shinmura0/items/cfb51f66b2d172f2403b
    ⇒ 本論文は追加データ不要で、かつend-to-endと主張

    View Slide

  5. 本論文の手法
    5
    CNNの特徴量と同じ長さの正規乱数データを加える
    ・ミニバッチ数が64であれば、正規乱数データも64セット
    ・損失関数は、合計128データの交差エントロピーの平均
    ・本論文の評価では、正規分布の平均0&分散0.01で統一
    One-Class Convolutional Neural Networkのアーキテクチャ

    View Slide

  6. 本論文の評価結果
    6
    新規性(Novelty)検知のデータセット3種類で評価
    ・OC-CNN: 本論文の手法
    ・OC-SVM+: OC-CNNの判別をNNではなくSVMで実施
    (本論文の主軸はOC-CNNだが、OC-SVM+も高い性能)
    学習済みのVGG16を使用して評価した結果の比較
    (論文には、学習済みのAlexNetを使用した結果も掲載)
    本論文で評価している3種類のデータセット

    View Slide

  7. まとめ
    7
    1クラス分類に対する、CNNベースの新手法を提案
    ・疑似的な負例のデータとして、正規乱数データを追加
    ・データセットを用いた評価でも、一貫して良い性能
    ・今後は、検出(detection)と分類を合体させた手法の開発
    (すでに、本論文を引用した新規性の検出の論文を発表)
    所感
    ・シンプルで、2019年発表の新しい手法であることが驚き
    ・ただ、正規乱数のパラメータで境界面を調節できそうで、
    異常検知に使えるのであれば、実用の観点では興味深い
    [参考] 深層学習の異常検知サーベイ
    Deep Learning for Anomaly Detection: A Survey
    論文のURL: https://arxiv.org/abs/1901.03407

    View Slide