外観検査の難しさ 大野 宏 Python機械学習勉強会in新潟 2021/11/14

本日の概要 ・外観検査は認識率１００％を求められるので難しい ・運用方法で工夫する ・Attention Branch Network (ABN）で認識率の向上 ・良品画像だけの学習で不良品を検査 オートエンコーダ ＧＡＮ

ディープラーニングを使った外観検査 ・良品と不良品の画像を集めてネットワークを学習させる。 ・学習データにないパターンの不良品は検出できないこと がある。 不良パターンを予測しその画像を作り学習データとする。 運用しながら不良品の画像を集めて再学習させる。 → 再学習しても不良と判定するとは限らない ・９９％の検査装置はできるが、１００％は難しいのでどう 運用するか。

混同行列による評価１ 予測 良品 不良品 実際 良品 ９５ ０ 不良品 ０ ５ ・混同行列とは、２値分類問題で実際の良・不良と予想し た良・不良を表したもの ・理想的な検査装置は認識率１００％ ・正確さは、（良品を良品と予測＋不良品を不良品と予測） /（全数）＝（９５＋５）/１００＝１００％

混同行列による評価２ 予測 良品 不良品 実際 良品 ９２ ３ 不良品 １ ４ ・不良品を良品と予測したものがあると、不良品を出荷し てしまう。 ・偽陽性率は、不良品のうち良品と予測された割合は、 １/（１＋４）＝２５％ ・正確さは、（９２＋４）/１００＝９６％

混同行列による評価３ 予測 良品 不良品 実際 良品 ９０ ５ 不良品 ０ ５ ・不良品を良品と予測したものがゼロであれば、不良品と 予測した１０個を再度目視検査すればよい。 ・目視検査数が１００個から１０個に減る ・偽陽性率は、０/（０＋５）＝０％ ・正確さは、 （９０＋５）/１００＝９５％

アテンション・ブランチ・ネットワーク１ ・誤認識したサンプルを正しく認識できるようにしたい ・誤認識したサンプルを学習に追加 → 正しく認識できるとは限らない ・ネットワークのパラメータを正しく認識できるように調整 すればいいが、数が膨大なのでどうしたら良いか？ ・Attention Branch Network (ABN）を使い手動でパラメー タを調整（中部大の山下研が提案） ・もともと視覚的説明による注視領域の可視化と精度向上 を同時に行うネットワーク、Grad-CAMより高性能

アテンション・ブランチ・ネットワーク２ ・Feature Extractor の後ろに Attenstion Branch と Perception Branch をつなぎ、両者の誤差で学習 http://mprg.jp/research/abn_j （中部大のABNの紹介）

アテンション・ブランチ・ネットワーク３

ＧｉｔHｕｂにて公開

オートエンコーダ ・不良品画像の収集が難しい場合に有効。 ・入力画像と出力画像が同じになるよう学習させる。 ・エンコーダで圧縮してデコーダで復元する。 エンコーダ （圧縮） デコーダ （復元） 入力 出力 圧縮され た特徴 （潜在変数）

良品画像だけから不良品を判別１ ・オートエンコーダは真似が得意で、良品画像を入力すると ほぼ同じ画像が出力される。 ・不良品画像では学習していないので、入力と出力の差が 大きくなる ・ラベル付けやアノテーションが不要 オート エンコーダ

入力 出力 良品画像だけから不良品を判別２ ・手書き数字で学習したオートエンコーダにひらがなを入力 すると、入出力に差が生じる。差が大きいと不良品と判定。 ・ただし出力画像がぼけてしまう。

入力 出力 画像のぼけを防ぐオートエンコーダ ・正常データだけでＡＥベースのモデル学習を行った後、推 論時に損失関数の勾配を利用し、ＡＥによって得られた正 常データの多様体の最も近い所にマッピングされるように ICLR2020の異常検知論文を実装してみた https://qiita.com/kogepan102/items/122b2862ad5a51180656

ＭＶＴＥＣ ＡＤ ・色々な工業製品の画像データ集 ・ＭＶＴＥＣはドイツの画像処理メーカ、ＨＡＬＣＯＮが有名 https://www.mvtec.com/company/research/datasets/mvtec-ad

ＧＡＮ（Generative Adversarial Network） ・生成器と識別器が競い合って画像を生成するＧＡＮを 使い、良品画像だけから不良品を判別する。 16

AnoＧＡＮ ・ＧＡＮでは画像のもととなる潜在変数を想定しており、こ れから学習に使う正常画像を生成する生成器を学習。 ・ｚの探索に時間がかかる。これも学習で→EfficientGAN 17 ｚ Ｇ（ｚ） ｘ’ D（ｘ’，ｘ） ｘ Generator Discriminator

EfficientＧＡＮ 18 良品 不良品 出典：GANディープラーニング実装ハンドブック （秀和システム）

まとめ ・外観検査では混同行列で評価 ・Attention Branch Network (ABN）で認識率が向上 ・良品画像だけの学習で不良品を検出 オートエンコーダ ＧＡＮ