ことのはの力で画像の異常検知 機械学習の社会実装勉強会第27回 Henry 2023/9/30 

論文の紹介 ■ 最近の基盤モデル（言語モデルと画像モデル）の発達により、その知識で 画像異常検知を行うモチベーション ● まだ実用化まで距離あるが、技術的に面白い方法性 ■ AnomalyGPT: Detecting Industrial Anomalies using Large Vision-Language Models ● https://github.com/CASIA-IVA-Lab/AnomalyGPT ● 実装も公開されているのでありがたい 2 

論文のモチベーション ■ Vision付きLLM（MiniGPT-4やLLaVA）は一般物体について認 識できるが、ドメインごとの専門知識や局所の細部についての 知識がない ■ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を 設定する必要がある ■ そこで、両者の良いところを結合したLarge Vision-Language Model（LVLM）を用いた手法を提案 3 

提案手法のイメージ 4 

既存法との比較 ■ 以下の側面で提案法は優れている ● Few-shot learning：少量データで学習できる ● Anomaly score：異常スコアを出力できる ● Anomaly localization：異常箇所を特定できる ● Anomaly judegment：異常あり・無しを判断できる ● Multi-turn dialogue：インタラクティブにやり取りできる 5 

提案法の構成 6 

Image Decoderの入力テキスト ■ 前ページ構成図の上半分 ■ テキストは以下のようなものを使う 7 

学習データの準備 ■ データ拡張に使われる技術で異常画像を生成する 8 

学習データの準備 ■ 学習用対話データは以下のように準備する 9 

定量的な評価 ■ 特に少数の学習データに強い 10 

定性的な評価 11 

定性的な評価 12 

まとめ ■ LVLM基盤モデルを用いた画像異常検知 ● これからの発展が期待 13