ことのはの力で画像の異常検知 / Anomaly Detection by Language

Transcript

1. ことのはの力で画像の異常検知
   機械学習の社会実装勉強会第27回
   Henry
   2023/9/30
   

   View Slide

2. 論文の紹介
   ■ 最近の基盤モデル（言語モデルと画像モデル）の発達により、その知識で
   画像異常検知を行うモチベーション
   ● まだ実用化まで距離あるが、技術的に面白い方法性
   ■ AnomalyGPT: Detecting Industrial Anomalies using Large
   Vision-Language Models
   ● https://github.com/CASIA-IVA-Lab/AnomalyGPT
   ● 実装も公開されているのでありがたい
   2
   

   View Slide

3. 論文のモチベーション
   ■ Vision付きLLM（MiniGPT-4やLLaVA）は一般物体について認
   識できるが、ドメインごとの専門知識や局所の細部についての
   知識がない
   ■ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を
   設定する必要がある
   ■ そこで、両者の良いところを結合したLarge Vision-Language
   Model（LVLM）を用いた手法を提案
   3
   

   View Slide

4. 提案手法のイメージ
   4
   

   View Slide

5. 既存法との比較
   ■ 以下の側面で提案法は優れている
   ● Few-shot learning：少量データで学習できる
   ● Anomaly score：異常スコアを出力できる
   ● Anomaly localization：異常箇所を特定できる
   ● Anomaly judegment：異常あり・無しを判断できる
   ● Multi-turn dialogue：インタラクティブにやり取りできる
   5
   

   View Slide

6. 提案法の構成
   6
   

   View Slide

7. Image Decoderの入力テキスト
   ■ 前ページ構成図の上半分
   ■ テキストは以下のようなものを使う
   7
   

   View Slide

8. 学習データの準備
   ■ データ拡張に使われる技術で異常画像を生成する
   8
   

   View Slide

9. 学習データの準備
   ■ 学習用対話データは以下のように準備する
   9
   

   View Slide

10. 定量的な評価
    ■ 特に少数の学習データに強い
    10
    

    View Slide

11. 定性的な評価
    11
    

    View Slide

12. 定性的な評価
    12
    

    View Slide

13. まとめ
    ■ LVLM基盤モデルを用いた画像異常検知
    ● これからの発展が期待
    13
    

    View Slide