$30 off During Our Annual Pro Sale. View Details »

ことのはの力で画像の異常検知 / Anomaly Detection by Language

Henry Cui
September 30, 2023

ことのはの力で画像の異常検知 / Anomaly Detection by Language

Henry Cui

September 30, 2023
Tweet

More Decks by Henry Cui

Other Decks in Technology

Transcript

  1. ことのはの力で画像の異常検知
    機械学習の社会実装勉強会第27回
    Henry
    2023/9/30

    View Slide

  2. 論文の紹介
    ■ 最近の基盤モデル(言語モデルと画像モデル)の発達により、その知識で
    画像異常検知を行うモチベーション
    ● まだ実用化まで距離あるが、技術的に面白い方法性
    ■ AnomalyGPT: Detecting Industrial Anomalies using Large
    Vision-Language Models
    ● https://github.com/CASIA-IVA-Lab/AnomalyGPT
    ● 実装も公開されているのでありがたい
    2

    View Slide

  3. 論文のモチベーション
    ■ Vision付きLLM(MiniGPT-4やLLaVA)は一般物体について認
    識できるが、ドメインごとの専門知識や局所の細部についての
    知識がない
    ■ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を
    設定する必要がある
    ■ そこで、両者の良いところを結合したLarge Vision-Language
    Model(LVLM)を用いた手法を提案
    3

    View Slide

  4. 提案手法のイメージ
    4

    View Slide

  5. 既存法との比較
    ■ 以下の側面で提案法は優れている
    ● Few-shot learning:少量データで学習できる
    ● Anomaly score:異常スコアを出力できる
    ● Anomaly localization:異常箇所を特定できる
    ● Anomaly judegment:異常あり・無しを判断できる
    ● Multi-turn dialogue:インタラクティブにやり取りできる
    5

    View Slide

  6. 提案法の構成
    6

    View Slide

  7. Image Decoderの入力テキスト
    ■ 前ページ構成図の上半分
    ■ テキストは以下のようなものを使う
    7

    View Slide

  8. 学習データの準備
    ■ データ拡張に使われる技術で異常画像を生成する
    8

    View Slide

  9. 学習データの準備
    ■ 学習用対話データは以下のように準備する
    9

    View Slide

  10. 定量的な評価
    ■ 特に少数の学習データに強い
    10

    View Slide

  11. 定性的な評価
    11

    View Slide

  12. 定性的な評価
    12

    View Slide

  13. まとめ
    ■ LVLM基盤モデルを用いた画像異常検知
    ● これからの発展が期待
    13

    View Slide