Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Search
Henry Cui
September 30, 2023
Technology
0
340
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Henry Cui
September 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
68
Direct Preference Optimization
zchenry
0
260
Diffusion Model with Perceptual Loss
zchenry
0
210
レンズの下のLLM / LLM under the Lens
zchenry
0
140
Go with the Prompt Flow
zchenry
0
130
Mojo Dojo
zchenry
1
170
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
160
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
80
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
140
Other Decks in Technology
See All in Technology
Efficient zero-copy networking using io_uring
ennael
PRO
0
280
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
270
第45回 MLOps 勉強会 - ML Test Score を用いた機械学習システムの定量的なアセスメント
masatakashiwagi
3
230
[JAWS-UG GameTech] 第6回 各種事例紹介_18TRIPにおけるAWSサービスを活用した負荷テスト・障害テスト
naoto_yasuda
0
120
Perlで始めるeBPF: 自作Loaderの作り方 / Getting started with eBPF in Perl_How to create your own Loader
takehaya
1
220
Oracle GoldenGate 23ai 導入Tips
oracle4engineer
PRO
1
210
スモールスタート、不都合な真実 〜 耳当たりの良い言葉に現場が振り回されないために/20240930-ssmjp-small-start
opelab
13
1.7k
映像・音声伝送システム
jtes
0
200
クレジットカードを製造する技術
yutadayo
70
35k
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
1
1.7k
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
370
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
300
Featured
See All Featured
Docker and Python
trallard
40
3k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
279
13k
The Cost Of JavaScript in 2023
addyosmani
43
5.8k
How GitHub (no longer) Works
holman
311
140k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Speed Design
sergeychernyshev
22
470
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
In The Pink: A Labor of Love
frogandcode
139
22k
What's in a price? How to price your products and services
michaelherold
243
11k
Transcript
ことのはの力で画像の異常検知 機械学習の社会実装勉強会第27回 Henry 2023/9/30
論文の紹介 ▪ 最近の基盤モデル(言語モデルと画像モデル)の発達により、その知識で 画像異常検知を行うモチベーション • まだ実用化まで距離あるが、技術的に面白い方法性 ▪ AnomalyGPT: Detecting Industrial
Anomalies using Large Vision-Language Models • https://github.com/CASIA-IVA-Lab/AnomalyGPT • 実装も公開されているのでありがたい 2
論文のモチベーション ▪ Vision付きLLM(MiniGPT-4やLLaVA)は一般物体について認 識できるが、ドメインごとの専門知識や局所の細部についての 知識がない ▪ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を 設定する必要がある ▪ そこで、両者の良いところを結合したLarge
Vision-Language Model(LVLM)を用いた手法を提案 3
提案手法のイメージ 4
既存法との比較 ▪ 以下の側面で提案法は優れている • Few-shot learning:少量データで学習できる • Anomaly score:異常スコアを出力できる •
Anomaly localization:異常箇所を特定できる • Anomaly judegment:異常あり・無しを判断できる • Multi-turn dialogue:インタラクティブにやり取りできる 5
提案法の構成 6
Image Decoderの入力テキスト ▪ 前ページ構成図の上半分 ▪ テキストは以下のようなものを使う 7
学習データの準備 ▪ データ拡張に使われる技術で異常画像を生成する 8
学習データの準備 ▪ 学習用対話データは以下のように準備する 9
定量的な評価 ▪ 特に少数の学習データに強い 10
定性的な評価 11
定性的な評価 12
まとめ ▪ LVLM基盤モデルを用いた画像異常検知 • これからの発展が期待 13