Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Search
Henry Cui
September 30, 2023
Technology
0
200
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Henry Cui
September 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
160
Diffusion Model with Perceptual Loss
zchenry
0
76
レンズの下のLLM / LLM under the Lens
zchenry
0
98
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
63
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
zchenry
0
170
Other Decks in Technology
See All in Technology
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
1.3k
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
21
6.2k
中年男性がメインフレームから クラウドへキャリアシフトしてみた
uechishingo
1
420
Cracking the KubeCon CfP
inductor
2
280
同じ様なUIをiOS/Android間で合わせるヒントNo.2
fumiyasac0921
1
110
成長をサポートするピープルマネジメントのやり方
sioncojp
9
1.4k
令和最新版 Ruby プロファイラ "Pf2" のご紹介
osyoyu
0
160
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
510
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
130
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
160
さらばあのボタンとは言わせない SORACOM LTE-M Button powerd by AWSをまだ使えるようにした(前編?)
miura55
0
110
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
9
1.3k
Facilitating Awesome Meetings
lara
43
5.6k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
What's in a price? How to price your products and services
michaelherold
238
11k
Rails Girls Zürich Keynote
gr2m
91
13k
Into the Great Unknown - MozCon
thekraken
15
1k
Writing Fast Ruby
sferik
622
60k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
8
3.4k
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
Practical Orchestrator
shlominoach
183
9.7k
Transcript
ことのはの力で画像の異常検知 機械学習の社会実装勉強会第27回 Henry 2023/9/30
論文の紹介 ▪ 最近の基盤モデル(言語モデルと画像モデル)の発達により、その知識で 画像異常検知を行うモチベーション • まだ実用化まで距離あるが、技術的に面白い方法性 ▪ AnomalyGPT: Detecting Industrial
Anomalies using Large Vision-Language Models • https://github.com/CASIA-IVA-Lab/AnomalyGPT • 実装も公開されているのでありがたい 2
論文のモチベーション ▪ Vision付きLLM(MiniGPT-4やLLaVA)は一般物体について認 識できるが、ドメインごとの専門知識や局所の細部についての 知識がない ▪ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を 設定する必要がある ▪ そこで、両者の良いところを結合したLarge
Vision-Language Model(LVLM)を用いた手法を提案 3
提案手法のイメージ 4
既存法との比較 ▪ 以下の側面で提案法は優れている • Few-shot learning:少量データで学習できる • Anomaly score:異常スコアを出力できる •
Anomaly localization:異常箇所を特定できる • Anomaly judegment:異常あり・無しを判断できる • Multi-turn dialogue:インタラクティブにやり取りできる 5
提案法の構成 6
Image Decoderの入力テキスト ▪ 前ページ構成図の上半分 ▪ テキストは以下のようなものを使う 7
学習データの準備 ▪ データ拡張に使われる技術で異常画像を生成する 8
学習データの準備 ▪ 学習用対話データは以下のように準備する 9
定量的な評価 ▪ 特に少数の学習データに強い 10
定性的な評価 11
定性的な評価 12
まとめ ▪ LVLM基盤モデルを用いた画像異常検知 • これからの発展が期待 13