Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Search
Henry Cui
September 30, 2023
Technology
0
560
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Henry Cui
September 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
190
Direct Preference Optimization
zchenry
0
370
Diffusion Model with Perceptual Loss
zchenry
0
390
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
200
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
160
Other Decks in Technology
See All in Technology
American airlines ®️ USA Contact Numbers: Complete 2025 Support Guide
airhelpsupport
0
390
AWS認定を取る中で感じたこと
siromi
1
190
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability through SRE
kohbis
1
230
データグループにおけるフロントエンド開発
lycorptech_jp
PRO
1
110
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
52
20k
【LT会登壇資料】TROCCO新コネクタ「スマレジ」を活用した直営店データの分析
kazari0425
1
100
[ JAWS-UG千葉支部 x 彩の国埼玉支部 ]ムダ遣い卒業!FinOpsで始めるAWSコスト最適化の第一歩
sh_fk2
2
100
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
3
7.3k
Delegating the chores of authenticating users to Keycloak
ahus1
0
160
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
170
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
960
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
270
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Site-Speed That Sticks
csswizardry
10
690
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
We Have a Design System, Now What?
morganepeng
53
7.7k
Code Reviewing Like a Champion
maltzj
524
40k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Thoughts on Productivity
jonyablonski
69
4.7k
Typedesign – Prime Four
hannesfritz
42
2.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Building Applications with DynamoDB
mza
95
6.5k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Designing for humans not robots
tammielis
253
25k
Transcript
ことのはの力で画像の異常検知 機械学習の社会実装勉強会第27回 Henry 2023/9/30
論文の紹介 ▪ 最近の基盤モデル(言語モデルと画像モデル)の発達により、その知識で 画像異常検知を行うモチベーション • まだ実用化まで距離あるが、技術的に面白い方法性 ▪ AnomalyGPT: Detecting Industrial
Anomalies using Large Vision-Language Models • https://github.com/CASIA-IVA-Lab/AnomalyGPT • 実装も公開されているのでありがたい 2
論文のモチベーション ▪ Vision付きLLM(MiniGPT-4やLLaVA)は一般物体について認 識できるが、ドメインごとの専門知識や局所の細部についての 知識がない ▪ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を 設定する必要がある ▪ そこで、両者の良いところを結合したLarge
Vision-Language Model(LVLM)を用いた手法を提案 3
提案手法のイメージ 4
既存法との比較 ▪ 以下の側面で提案法は優れている • Few-shot learning:少量データで学習できる • Anomaly score:異常スコアを出力できる •
Anomaly localization:異常箇所を特定できる • Anomaly judegment:異常あり・無しを判断できる • Multi-turn dialogue:インタラクティブにやり取りできる 5
提案法の構成 6
Image Decoderの入力テキスト ▪ 前ページ構成図の上半分 ▪ テキストは以下のようなものを使う 7
学習データの準備 ▪ データ拡張に使われる技術で異常画像を生成する 8
学習データの準備 ▪ 学習用対話データは以下のように準備する 9
定量的な評価 ▪ 特に少数の学習データに強い 10
定性的な評価 11
定性的な評価 12
まとめ ▪ LVLM基盤モデルを用いた画像異常検知 • これからの発展が期待 13