Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オートエンコーダーによる異常検知
Search
Masafumi Abeta
February 17, 2021
Programming
0
200
オートエンコーダーによる異常検知
2021年2月17日の社内勉強会で発表した資料です。
Masafumi Abeta
February 17, 2021
Tweet
Share
More Decks by Masafumi Abeta
See All by Masafumi Abeta
GPTモデルでキャラクター設定する際の課題
abeta
0
140
GPTをLINEで使えるようにして布教した
abeta
0
84
【Nishika】プリント基板の電子部品検出
abeta
0
150
初心者向けChatGPT入門
abeta
0
150
GPT Short Talk
abeta
0
93
拡散モデルについて少しだけ
abeta
0
11
動的計画モデル
abeta
0
110
物体追跡
abeta
0
190
特徴量記述
abeta
0
140
Other Decks in Programming
See All in Programming
HUIT新歓2024「競技プログラミング、やってみませんか?」
slephy2784
1
260
Java 22 Overview
kishida
1
180
코틀린으로 멀티플랫폼 만들기
pangmoo
0
140
Build Apps for iOS, Android & Desktop in 100% Kotlin With Compose Multiplatform (mDevCamp 2024)
zsmb
0
110
コーンフレークから始める モデリング会話入門
ogurotakayuki
0
340
⼤規模⾔語モデルの拡張(RAG)が 終わったかも知れない件について
nearme_tech
22
15k
入門 AWS Amplify Gen2 / Introduction to AWS Amplify Gen2
genkiogasawara
1
320
はてなにおける CSS Modules、及び CSS Modules に足りないもの / CSS Modules in Hatena, and CSS Modules missing parts
mizdra
6
880
Rethinking UI building strategies @ SFI 2024
letelete
0
270
Ruby Pattern Matching
bkuhlmann
0
920
Behind VS Code Extensions for JavaScript / TypeScript Linnting and Formatting
unvalley
5
860
Azure OpenAI Serviceのプロンプトエンジニアリング入門
tomokusaba
3
620
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
324
20k
Building Your Own Lightsaber
phodgson
98
5.7k
Writing Fast Ruby
sferik
620
60k
Reflections from 52 weeks, 52 projects
jeffersonlam
344
19k
Documentation Writing (for coders)
carmenintech
59
3.9k
Making the Leap to Tech Lead
cromwellryan
123
8.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
990
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
In The Pink: A Labor of Love
frogandcode
138
21k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
We Have a Design System, Now What?
morganepeng
42
6.7k
Art, The Web, and Tiny UX
lynnandtonic
288
19k
Transcript
オートエンコーダーによる異常検知 Abeta
画像の異常検知 • 異常検知=他の⼤多数のデータとは異なる特徴を持つデータを⾒つける。 正常 異常
オートエンコーダー Encoder Decoder • 正常画像で特徴を抽出、画像を復元するモデルを学習する。 モデルに異常画像を通し、復元できない差分で異常を検知する。 正常 異常
従来モデルの⽋点 Encoder Decoder • 局所的な異常が画像全体の再構成に影響を与える。異常箇所の同定が困難になる。 また、VAEは出⼒画像がぼやけることが知られている。 理想 現実
新⼿法 • 異常画像の異常な部分だけを再構成画像に近づけるようにする。 [arXiv:2002.03734]Iterative energy-based projection on a normal data
manifold for anomaly localization Encoder Decoder 異常箇所のみ 再構成画像に 置き換える ① ② ③ ④ ①〜③を繰り返した後 ⽐較して異常度を出⼒ ⽐較して異常箇所を特定 推論
難しい説明 正常画像の集合 ⼊⼒異常画像 𝒙𝟎 " 𝒙𝟎 VAE再構成画像 𝒙𝒕"𝟏 = 𝒙𝒕
− 𝜶 % 𝛁𝒙 𝑬 𝒙𝒕 ⊙ 𝒙𝒕 − 𝒇 𝒙𝒕 𝟐 再構成誤差 L1正則化 正常部分を⼊⼒画 像に保ちつつ再構 成画像に近づける 異常箇所のピク セルに重み付け " 𝒙𝟏 " 𝒙𝒕 𝒙𝟏 𝒙𝒕 正常箇所のピクセルは𝒙𝟎 と同じ値に保ちつつ異常 箇所のピクセルは再構成 画像に近づける 再構成画像は イテレーションで ほとんど変わらない 𝑬 𝒙𝒕 = 𝓛 𝒙𝒕 + 𝝀||𝒙𝒕 − 𝒙𝟎|| Pixel Space ぼやけるため正常画像の 集合からは少しずれる 異常箇所の ピクセル 正常箇所の ピクセル 正常箇所の ピクセル イテレーション
L1正則化の補⾜ 正常画像の集合 ⼊⼒異常画像 𝒙𝟎 " 𝒙𝟎 VAE再構成画像 𝒙𝒕"𝟏 = 𝒙𝒕
− 𝜶 % 𝛁𝒙 𝑬 𝒙𝒕 ⊙ 𝒙𝒕 − 𝒇 𝒙𝒕 𝟐 再構成誤差 L1正則化 正常部分を⼊⼒画 像に保ちつつ再構 成画像に近づける 異常箇所のピク セルに重み付け " 𝒙𝟏 " 𝒙𝒕 𝒙𝟏 𝒙𝒕 𝑬 𝒙𝒕 = 𝓛 𝒙𝒕 + 𝝀||𝒙𝒕 − 𝒙𝟎|| Pixel Space ぼやけるため正常画像の 集合からは少しずれる 異常箇所の ピクセル 正常箇所の ピクセル 正常箇所の ピクセル イテレーション MSEの場合
知⾒ • そもそもかなり学習させないとVAEで綺麗な再構成画像を作れない • 𝛼と𝜆とイテレーション回数のチューニングはかなり技巧的 • イテレーション数⼗回のオーダーで必要 • イテレーションによる再構成画像はほとんど変化がない(多分) 再構成の精度が低いから?
• 再構成誤差の計測は交差エントロピーよりMAEのほうがよい • “Reduce Failed to Synchronise”エラーが出るとカーネルの再起動が必要
参考 • 「 Iterative energy-based projection on a normal data
manifold for anomaly localization」, David Dehaene, Oriel Frigo, Sébastien Combrexelle, Pierre Eline, ICLR 2020 Conference Blind Submission • “ICLR2020の異常検知論⽂を実装してみた”, https://qiita.com/kogepan102/items/122b2862ad5a51180656 • “ICLR2020の異常検知論⽂の紹介”, https://www.slideshare.net/ssuser9eb780/iclr2020-20191123