Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Future Frame Prediction for Anomaly Detection -...
Search
tereka114
March 15, 2022
Programming
0
120
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
March 15, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.7k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.6k
KDD2023学会参加報告
tereka114
2
600
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
400
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
1.1k
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
210
Jupyter Notebookを納品した話
tereka114
0
480
Multi Scale Recognition with DAG-CNNs
tereka114
0
150
How to use scikit-image for data augmentation
tereka114
0
280
Other Decks in Programming
See All in Programming
AI Agent 時代のソフトウェア開発を支える AWS Cloud Development Kit (CDK)
konokenj
6
1k
The Modern View Layer Rails Deserves: A Vision For 2025 And Beyond @ RailsConf 2025, Philadelphia, PA
marcoroth
2
820
202507_ADKで始めるエージェント開発の基本 〜デモを通じて紹介〜(奥田りさ)The Basics of Agent Development with ADK — A Demo-Focused Introduction
risatube
PRO
5
1.2k
リッチエディターを安全に開発・運用するために
unachang113
1
270
中級グラフィックス入門~効率的なメッシュレット描画~
projectasura
3
1.7k
バイブスあるコーディングで ~PHP~ 便利ツールをつくるプラクティス
uzulla
1
300
AWS Summit Japan 2024と2025の比較/はじめてのKiro、今あなたは岐路に立つ
satoshi256kbyte
1
250
CLI ツールを Go ライブラリ として再実装する理由 / Why reimplement a CLI tool as a Go library
ktr_0731
3
660
マッチングアプリにおけるフリックUIで苦労したこと
yuheiito
0
240
코딩 에이전트 체크리스트: Claude Code ver.
nacyot
0
1k
The Evolution of Enterprise Java with Jakarta EE 11 and Beyond
ivargrimstad
0
540
SwiftでMCPサーバーを作ろう!
giginet
PRO
2
210
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Building Applications with DynamoDB
mza
95
6.5k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
How to Ace a Technical Interview
jacobian
278
23k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Raft: Consensus for Rubyists
vanstee
140
7k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Statistics for Hackers
jakevdp
799
220k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
What's in a price? How to price your products and services
michaelherold
246
12k
Become a Pro
speakerdeck
PRO
29
5.4k
Transcript
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
Self Introduction • ⼭本 ⼤輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理
• Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科
CVPR2018 ⾏ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859
• http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
Outline • 概要 • 関連研究 • 提案⼿法 • 実験 •
結論
概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 •
Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。
概要
Related Works • Learning Temporal Regularity in Video Sequences •
ビデオのフレーム(Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案
Learning Temporal Regularity in Video Sequences
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3.
Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。
提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム
3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。
提案⼿法の概要
U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。
Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。
2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素
Flow Net • Optical Flowを算出するニューラルネットワーク
誤差計算 • Generator Loss • Intensity loss • Gradient loss
• Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の
フレーム
誤差計算② • Intensity Loss • Gradient Loss • Optical Flow
Loss
誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。
実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset •
The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較
データセット • CUHK Avenue dataset • Training 16, Testing 21
• Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
実験結果① ⼿法と結果⼀覧
実験結果② 評価結果
実験結果③ 出⼒結果
実験結果④ 動画の異常検知結果
結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度
な結果が出た。