Future Frame Prediction for Anomaly Detection - A New Baseline tereka114

Self Introduction • ⼭本 ⼤輝（@tereka114） • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理 • Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科

CVPR2018 ⾏ってきました。 • 初参加、楽しかった！ • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859 • http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716

Outline • 概要 • 関連研究 • 提案⼿法 • 実験 • 結論

概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 • Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。

概要

Related Works • Learning Temporal Regularity in Video Sequences • ビデオのフレーム（Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案

Learning Temporal Regularity in Video Sequences

Abnormal Event Detection in Videos using Spatiotemporal Autoencoder

提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3. Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。

提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム 3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。（後述） 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。

提案⼿法の概要

U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。

Optical Flowの算出 1. ２つのOptical FlowをFlow Netで計算する。 1. 現在フレーム（t）と予測した未来のフレーム（t+1）に対して Optical Flowを計算する。 2. 現在フレーム（t）と未来のフレーム（t+1）に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素

Flow Net • Optical Flowを算出するニューラルネットワーク

誤差計算 • Generator Loss • Intensity loss • Gradient loss • Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)

誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の フレーム

誤差計算② • Intensity Loss • Gradient Loss • Optical Flow Loss

誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)

PSNR（Peak Signal to Noise Ratio） • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。

実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset • The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較

データセット • CUHK Avenue dataset • Training 16, Testing 21 • Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130

実験結果① ⼿法と結果⼀覧

実験結果② 評価結果

実験結果③ 出⼒結果

実験結果④ 動画の異常検知結果

結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度 な結果が出た。