論文紹介：Facial Action Unit Detection Using Active Learning and an Efficient Non-linear Kernel Approximation

Senechal, Thibaud, Daniel McDuff, and Rana Kaliouby. "Facial action unit detection using active learning and an efficient non-linear kernel approximation." Proceedings of the IEEE International Conference on Computer Vision Workshops. 2015.

https://openaccess.thecvf.com/content_iccv_2015_workshops/w2/html/Senechal_Facial_Action_Unit_ICCV_2015_paper.html

Transcript

1. Facial Action Unit Detection using Active Learning and an Efficient Non-Linear Kernel Approximation
2. はじめに • 表情検出に関する論文 • 能動学習（active learning）を用いて大量のデータから 効率よく学習を行う方法についての内容 2
3. 紹介論文 • Thibaud Senechal, Daniel McDuff, Rana Kaliouby: “Facial Action Unit Detection using Active Learning and an Efficient Non-Linear Kernel Approximation”, Proceedings of the IEEE International Conference on Computer Vision Workshops, 2015 3
4. 目次 • 背景 • 訓練データ – 収集 – ラベリング – 課題 • SVMによる分類 • 特徴抽出 • 提案手法 – 能動学習 – カーネル近似 • 実験 • まとめ • おわりに 4
5. 背景 • 近年，多くの表情認識アプリケーションが開発されている • 広告に対する見た人の反応の判定などに利用 – 自然に起こるわずかな表情の認識 – リアルタイム性 • 精度の高い表情認識に必要なもの – 適切な特徴選択 – 分類器 – 大量の訓練データ • 全てに人手でラベル付けするのは困難 • 学習や分類の際の計算量の増加 5
6. 訓練データの収集 • 認識したい表情の正例と負例を大量に集める必要性 • 大量のデータすべてに人手でラベル付けするのは困難 • 表情データベース – Cohn-Kanade (CK+)[1] – MMI[2] – DISFA[3] 6 自然な表情を大量の人数から集める必要がある • 特定の環境 • 作られた表情 • 収集した人数が少ない 多様性に 乏しい [1] Lucey, P., Cohn, J. F., Kanade, T., Saragih, J., Ambadar, Z., & Matthews, I. (2010). The Extended Cohn-Kanade Dataset (CK+): A complete expression dataset for action unit and emotion-specified expression. Proceedings of the Third International Workshop on CVPR for Human Communicative Behavior Analysis (CVPR4HB 2010), San Francisco, USA, 94-101. [2] Pantic, Maja, et al. "Web-based database for facial expression analysis." Multimedia and Expo, 2005. ICME 2005. IEEE International Conference on. IEEE, 2005. [3] Mavadati, S. Mohammad, et al. "Disfa: A spontaneous facial action intensity database." IEEE Transactions on Affective Computing 4.2 (2013): 151-160.
7. • 顔面動作符号化システム（FACS; Facial Action Coding System） • 表情の分類に広く用いられる分類基準 • 顔の解剖学的な知見をもとに様々な顔の動きをコード化 • 表情の客観的な評価が可能 • FACSコーディングを行うには多くの 学習と経験が必要 →限られた人にしか出来ず， 訓練データのラベリング 7 大量のラベリングは困難 http://www.microexpressions.jp/mission.html
8. 訓練データに関する課題 • 既存のデータセットでは不十分 →動画コンテンツを見ている人の表情を Webカメラを用いてオンラインで大量に収集（180万本） • 大量のデータに人手でFACSコーディングを行うのは困難 • 実際に表情が現れているデータはスパース 8 有用なデータに優先的にラベル付けを行う手法の提案
9. 既存手法 – SVMによる表情分類(1) • 表情分類には非線形SVMが広く使われる 1. 特徴ベクトルを非線形写像𝜙を用いて高次元空間に写像 2. 高次元空間でマージンが最大となる識別超平面を決定 9 元の空間 高次元空間 元の空間 識別超平面
10. 既存手法 – SVMによる表情分類(2) • カーネル関数を導入すると非線形写像を求めずに識別面を 計算できる（カーネルトリック） • RBFカーネルSVMが広く用いられる – 𝜙は無限次元空間への写像となる 10
11. 非線形SVMの問題点 • 訓練データ数が増加すると計算量が大幅に増大 – 学習時の計算量はデータ数𝑁に対し𝑂 𝑁2 で増加する – 識別面のサポートベクトルの数が増える →分類時の計算量も増加（∝サポートベクトル数） 11 リアルタイムでの分類は困難 写像関数𝜙を近似する手法の提案
12. 特徴抽出 1. OpenCVの顔検出器を用いて顔の領域を抽出 2. 抽出した領域を正規化 – 目が水平になるように回転 – 96×96 pxに拡大or縮小 3. HOG特徴量を抽出 12
13. HOG（Histogram of Oriented Gradient） • 本研究で用いられている画像特徴量 • 照明変化に対してロバスト • 画像をセルに分割し，セル毎に輝度の勾配をヒストグラム化 13 https://www.slideshare.net/MPRG_Chubu_University/ss-32258845
14. HOGの計算(1) 1. 画像をセルに分割 – 論文では8×8 px 2. ピクセルごとに輝度の勾配方向qと 強度mを算出 14
15. 3. 0°～180°を6等分し，ビン毎に強度を加算して セル内でヒストグラムを作成 4. ブロック（4×4セル）をずらしながら ブロック内でヒストグラムを正規化 – 正規化は1つのセルに対し複数回行われる HOGの計算(2) 15 （6×ブロック内のセル数×ブロック数）次元の HOG特徴量 ：ブロック内の(i, j)のセルのk番目のビン
16. 提案手法 1. 動画を見ている人の表情をWebカメラを用いて オンラインで大量に収集 2. 一部のデータに人手でラベル付けを行い仮のSVMを作成 3. 仮SVMを用いて学習に有用なデータを選択し人手でラベル 付け（能動学習；Active learning） 4. 大量に得られたラベル付き訓練データを用いて 提案SVMで学習 16
17. 能動学習によるデータ収集(1) • 有用なデータに優先的にラベル付けを行うための提案手法 • 本論文で識別する表情 – AU02（眉が上がる動作） – AU04（眉が下がる動作） – smile • オンラインで180万の表情の動画を収集 • 人手によるラベル付け – AU04：1858枚，AU02：3771枚，smile：6275枚 17 負 例 正 例
18. 能動学習によるデータ収集(2) • AU02, AU04の正例はsmileよりスパース →能動学習によりAU02, AU04を収集 1. ラベル付けしたデータを用いSVMで AU02, AU04それぞれを判定する仮の分類器を作成 2. すべての動画をSVMで判定 →出力値（識別関数の値？）をシグモイド関数に通し， 0～100に正規化 3. 2.の値が2秒間以上連続して10を超えるセグメントを抽出 18 仮SVM シグモイド関数 0 100
19. 能動学習によるデータ収集(3) • 抽出されたセグメントに対し 平均値でランキング化 – 短くても出力の高いものは 上位に来る • ランキングの上位からAU02, AU04をそれぞれ 13,500セグメントずつ収集 →AU02, AU04, smileのラベル付け • 少なかったAU02, AU04の正例が多く得られた – 正例集めだけでなく，負例集めにも役立つ 19 AU02, AU04 smile 能動学習なし 2%未満 20% 能動学習あり 30%ずつ 20% それぞれの表情の正例を含むセグメントの割合
20. カーネルの近似(1) • SVMによる分類を高速化するための提案手法 • SVMのRBFカーネル が表す写像関数𝜙の近似 ෨ 𝜙を直接導出 →訓練データに直接適用して写像を行う（Nyström法） • 訓練データからランダムに𝑁s 個を選択 – 特徴ベクトル：𝒙𝑖 𝑖 = 1,2, … , 𝑁s 20
21. カーネルの近似(2) • 𝒔：𝑁s 個のサンプルに対するカーネル行列𝐾の固有値 （eigenvalue） • すべてのデータに ෨ 𝜙を適用 → 𝑁s 次元空間上で線形SVMにより学習 – 分類にかかる時間のほとんどは ෨ 𝜙の計算（ ∝ 𝑁s ）となる – 𝑁s を調整することによって精度と計算量のバランスを変えられる 21
22. 実験 • 能動学習とSVMのカーネル近似による性能の変化を評価 • 訓練データ – 正例と負例を同数使用 – 訓練画像を動画セグメントから多くの異なる人物が 含まれるように抽出 • テストデータ – 訓練データには含まれない2500人分の動画から10000枚の テスト用画像を抽出 – 能動学習は使わずに収集 – AU02, AU04, smile以外の表情も含有 22 能動学習 AU02 AU04 smile なし 1400 1800 1800 あり 5200 4800 4000 収集された正例動画セグメント数
23. 実験1 カーネル近似の性能評価 • カーネル近似を行ったSVMと他のSVMで分類性能を比較 – 線形SVM – RBFカーネルSVM – RBFカーネルを近似したSVM（提案手法） • サンプルデータ数𝑁s を変更して比較 • 訓練データは能動学習により収集されたものを使用 23
24. 実験1 結果(1) 24
25. 実験1 結果(2) 25
26. 実験1 結果(3) 26
27. 実験1 考察 • どのSVMも訓練データを増やすと性能が上がる • 提案SVMでは𝑁s を増やすと精度が上がり RBFカーネルSVMの精度に近づく • 訓練データ数が10000を超えると精度が 上がりにくくなったのは，数を増やしてもデータの多様性が 増しにくくなったためであると考えられる 27
28. 実験2 計算量と精度のバランスの評価 • 1秒間に分類できるフレーム数（FPS）と精度を測定 • HOG特徴量が抽出された後の分類にかかる時間を測定 • RBFカーネルSVM – 訓練データ数Nを変化させた • N=200, 1000, 2000, 4000, 10000, 20000, 40000, 80000 • 提案SVM – ෨ 𝜙による写像の計算時間も含める – 訓練データ数は80000に固定 – サンプルデータ数𝑁s を変化 • 𝑁s = 200, 500, 1000, 2000 • 能動学習で得た訓練データを使用 28
29. 実験2 結果(1) 29
30. 実験2 結果(2) 30
31. 実験2 結果(3) 31
32. 実験2 考察 • 線形SVM – 分類時間はHOGの抽出時間（2500 FPS）に比べて無視できる – AU02, AU04の精度が低い • RBFカーネルSVM – 訓練データ数が少なくても高い精度が得られた – 分類時間は比較的遅い • 提案SVM – 𝑁s を大きくすれば精度は上がるが，分類速度は遅くなる – 同じFPSで比較した場合RBFカーネルより高い精度が得られている →精度と分類速度のトレードオフの改善 32
33. 実験3 能動学習の効果の評価 • 訓練データ収集に能動学習を用いる場合と 用いない場合を比較 • それぞれの場合について，得られた動画セグメントの中から 訓練画像を抽出 – 訓練画像数は同じ – 画像中の異なる人物の人数は2～3倍異なる 33 能動学習 AU02 AU04 smile なし 1400 1800 1800 あり 5200 4800 4000 収集された正例動画セグメント数（再掲）
34. 実験3 結果(1) 34
35. 実験3 結果(2) 35
36. 実験3 結果(3) 36
37. 実験3 考察 • 能動学習により性能は5%程度向上した • 能動学習を用いない場合，訓練データ数10000～80000で 性能が大きく向上していない – 数を増やしても多様性が向上しないため • 能動学習により，学習に効果的な訓練データセットが 収集されている 37
38. まとめ • 能動学習により大量のデータから訓練データを選択する 手法の提案 • SVMによる分類を高速化する手法の提案 • 実験により手法の有効性が示された 38