Trends in Machine Learning for Facial Expression Recognition Members.data#1 機械学習系のLT会 2020.06.26 @ebitia

Profile ebitia (Twitter:@TwYamat) - 薬学部生 - 研究 : 医療×NLP - 最近AtCoderはじめました

Agenda 1. 顔関係のタスクについて 2. FERについて 3. まとめ

これまでのあらすじ 発話内容と表情に乖離があるケ ースもあるのでは？ ex).発話内容と表情に乖離がある例 Q.FXで有り金全部溶かしたようです が大丈夫ですか？ だいじょうぶです 第一部完！！ >>まずは表情認識について調べ たのでLTします

顔の研究タスク Q. 研究タスクにはどのようなものが？ ・Face Recognition ・Face Detection ・Face Alignment ・Facial Expression Recognition ・Face Generation ・3D Face Reconstruction ・Face Swapping ・Talking Face Generation etc….

顔関係の研究論文 ・2020年6月時点では、arXivに1,868の論文 ・CVPR2020にも60本の採択論文あり

現実への応用例 iPhoneの顔認証技術 30,000以上の赤外線を 顔に投射し、顔の3D モデルを構築 FaceSwapのアプリ マスク検出 COVID-19でマスク着 用した人の顔認識。 体温認識と組み合わ せて運用 Face Swapを応用し たアプリ

FERとは？

FERとは？ FER(Facial Expression Recognition) 顔の表情を認識するタスク ・多くのタスクで扱われる基本的な 表情は６つ (怒り/嫌悪感/恐怖/幸せ/悲しみ/喜び)

FERのアプローチの変遷 ・FERの分野でも 既存アプローチ>>DL といった手法の変遷 ・既存アプローチは 特徴量抽出+shallow learning がメイン ・最近の主流は 既存手法+DeepLearning Shan Li and Weihong Deng. Deep Facial Expression Recognition: A Survey.IEEE.2020

論文ピックアップ紹介

既存手法×DeepLearning：DJSTN① ・特徴抽出：Local Binary Pattern & Landmark検出 ・2DCNN+3DCNNを結合したモデルで学習 Dami Jeong, Byung-Gyu Kim ,Suh-Yeon Dong.Deep Joint Spatiotemporal Network (DJSTN) for Efficient Facial Expression Recognition.Sensors 2020, 20(7).2020I

既存手法×DeepLearning：DJSTN② Local Binary Pattern 各画素を周囲画素と比較した相対値 へと変換する手法 Landmark Detection 顔の各パーツのキーポイントを 検 出する手法。論文ではneutral face との差を計算して入力としている。 Dami Jeong, Byung-Gyu Kim ,Suh-Yeon Dong.Deep Joint Spatiotemporal Network (DJSTN) for Efficient Facial Expression Recognition.Sensors 2020, 20(7).2020I

GANを用いたFER：IFGAN ・GANを用いた表情認識モデル ・cGANで”平均的な”顔画像を生成し、それをもとに分類器学習 Jie Cai ,Zibo Meng, Ahmed Shehab Khan, Zhiyuan Li , James O’Reilly, and Yan Tong. Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network .arXiv.2019

Image+赤外線：DBTR-BR 赤外線イメージング+可視 光撮影で表情認識を行うタ スクも存在 (e.g.Oulu-Casia dataset) この論文では、測定IRスペ クトルを復元する手法につ いて主に提案 Huiting Wua,Yanshen Liua,Yi Liub,Sanya Liua.Efficient facial expression recognition via convolution neural network and infrared imaging technology Physics & Technology.Volume 102,. 2019

表情データセットの修正：LDL-ALSG CVPR2020論文 表情データセットの ラベル不確実に対す る、ラベル分布学習 の手法を提案 顔画像からAUとFPを 抽出、kNNグラフ構 築からラベル分布を 学習 Shikai Chen, Jianfeng Wang, Yuedong Chen, Zhongchao Shi, Xin Geng, Yong Rui,Southeast University 2University of Oxford 3Nanyang Technological University,AI Lab, Lenovo Research.Label Distribution Learning on Auxiliary Label Space Graphs for Facial Expression Recognition.CVPR2020

CVPR2020論文 まさかの表情ラベル タスクの2本目 こちらは ラベルの重要度を予 測し、低いものに関 して表情ラベルを再 予測する 表情データセットの修正：SCN Kai Wang,Xiaojiang Peng,Jianfei Yang,Shijian Lu,Yu Qiao. Suppressing Uncertainties for Large-Scale Facial Expression Recognition.CVPR2020

まとめ ● 表情認識は奥が深い... ● 最近の主流はやはりDeepLearning+αのような手法 ● 他にも、赤外線やGAN、3Dモデル構築などのアプロ ーチもあり夢が広がっている ● 課題としては、技術的にはwildな状態をどう認識する か、倫理面としてプライバシー問題…

Reference [1]https://www.pocket-lint.com/phones/news/apple/142207-what-is-apple-face-id-and- how-does-it-work [2] https://filmora.wondershare.com/video-editor/best-face-swap-apps.html [3] https://globalnews.ca/news/6653657/coronavirus-facial-recognition-firm-face-masks/ [4]https://www.researchgate.net/publication/326998708_Facial_Action_Unit_Recognition_Using_Dat a_Mining_Integrated_Deep_Learning [5] Shan Li and Weihong Deng. Deep Facial Expression Recognition: A Survey.IEEE.2020 [6] Dami Jeong, Byung-Gyu Kim ,Suh-Yeon Dong.Deep Joint Spatiotemporal Network (DJSTN) for Efficient Facial Expression Recognition.Sensors 2020, 20(7).2020I [7] Huiting Wua,Yanshen Liua,Yi Liub,Sanya Liua.Efficient facial expression recognition via convolution neural network and infrared imaging technology Physics & Technology.Volume 102,. 2019 [8] Shikai Chen, Jianfeng Wang, Yuedong Chen, Zhongchao Shi, Xin Geng, Yong Rui,Southeast University 2University of Oxford 3Nanyang Technological University,AI Lab, Lenovo Research.Label Distribution Learning on Auxiliary Label Space Graphs for Facial Expression Recognition.CVPR2020 [9] Kai Wang,Xiaojiang Peng,Jianfei Yang,Shijian Lu,Yu Qiao. Suppressing Uncertainties for Large-Scale Facial Expression Recognition.CVPR2020 [10]Jie Cai ,Zibo Meng, Ahmed Shehab Khan, Zhiyuan Li , James O’Reilly, and Yan Tong. Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network .arXiv.2019