表情認識についての簡単な調査

表情認識についての簡単な調査

Transcript

1. 何に使うのか？ 処理の流れ 表情をどう分類するのか？ 人間は文化に関係なく、ある種の基本的な感情を同じように知 覚するという。これらの典型的な顔の表情は、怒り(anger)、嫌 悪(disgust)、恐怖(fear)、喜び(happiness)、悲しみ(sadness)、 驚き(surprise)等が挙げられる。 表情は感情の状態や意図を伝えるための強力で自然かつ普遍的な シグナルの一つ。想定される主な用途として、社会的ロボット 、医療分野、運転手の疲労監視、遠隔会議でのコミュニケーショ ン支援等が考えられる。 Sprint 16課題 表情認識とは（Facial Expression Recognition 略してFER) MEF2101 / 松田 2021/3/25 次に読むべき論文は？ ・学習データに対し顔を検出し、背景と非顔領域を除去する。 顔検出には，Viola-Jones (V&J) 顔検出器が広く用いられている。 ・データの増強(FER用のデータベースには学習データが少ない。) ・学習。多くの手法が研究されている。 次ページ以降を参照。
2. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ Deep Facial Expression Recognition: A Survey(2020) FERの最新の技術動向がまとめられている。 特になし 3つの標準的データセットを用いて有効性を検証している。 従来モデルよりもFER精度が向上している。 ・Multi-PIE : 1.2%〜15.65% ・BU-3DFE : 2.56%～5.9% ・SFEW: 1.88%〜7.68% ・ GANにより顔画像を生成し、学習・推定を実施する。 ・任意のポーズで異なる表情を持つ顔画像を自動的に生成する ため、学習セットを拡大・充実させることができる。 従来は非正面画像に対し正面からの顔認識を行う、もしくは ポーズごとに個別の分類器を学習していた。 これに対し顔画像の多面的な合成を行い、ポーズに依存しない 表情認識を検討している。 任意のポーズ(例:下を向く)の顔画像に対し表情認識するため、 顔画像合成と表情認識を同時に行うエンドツーエンドの 学習モデル。顔画像から属性(表情とポーズ)を分離することで、 任意の表情やポーズの顔画像を生成し、分類を行う。 Joint Pose and Expression Modeling for Facial Expression Recognition (表情認識のためのポーズと表情の共同モデリング) （2018）Feifei Zhang1,2, Tianzhu Zhang2,3∗, Qirong Mao1, Changsheng Xu 1 School of Computer Science and Communication Engineering, Jiangsu University, China 2 National Laboratory of Pattern Recognition, Institute of Automation, CAS 3 University of Chinese Academy of Sciences 2021/3/25
3. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ 特になし 表情認識でよく使われるベンチマークであるCK+, AFEWに対し、 従来のMode variational LSTMより３倍高速化した。 従来の動画の表情認識では、RGB画像にデコードしていたが、 IFERCVは圧縮動画をデコードせずにそのまま表情認識を行う。 データ量の少ない圧縮データで表情認識の処理するため、処理 速度が格段に上がる。 圧縮動画のFERを研究する初の研究 圧縮された動画データから直接表情認識を行う技術。 従来と同程度の精度で3倍の処理速度を実現可能。 リアルタイムFERに向けて期待できる結果を示している。 Identity-aware Facial Expression Recognition in Compressed Video (圧縮動画における識別可能な顔表情認識(IFERCV)) （2021）Xiaofeng Liu1,5† , Linghao Jin3† , Xu Han3 , Jun Lu1∗ , Jane You4 , Lingsheng Kong 1 Beth Israel Deaconess Medical Center and Harvard Medical School, Boston, MA, USA 2 Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, CAS, Changchun, China 3 Johns Hopkins University, Baltimore, MD, USA 4 Dept. of Computing, Hong Kong Polytechnic University, Hung Hom, Hong Kong 5 Fanhan Tech. Inc., Suzhou, Jiangsu, China. †Contribute equally. *Corresponding Author. 2021/3/25 特になし
4. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ 特になし 病状の有無を識別するための堅固なAIモデルを開発するために は、複数の異なるモダリティを利用した信頼できるバイオマー カーを見つけることが重要。本論文では、顔の表情が信頼性の 高いモダリティの1つとして使用できることがわかった。 データセットは604人(症状あり61人、なし543人)の顔面模倣タ スクの動画。タスクは笑顔、嫌な顔、驚いた顔の3種類。種々の 統計処理後にSVMを適用し、症状の有無を分類したところ正答 率:95.6%という結果が得られた。 既存の病状有無を判定するデジタルバイオマーカーとしては、 ウェアラブルセンサーが使用されていたが高コストであり、ま た神経科医が近くにいる必要もある。 表情からパーキンソン病の症状の有無を判別する手法を提案。 本手法が信頼性の高いバイオマーカーとなること、さらに判別 をする上で笑顔の表情が重要な要因となることを示した。 Facial expressions can detect Parkinson’s disease: preliminary evidence from videos collected online. (表情によるパーキンソン病の検出：オンライン上の動画による予備的エビデンス) （2020） Mohammad Rafayet Ali, Taylor Myers, Ellen Wagner, Harshil Ratnu, E. Ray Dorsey, Ehsan Hoque University of Rochester 2021/3/25 OpenFaceによりAction Unitを取得。 Action UnitにSVMを適用し、症状の有無を分類する。