Tensor Fusion Network for Multimodal Sentiment Analysis

2018/10/22文献紹介の発表内容

Transcript

1. Tensor Fusion Network for Multimodal Sentiment Analysis 長岡技術科学大学 自然言語処理研究室 上脇優人 Amir Zadeh, Minghai Chen, Soujanya Poria, Erik Cambria, Louis-Philippe Morency EMNLP2017, pages 1103–1114 10月文献紹介 ※各人の所属については，paperを参照
2. Abstract • マルチモーダル感情分析についての論文． • モーダル内及びモーダル間のダイナミクスをエンドツーエ ンドで学習するTensor Fusion Networkという新しい モデルを提案． • 提案されたアプローチは，オンラインビデオにおける音声 言語の揮発性と，付随するジェスチャと音声に合わせて調 整されている． • 提案モデルは，マルチモーダルとユニモーダルの両方の感 情分析のための最先端のアプローチよりも優れている． 2
3. Introduction • テキストベースの感情分析を一般化する． • 言語（テキスト），視覚（ジェスチャー），聴覚（音声） • SNSなどの分析などオピニオンマイニングと感情分析を扱う NLPタスクで非常に重要． • マルチモーダル感情分析の主な課題は，モダリティ間のダイ ナミクスを表現することである． • つまり，表現された感情の認識を変える言語，視覚，および 音響の行動間の相互作用が重要． 3
5. CMU-MOSI Dataset •YouTubeムービーレビューからのビデオ意見の注釈付き データセット． •感情の注釈は，Stanford Sentiment Treebankのア ノテーションスキームに従っている． •感情はvery negativeからvery positiveな7段階の スケールで注釈付けされます． •Stanford Sentiment Treebankは文で区切られてい るのに対し，CMU-MOSIデータセットは，文章の境界がテ キストほど明確ではない音声言語に対応するために，意見 発話によってセグメント化されている． 5
6. CMU-MOSI Dataset •CMU-MOSIの93人の話し手には2199件の意見発言 がある． •各動画に平均23.2の意見セグメントがある． •各動画の平均再生時間は4.2秒． •意見発話には合計26,295語がある． •これらの発話には，メカニカル・タークの5人の注 釈者が感情の注釈を付ける． 6
7. CMU-MOSI Dataset 7
8. Tensor Fusion Network • 提案するTFNは，3つの主要な要素で構成される． 1. モダリティ埋め込みサブネットワークは，入力とし てユニモーダルな特徴を取り込み，豊富なモダリテ ィ埋め込みを出力する． 2. Tensor Fusion Layerは，モダリティ埋め込みか らの3倍デカルト積を使用して，ユニモーダルからト リモーダルまでの相互作用を明示的にモデル化す る． 3. センチメント推論サブネットワークは，Tensor Fusion Layerの出力を条件とし，感情推論を行う ネットワークである． • セクション3のタスクに応じて，バイナリ分類，5クラス 分類または回帰に対応するようにネットワーク出力が変更 される． • TFNへの入力は，言語，視覚，聴覚の3つのモダリティを 含む意見発話である． 8
9. Modality Embedding　Subnetworks: Spoken Language Embedding Subnetwork • 音声テキストは，レビュー等とは異なる． 例：“I think it was alright...Hmmm...let me think...yeah...no...ok yeah” • 最初の部分は実際のメッセージを伝え，残りは最終的に最 初の部分に賛同するような形になっている． • 音声言語の揮発性の性質の課題に対処するために提案され ているアプローチは，各単語区間での話し言葉の豊かな表 現を学び，それを完全に接続されたDeep Networkへの 入力として使用するものである． 9
11. Modality Embedding　Subnetworks: Visual Embedding Subnetwork, Acoustic Embedding Subnetwork • 表情の情報が視覚情報の最も重要なソースである． • 話者の表情は，30Hzでサンプリングされたフレームごと に検出され，7つの基本感情（怒り，軽蔑，嫌悪感，恐怖， 喜び，悲しみ，驚き）と2つの高度な感情（欲求不満と混 乱）（Ekman，1992）をFACET表情解析フレームワーク1 を用いて抽出する． • 顔の詳細な筋肉の動きを示す20個の顔面アクションユニ ット（Ekman et al.,1980）のセットも，FACETを使 用して抽出する． • 音声についてもフレームワークを用いて特徴を抽出し た．抽出された特徴は，人間の声の様々な特徴を捕捉し， 感情に関連することが示されている． 11
12. Tensor Fusion Layer 12
13. Sentiment Inference Subnetwork •Tensor Fusion層の後，各意見発声は，マルチモ ーダルテンソルzmとして表すことができる． •我々は，zm上で条件付けされた重みWs を有する感情 推論サブネットワークUs と呼ばれる完全に接続され たDeep Neural Networkを使用する． •ネットワークのアーキテクチャは，決定レイヤに接 続された128個のReLUアクティベーションユニット の2つのレイヤーで構成される． 13
14. Sentiment Inference Subnetwork •センチメント推論サブネットワークの尤度関数は，以下 のように定義される．ここで，φはセンチメント予測で ある．ここで，φmax（φm）は，我々のネットワーク． •第1のネットワークは，バイナリのクロスエントロピ ー損失を使用する単一のシグモイド出力ニューロンを 用いて，バイナリセンチメント分類のために訓練され る． •第2のネットワークは，5クラスのセンチメント分類 のために設計され，カテゴリクロスエントロピー損失 を使用するソフトマックス確率関数を使用する． •第3のネットワークは，単一のシグモイド出力を使用 して，平均誤差除去を使用して感情回帰を実行する． 14
15. E1: Multimodal Sentiment Analysis 15
16. E3: Modality Embedding Subnetworks Evaluation 16
17. Qualitative Analysis 17
18. Conclusions •Tensor Fusion Networkを提案した． •公に利用可能なCMU-MOSIデータセットに関す る本実験は，他のマルチモーダルアプローチと 比較して最先端のパフォーマンスであった． 18
19. Methodology •すべてのモデルは，CMUMOSIによって提案され た5-fold cross-validationを使用してテ ストされる． •最適なハイパーパラメータは，バリデーション セットのモデル性能に基づいたグリッド検索を 使用して選択される． •TFNモデルは，学習率5e4のAdamオプティマイ ザを使用して訓練される． •Uv とUa ，Us サブネットワークはp = 0.15とL2 ノルム係数0.01ですべての隠れ層でドロップア ウトを使用して正則化される． •train, test and validationは，すべて のベースラインでまったく同じである． 19