Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NLP2023 分類タスクにおける不確実性の高い文章の傾向調査

masatoto
March 28, 2023

NLP2023 分類タスクにおける不確実性の高い文章の傾向調査

NLP2023の発表資料になります。

masatoto

March 28, 2023
Tweet

More Decks by masatoto

Other Decks in Research

Transcript

  1. 10 分類傾向を理解する既存研究 • 説明性⼿法による解釈 [Lertvittayakumjorn21] ØSHAP、ベクトル近傍⽂章、アテンションによる判断根拠の解釈 • 予測の不確実性による解釈 [Xiao19] Ø確信度やエントロピーによる分類境界付近⽂章の理解

    Ø事前学習済みモデルに対する不確実性の⾼い⽂章の分析はまだない • 擬似相関の発⾒による解釈 [Du22] Øあるクラスにしか出現しない単語のみで分類している単語を発⾒ [Lertvittayakumjorn21] “Explanation-Based Human Debugging of NLP Models: A Survey”, Arxiv:2104.15135 [Xiao19] “Quantifying Uncertainties in Natural Language Processing Tasks”, AAAI19 [Du22] “Shortcut Learning of Large Language Models in Natural Language Understanding: A Survey”, Arxiv:2208.11857
  2. 16 分類器と不確実性の定量化⼿法 • 分類モデル:cl-tohoku/bert-base-Japanese-v2 Ø事前学習データ:2019年9⽉1⽇までのJapanese Wikipedia 2.6GB サイズ • 不確実性の定量化⼿法:Deep

    Ensembles [Lakshminarayanan 2017] Ø分類器のヘッドの初期値を変えて学習(アンサンブルメンバー数:5) • データの不確実性:期待値エントロピー • モデルの不確実性:相互情報量 モデル: https://huggingface.co/cl-tohoku/bert-base-japanese-v2 [Lakshminarayanan 2017] Simple and scalable predictive uncertainty estimation using deep ensembles. NeurIPS2017.
  3. 17 実験データセット ⽇本語の⽂章分類データセットを使⽤ BERT精度はファインチューニング済み データセット名 分類タスク クラス 訓練 テスト BERT

    精度 MARC-ja Amazon 商品レビュー 2 10,000 5,654 94.32 WRIME twitterの感情分析 3 30,000 2,500 71.32 Livedoor-news ニュース記事トピック 分類 9 4,421 1,474 96.46 ※ MARC-jaは訓練データのネガポジ⽐率を1:1に変更 ※ WRIMEは5クラスをタスク簡単化のため3クラスに変更 強いネガティブと弱いネガティブ->ネガティブ 強いポジティブと弱いポジティブ->ポジティブ
  4. 28 WRIMEの⽂章傾向 カテゴリ 傾向 ⽂章例 未知・低頻出単語 固有名詞 かねちいぃぃぃ,かねちの眼鏡⿊髪店員姿が⽬に焼き付いて忘れられ… 未知語 吉⽥栄作,今⽇のホンマでっかおもしろ!!

    若者⾔葉 今⽇の名作君はよいちょだのあげみざわだのだの,ぎゃんきゃわ, ぴゃー!きゃわー!,やさすぃ ⽪⾁・悪評 夫がダイエット中なのにお菓⼦を買ってきて勧めてくる笑 不確実性が低い 完全⽂で感情が明確 ラグビー観るたびルール覚えてくから楽しい!感動したー サーヤとよしこほんと良かった カテゴリ 傾向 ⽂章例 ハードサンプル ネガポジ・ポジネガ⽂ 御岳百草丸は1回に20粒数えて飲むのが⾯倒くさい。…でも腹痛治るか らいいや。,うわ、うれし… ポジネガ形容詞なし おひるごはんを調達してこよう お腹が減ってフラフラ 説明にポジ形容詞あり 好きなものに対して「〜だから好き」って⾔葉にするの勇気がいるよ なあ “美味しそう” ポジ分類 おはぎ美味しそう,すき焼きに卵美味しそう〜,雲パン美味しそう データノイズ 同じ⽂字の繰り返し また⾬。。。,可愛い;;;; 短⽂ わーいレポート終わった(⽩⽬),はっしーやべーよ
  5. 29 Livedoor-Newsの⽂章傾向 カテゴリ 傾向 ⽂章例 未知・低頻出単語 固有名詞 “和製レディー・ガガ”きゃりーぱみゅぱみゅ「ジワジワと世界征服し たい」DVD -

    TSUTAYA・スカイライン征服 - きゃりーぱみゅぱみゅの ウェイウェイブログ' 英単語 快適なスマホライフのための必須アプリ「マトリックス レボリュー ションズ」(c)Warner Bros. Entertainment Inc.「チャーリーズ・エン ジェル」(c)2003 Columbia Pictures Industries, … 歴史、イベント 次回以降の“放送テーマ”・2回⽬(2/26)『世界が認めた⽇本外交』陸 奥宗光・⼩村寿太郎と伊藤博⽂・3回⽬(3/4)『政党政治の興隆と終 焉』⽇本近代化を進めた政治家列伝 ⼤隈重信 … ⽅⾔ …売れへんかったらどうしよとかいう発想が無かったですからね。⼤体、 サラリーマンとかできひんやろなとか思ってたし… ラベルミス? kaden-channelで旅⾏の内容 不確実性が低い 位置バイアス 【Sports Watch】が⽂頭にあるとクラスが定まる。 カテゴリ 傾向 ⽂章例 ハードサンプル ⻑⽂ 512⽂字を超える⻑さ 短⽂ 6⽉9⽇「ロックの⽇」10周年記念に“MIWA ROCK!!”に新モード 「HARD」が追加MIWA ROCK!! クラス被覆 dokujo-tsushinクラスが複数のクラスの内容を包含している クラス類似 kaden-channelの記事とsmaxの記事が類似