Upgrade to Pro — share decks privately, control downloads, hide ads and more …

国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report

国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report

11 月 29 日〜12 月 1 日開催の「第24回音声言語シンポジウム(SP/SLP)兼第9回自然言語処理シンポジウム(NLC/NL)」での発表資料

- https://nl-ipsj.or.jp/2022/11/21/nl254-program/
- https://www.aacl2022.org/
- https://aclanthology.org/events/aacl-2022/

Shotaro Ishihara

November 27, 2022
Tweet

More Decks by Shotaro Ishihara

Other Decks in Research

Transcript

  1. 2 報道機関での大規模言語モデルの利活用 • 開発:要約・分類・校正などでの業務支援 • 研究:性能劣化・再学習・公平性など • Shotaro Ishihara, Hiromu

    Takahashi, and Hono Shirai (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [github] [poster, slide] • https://hack.nikkei.com/publications/
  2. 3 • AACL-IJCNLP 2022 会議概要(7 分) • 論文紹介(13 分) ◦

    Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 本発表の概要
  3. 4 • The 2nd Conference of the Asia-Pacific Chapter of

    the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing • アジアでの ACL 系会議 (北米の NAACL、欧州の EACL に対応) • AACL としては 2020 年以来 2 度目 AACL-IJCNLP 2022 [aacl2022.org] [proceedings]
  4. 5 • 2022:投稿 554 => 採択 147(26.5 %) ◦ Long

    87、Short 60 ◦ Findings 44 (Long 27、Short 17) • 2020:投稿 392 => 採択 106(28.3 %) ◦ Long 73、Short 33 採択率
  5. 6 • 地域別投稿数:アジア太平洋が 275 で最多。次い で欧州 153、北米 120、南米とアフリカが 3。 •

    国別:米国が最多(約 100 投稿 40 採択)。中国 (約 80+ 投稿 20+ 採択)が続き、次いでインド ・英国・日本(約 50 投稿 20- 採択)。 地域・国別の投稿・採択数
  6. 7 • 通常提出 ◦ Rebuttal 時に論文改訂が可能(約半数が実施) • ACL Rolling Review

    (ARR) 経由 ◦ 論文誌のように毎月締切で論文を投稿・査読 ◦ 個別の会議に査読結果を流用でき、最終的な採 択が判断される 投稿方法は 2 種類
  7. 8 • 通常提出:投稿 518 => 採択 139(26.5 %) ◦ Findings

    39 • ARR:投稿 36 => 採択 8(22.2 %) ◦ Findings 5 投稿方法別の採択率
  8. 9 • 2022 年 11 月 20-23 日 ◦ 初日は、チュートリアル・ワークショップ

    • 2022:ハイブリッド予定 => オンラインに変更 ◦ Zoom(口頭発表)、Gather Town(ポスター) ◦ Underline(資料・動画など) • ※ 2020:現地予定 => オンラインに変更 開催日程・形式:完全オンライン
  9. 10 • AACL-IJCNLP 2022 会議概要(7 分) • 論文紹介(13 分) ◦

    Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 本発表の概要
  10. • Best Paper Award: Dead or Murdered? Predicting Responsibility Perception

    in Femicide News Reports [paper] [code] • Best Theme Paper Award: What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility? [paper] • Best Paper Runner-up: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [paper] 11 Best paper awards https://www.aacl2022.org/Blog/Best-paper-awards
  11. 12 • とある事象を描写する文章表現の違いで、読者が 「誰に責任がある」と認識するかを調査 ◦ 特に Gender-Based Violence (GBV) に注目

    • イタリアの新聞コーパスから自動抽出し、調査で ラベル付けし、機械学習モデルを学習し、考察 Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports
  12. 14 • イタリア語の新聞記事から、著者らが開発した ツール(ACL2022 Demo)で、異なる単語や文法 を使用した暴力に関する記述を抽出 • オンライン調査で、文章を評価 ◦ FOCUS:

    何に焦点を当てているか? ◦ CAUSE: 出来事の原因は人間か? ◦ BLAME: 責任はどこにあるか? データセットの収集・アノテーション
  13. 16 • 記事の要約などの文脈でも議論がある ◦ NeuS: Neutral Multi-News Summarization for Mitigating

    Framing Bias (Lee et al., NAACL2022) [paper] • 報道機関でも対応を進めている ◦ AIJO Project [url][code] 潜在するバイアスに関する議論や対応
  14. 18 • Best Theme Paper (Theme Track: “Fairness in Natural

    Language Processing”) • 視覚的質問応答を題材に「理解」データセットで の大きな改善が、必ずしも「アクセシビリティ」 データセットでの改善につながらないと指摘 • 丁寧な分析・考察から、今後の方向性を提案 What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility?
  15. 22 • Bloomberg による「Entity-Centric Extractive Summarization」に関する研究 ◦ query-focused や aspect-based

    に近い • ニュース記事を特定の entity の視点で要約するタ スク(ACL2022)を、文選択の問題と見なして Bi-Encoder モデルで解く [paper] Extractive Entity-Centric Summarization as Sentence Selection using Bi-Encoders
  16. • ニューラル言語モデルが繰り返し表現を出力しや すい問題について、さまざまな組み合わせで実験 • 5 つの学習・評価データと3 つのモデル(BART, T5, Pegasus)の 75

    通りで、どういう条件で繰り 返しが発生しやすいかを考察 [paper] • BART や科学論文を使った際に多い傾向がみられた 23 Self-Repetition in Abstractive Neural Summarizers
  17. 25 採択論文:独自モデルをいつ再学習? Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022).

    Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [code] [poster, slide]
  18. 26 • 大規模言語モデルとして「BERT」が 2018 年末に 発表され話題に • 外部企業の協力を経て 2019 年、日経電子版の記

    事を用いた BERT モデルを構築 • ニュース記事の要約などの応用を検証 日経電子版 BERT 2019
  19. 27 新型コロナの流行前の 文章で学習した BERT モデルは、コロナ後の 文章の処理が苦手 言葉は日々変化 石原慧人, 石原祥太郎, 白井穂乃

    (2021). “BertSumを用いた日本語ニュース 記事の抽象型要約手法の検討.” 人工知能学会全国大会論文集.
  20. 28 • 時期の異なる日経電子版 記事で構築した 2 つの 単語分散表現のベクトル 空間を比較 • 「コロナ」の周辺単語が

    コロナ前と以後で変化 言葉は日々変化 高橋寛武, 石原祥太郎, 白井穂乃 (2022). “単語分散表現を用いた新型コロナ ウイルスによる意味変化検出.” 言語処理学会第28回年次大会発表論文集.
  21. 29 • 入力:2 つの word2vec モデル • 出力:共通する語彙の 意味変化の度合いの平均 意味変化の度合い

    Semantic Shift Stability Corpus 2019 Corpus 2020 Word embeddings Anchor words Mapping: Rotate in two directions
  22. 30 • 学習用コーパスの “Semantic Shift Stability” と 事前学習済みモデル・単語分散表現の時系列性能 劣化の関係性を分析 •

    12 パターンの日経電子版 RoBERTa や日英の word2vec を構築 • 大きな性能劣化は、Semantic Shift Stability が 小さいタイミングで発生(相関を確認) 学習用コーパスから性能を推察
  23. 31 • AACL-IJCNLP 2022 会議概要(7 分) • 論文紹介(13 分) ◦

    Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 まとめ