石原祥太郎、日本経済新聞社 日経イノベーション・ラボ 主任研究員 第 24 回音声言語シンポジウム（SP/SLP）兼第 9 回自然言語処理シンポ ジウム（NLC/NL） 2022 年 11 月 30 日 https://upura.github.io/projects/publications/ 国際会議 参加報告 AACL-IJCNLP 2022 Nov 20-23, Online only

2 報道機関での大規模言語モデルの利活用 ● 開発：要約・分類・校正などでの業務支援 ● 研究：性能劣化・再学習・公平性など ● Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [github] [poster, slide] ● https://hack.nikkei.com/publications/

3 ● AACL-IJCNLP 2022 会議概要（7 分） ● 論文紹介（13 分） ○ Best paper awards ○ その他、気になった発表 ○ 我々の採択論文 本発表の概要

4 ● The 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing ● アジアでの ACL 系会議 （北米の NAACL、欧州の EACL に対応） ● AACL としては 2020 年以来 2 度目 AACL-IJCNLP 2022 [aacl2022.org] [proceedings]

5 ● 2022：投稿 554 => 採択 147（26.5 %） ○ Long 87、Short 60 ○ Findings 44 (Long 27、Short 17) ● 2020：投稿 392 => 採択 106（28.3 %） ○ Long 73、Short 33 採択率

6 ● 地域別投稿数：アジア太平洋が 275 で最多。次い で欧州 153、北米 120、南米とアフリカが 3。 ● 国別：米国が最多（約 100 投稿 40 採択）。中国 （約 80+ 投稿 20+ 採択）が続き、次いでインド ・英国・日本（約 50 投稿 20- 採択）。 地域・国別の投稿・採択数

7 ● 通常提出 ○ Rebuttal 時に論文改訂が可能（約半数が実施） ● ACL Rolling Review (ARR) 経由 ○ 論文誌のように毎月締切で論文を投稿・査読 ○ 個別の会議に査読結果を流用でき、最終的な採 択が判断される 投稿方法は 2 種類

8 ● 通常提出：投稿 518 => 採択 139（26.5 %） ○ Findings 39 ● ARR：投稿 36 => 採択 8（22.2 %） ○ Findings 5 投稿方法別の採択率

9 ● 2022 年 11 月 20-23 日 ○ 初日は、チュートリアル・ワークショップ ● 2022：ハイブリッド予定 => オンラインに変更 ○ Zoom（口頭発表）、Gather Town（ポスター） ○ Underline（資料・動画など） ● ※ 2020：現地予定 => オンラインに変更 開催日程・形式：完全オンライン

10 ● AACL-IJCNLP 2022 会議概要（7 分） ● 論文紹介（13 分） ○ Best paper awards ○ その他、気になった発表 ○ 我々の採択論文 本発表の概要

● Best Paper Award: Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports [paper] [code] ● Best Theme Paper Award: What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility? [paper] ● Best Paper Runner-up: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [paper] 11 Best paper awards https://www.aacl2022.org/Blog/Best-paper-awards

12 ● とある事象を描写する文章表現の違いで、読者が 「誰に責任がある」と認識するかを調査 ○ 特に Gender-Based Violence (GBV) に注目 ● イタリアの新聞コーパスから自動抽出し、調査で ラベル付けし、機械学習モデルを学習し、考察 Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports

13 1. 自転車が車のドアに激突 2. 車の運転手がドアを開け、 自転車にぶつかる 3. 5 番街で交通事故、自転車 が負傷 4. 自転車と車の衝突事故 描写による責任への認識の違い 論文から引用

14 ● イタリア語の新聞記事から、著者らが開発した ツール（ACL2022 Demo）で、異なる単語や文法 を使用した暴力に関する記述を抽出 ● オンライン調査で、文章を評価 ○ FOCUS: 何に焦点を当てているか？ ○ CAUSE: 出来事の原因は人間か？ ○ BLAME: 責任はどこにあるか？ データセットの収集・アノテーション

15 ● リッジ回帰や BERT 系のモデルを学習し、ある程 度の性能が達成可能であると示した ● メディア関係者のためのサポートツールとして、 潜在的な認識効果を特定できる？ ● 今後は回答者の個人差や属性差を考慮した分析や 他言語や文化的文脈を調査していく 機械学習モデルの構築・考察

16 ● 記事の要約などの文脈でも議論がある ○ NeuS: Neutral Multi-News Summarization for Mitigating Framing Bias (Lee et al., NAACL2022) [paper] ● 報道機関でも対応を進めている ○ AIJO Project [url][code] 潜在するバイアスに関する議論や対応

17 ここからは 1 論文 1 ページで概要紹介

18 ● Best Theme Paper (Theme Track: “Fairness in Natural Language Processing”) ● 視覚的質問応答を題材に「理解」データセットで の大きな改善が、必ずしも「アクセシビリティ」 データセットでの改善につながらないと指摘 ● 丁寧な分析・考察から、今後の方向性を提案 What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility?

● 言語モデルで否定文がうまく扱えない問題を調査 するためデータセットを構築し広範な実験を実施 ● 特に、数量詞を含む否定文が難易度が高いことを 見い出し、今後の探求が必要だと主張 19 Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation

20 ● 「フェイクニュース」に関するチュートリアル [proposal] ● 現実社会での実例、技術的な対策、認知的・社会 的・感情的要因、訂正後の知識修正に対する心理 的障壁など、幅広い話題を解説 ● KDD 2022 での同名企画 [url] The Battlefront of Combating Misinformation and Coping with Media Bias

21 ● 広東語を題材に、低資源言語に関する NLP 研究の 課題や今後の方向性を議論したチュートリアル [proposal] ● 近年の大規模言語モデルの潮流を踏まえ、広東語 の特殊性と照らし合わせながら解説 When Cantonese NLP Meets Pre-training: Progress and Challenges

22 ● Bloomberg による「Entity-Centric Extractive Summarization」に関する研究 ○ query-focused や aspect-based に近い ● ニュース記事を特定の entity の視点で要約するタ スク（ACL2022）を、文選択の問題と見なして Bi-Encoder モデルで解く [paper] Extractive Entity-Centric Summarization as Sentence Selection using Bi-Encoders

● ニューラル言語モデルが繰り返し表現を出力しや すい問題について、さまざまな組み合わせで実験 ● 5 つの学習・評価データと3 つのモデル（BART, T5, Pegasus）の 75 通りで、どういう条件で繰り 返しが発生しやすいかを考察 [paper] ● BART や科学論文を使った際に多い傾向がみられた 23 Self-Repetition in Abstractive Neural Summarizers

24 最後に、我々の 採択論文の紹介

25 採択論文：独自モデルをいつ再学習？ Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [code] [poster, slide]

26 ● 大規模言語モデルとして「BERT」が 2018 年末に 発表され話題に ● 外部企業の協力を経て 2019 年、日経電子版の記 事を用いた BERT モデルを構築 ● ニュース記事の要約などの応用を検証 日経電子版 BERT 2019

27 新型コロナの流行前の 文章で学習した BERT モデルは、コロナ後の 文章の処理が苦手 言葉は日々変化 石原慧人, 石原祥太郎, 白井穂乃 (2021). “BertSumを用いた日本語ニュース 記事の抽象型要約手法の検討.” 人工知能学会全国大会論文集.

28 ● 時期の異なる日経電子版 記事で構築した 2 つの 単語分散表現のベクトル 空間を比較 ● 「コロナ」の周辺単語が コロナ前と以後で変化 言葉は日々変化 高橋寛武, 石原祥太郎, 白井穂乃 (2022). “単語分散表現を用いた新型コロナ ウイルスによる意味変化検出.” 言語処理学会第28回年次大会発表論文集.

29 ● 入力：2 つの word2vec モデル ● 出力：共通する語彙の 意味変化の度合いの平均 意味変化の度合い Semantic Shift Stability Corpus 2019 Corpus 2020 Word embeddings Anchor words Mapping: Rotate in two directions

30 ● 学習用コーパスの “Semantic Shift Stability” と 事前学習済みモデル・単語分散表現の時系列性能 劣化の関係性を分析 ● 12 パターンの日経電子版 RoBERTa や日英の word2vec を構築 ● 大きな性能劣化は、Semantic Shift Stability が 小さいタイミングで発生（相関を確認） 学習用コーパスから性能を推察

31 ● AACL-IJCNLP 2022 会議概要（7 分） ● 論文紹介（13 分） ○ Best paper awards ○ その他、気になった発表 ○ 我々の採択論文 まとめ