国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report

11 月 29 日〜12 月 1 日開催の「第24回音声言語シンポジウム（SP/SLP）兼第9回自然言語処理シンポジウム（NLC/NL）」での発表資料

- https://nl-ipsj.or.jp/2022/11/21/nl254-program/
- https://www.aacl2022.org/
- https://aclanthology.org/events/aacl-2022/

Transcript

1. 石原祥太郎、日本経済新聞社 日経イノベーション・ラボ 主任研究員
   第 24 回音声言語シンポジウム（SP/SLP）兼第 9 回自然言語処理シンポ
   ジウム（NLC/NL）
   2022 年 11 月 30 日 https://upura.github.io/projects/publications/
   国際会議 参加報告
   AACL-IJCNLP 2022
   Nov 20-23, Online only
   

   View Slide

2. 2
   報道機関での大規模言語モデルの利活用
   ● 開発：要約・分類・校正などでの業務支援
   ● 研究：性能劣化・再学習・公平性など
   ● Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022).
   Semantic Shift Stability: Efficient Way to Detect Performance
   Degradation of Word Embeddings and Pre-trained Language Models.
   In Proceedings of AACL-IJCNLP 2022.
   [paper] [github] [poster, slide]
   ● https://hack.nikkei.com/publications/
   

   View Slide

3. 3
   ● AACL-IJCNLP 2022 会議概要（7 分）
   ● 論文紹介（13 分）
   ○ Best paper awards
   ○ その他、気になった発表
   ○ 我々の採択論文
   本発表の概要
   

   View Slide

4. 4
   ● The 2nd Conference of the Asia-Pacific Chapter
   of the Association for Computational
   Linguistics and the 12th International Joint
   Conference on Natural Language Processing
   ● アジアでの ACL 系会議
   （北米の NAACL、欧州の EACL に対応）
   ● AACL としては 2020 年以来 2 度目
   AACL-IJCNLP 2022 [aacl2022.org] [proceedings]
   

   View Slide

5. 5
   ● 2022：投稿 554 => 採択 147（26.5 %）
   ○ Long 87、Short 60
   ○ Findings 44 (Long 27、Short 17)
   ● 2020：投稿 392 => 採択 106（28.3 %）
   ○ Long 73、Short 33
   採択率
   

   View Slide

6. 6
   ● 地域別投稿数：アジア太平洋が 275 で最多。次い
   で欧州 153、北米 120、南米とアフリカが 3。
   ● 国別：米国が最多（約 100 投稿 40 採択）。中国
   （約 80+ 投稿 20+ 採択）が続き、次いでインド
   ・英国・日本（約 50 投稿 20- 採択）。
   地域・国別の投稿・採択数
   

   View Slide

7. 7
   ● 通常提出
   ○ Rebuttal 時に論文改訂が可能（約半数が実施）
   ● ACL Rolling Review (ARR) 経由
   ○ 論文誌のように毎月締切で論文を投稿・査読
   ○ 個別の会議に査読結果を流用でき、最終的な採
   択が判断される
   投稿方法は 2 種類
   

   View Slide

8. 8
   ● 通常提出：投稿 518 => 採択 139（26.5 %）
   ○ Findings 39
   ● ARR：投稿 36 => 採択 8（22.2 %）
   ○ Findings 5
   投稿方法別の採択率
   

   View Slide

9. 9
   ● 2022 年 11 月 20-23 日
   ○ 初日は、チュートリアル・ワークショップ
   ● 2022：ハイブリッド予定 => オンラインに変更
   ○ Zoom（口頭発表）、Gather Town（ポスター）
   ○ Underline（資料・動画など）
   ● ※ 2020：現地予定 => オンラインに変更
   開催日程・形式：完全オンライン
   

   View Slide

10. 10
    ● AACL-IJCNLP 2022 会議概要（7 分）
    ● 論文紹介（13 分）
    ○ Best paper awards
    ○ その他、気になった発表
    ○ 我々の採択論文
    本発表の概要
    

    View Slide

11. ● Best Paper Award:
    Dead or Murdered? Predicting Responsibility Perception in
    Femicide News Reports [paper] [code]
    ● Best Theme Paper Award:
    What's Different between Visual Question Answering for
    Machine "Understanding” Versus for Accessibility? [paper]
    ● Best Paper Runner-up:
    Not another Negation Benchmark: The NaN-NLI Test Suite for
    Sub-clausal Negation [paper]
    11
    Best paper awards
    https://www.aacl2022.org/Blog/Best-paper-awards
    

    View Slide

12. 12
    ● とある事象を描写する文章表現の違いで、読者が
    「誰に責任がある」と認識するかを調査
    ○ 特に Gender-Based Violence (GBV) に注目
    ● イタリアの新聞コーパスから自動抽出し、調査で
    ラベル付けし、機械学習モデルを学習し、考察
    Dead or Murdered? Predicting Responsibility
    Perception in Femicide News Reports
    

    View Slide

13. 13
    1. 自転車が車のドアに激突
    2. 車の運転手がドアを開け、
    自転車にぶつかる
    3. 5 番街で交通事故、自転車
    が負傷
    4. 自転車と車の衝突事故
    描写による責任への認識の違い
    論文から引用
    

    View Slide

14. 14
    ● イタリア語の新聞記事から、著者らが開発した
    ツール（ACL2022 Demo）で、異なる単語や文法
    を使用した暴力に関する記述を抽出
    ● オンライン調査で、文章を評価
    ○ FOCUS: 何に焦点を当てているか？
    ○ CAUSE: 出来事の原因は人間か？
    ○ BLAME: 責任はどこにあるか？
    データセットの収集・アノテーション
    

    View Slide

15. 15
    ● リッジ回帰や BERT 系のモデルを学習し、ある程
    度の性能が達成可能であると示した
    ● メディア関係者のためのサポートツールとして、
    潜在的な認識効果を特定できる？
    ● 今後は回答者の個人差や属性差を考慮した分析や
    他言語や文化的文脈を調査していく
    機械学習モデルの構築・考察
    

    View Slide

16. 16
    ● 記事の要約などの文脈でも議論がある
    ○ NeuS: Neutral Multi-News Summarization for
    Mitigating Framing Bias
    (Lee et al., NAACL2022) [paper]
    ● 報道機関でも対応を進めている
    ○ AIJO Project [url][code]
    潜在するバイアスに関する議論や対応
    

    View Slide

17. 17
    ここからは 1 論文
    1 ページで概要紹介
    

    View Slide

18. 18
    ● Best Theme Paper (Theme Track: “Fairness in
    Natural Language Processing”)
    ● 視覚的質問応答を題材に「理解」データセットで
    の大きな改善が、必ずしも「アクセシビリティ」
    データセットでの改善につながらないと指摘
    ● 丁寧な分析・考察から、今後の方向性を提案
    What's Different between Visual Question
    Answering for Machine "Understanding”
    Versus for Accessibility?
    

    View Slide

19. ● 言語モデルで否定文がうまく扱えない問題を調査
    するためデータセットを構築し広範な実験を実施
    ● 特に、数量詞を含む否定文が難易度が高いことを
    見い出し、今後の探求が必要だと主張
    19
    Not another Negation Benchmark: The
    NaN-NLI Test Suite for Sub-clausal Negation
    

    View Slide

20. 20
    ● 「フェイクニュース」に関するチュートリアル
    [proposal]
    ● 現実社会での実例、技術的な対策、認知的・社会
    的・感情的要因、訂正後の知識修正に対する心理
    的障壁など、幅広い話題を解説
    ● KDD 2022 での同名企画 [url]
    The Battlefront of Combating
    Misinformation and Coping with Media Bias
    

    View Slide

21. 21
    ● 広東語を題材に、低資源言語に関する NLP 研究の
    課題や今後の方向性を議論したチュートリアル
    [proposal]
    ● 近年の大規模言語モデルの潮流を踏まえ、広東語
    の特殊性と照らし合わせながら解説
    When Cantonese NLP Meets Pre-training:
    Progress and Challenges
    

    View Slide

22. 22
    ● Bloomberg による「Entity-Centric Extractive
    Summarization」に関する研究
    ○ query-focused や aspect-based に近い
    ● ニュース記事を特定の entity の視点で要約するタ
    スク（ACL2022）を、文選択の問題と見なして
    Bi-Encoder モデルで解く [paper]
    Extractive Entity-Centric Summarization
    as Sentence Selection using Bi-Encoders
    

    View Slide

23. ● ニューラル言語モデルが繰り返し表現を出力しや
    すい問題について、さまざまな組み合わせで実験
    ● 5 つの学習・評価データと3 つのモデル（BART,
    T5, Pegasus）の 75 通りで、どういう条件で繰り
    返しが発生しやすいかを考察 [paper]
    ● BART や科学論文を使った際に多い傾向がみられた
    23
    Self-Repetition in Abstractive Neural
    Summarizers
    

    View Slide

24. 24
    最後に、我々の
    採択論文の紹介
    

    View Slide

25. 25
    採択論文：独自モデルをいつ再学習？
    Shotaro Ishihara, Hiromu
    Takahashi, and Hono Shirai (2022).
    Semantic Shift Stability: Efficient
    Way to Detect Performance
    Degradation of Word Embeddings
    and Pre-trained Language Models.
    In Proceedings of AACL-IJCNLP
    2022.
    [paper] [code] [poster, slide]
    

    View Slide

26. 26
    ● 大規模言語モデルとして「BERT」が 2018 年末に
    発表され話題に
    ● 外部企業の協力を経て 2019 年、日経電子版の記
    事を用いた BERT モデルを構築
    ● ニュース記事の要約などの応用を検証
    日経電子版 BERT 2019
    

    View Slide

27. 27
    新型コロナの流行前の
    文章で学習した BERT
    モデルは、コロナ後の
    文章の処理が苦手
    言葉は日々変化
    石原慧人, 石原祥太郎, 白井穂乃 (2021). “BertSumを用いた日本語ニュース
    記事の抽象型要約手法の検討.” 人工知能学会全国大会論文集.
    

    View Slide

28. 28
    ● 時期の異なる日経電子版
    記事で構築した 2 つの
    単語分散表現のベクトル
    空間を比較
    ● 「コロナ」の周辺単語が
    コロナ前と以後で変化
    言葉は日々変化
    高橋寛武, 石原祥太郎, 白井穂乃 (2022). “単語分散表現を用いた新型コロナ
    ウイルスによる意味変化検出.” 言語処理学会第28回年次大会発表論文集.
    

    View Slide

29. 29
    ● 入力：2 つの word2vec
    モデル
    ● 出力：共通する語彙の
    意味変化の度合いの平均
    意味変化の度合い
    Semantic Shift Stability
    Corpus
    2019
    Corpus
    2020
    Word embeddings
    Anchor words
    Mapping: Rotate in two directions
    

    View Slide

30. 30
    ● 学習用コーパスの “Semantic Shift Stability” と
    事前学習済みモデル・単語分散表現の時系列性能
    劣化の関係性を分析
    ● 12 パターンの日経電子版 RoBERTa や日英の
    word2vec を構築
    ● 大きな性能劣化は、Semantic Shift Stability が
    小さいタイミングで発生（相関を確認）
    学習用コーパスから性能を推察
    

    View Slide

31. 31
    ● AACL-IJCNLP 2022 会議概要（7 分）
    ● 論文紹介（13 分）
    ○ Best paper awards
    ○ その他、気になった発表
    ○ 我々の採択論文
    まとめ
    

    View Slide