第14回対話システムシンポジウム EMNLP 2023 参加報告

2023/12/13, 14 に開催された第14回対話システムシンポジウム（SLUD99）の EMNLP 2023 国際会議参加報告にて発表したスライドです．

第14回対話システムシンポジウムの公式サイト：https://jsai-slud.github.io/sig-slud/99th-sig.html

Transcript

1. 国際会議参加報告 EMNLP 2023 名古屋⼤学⼤学院 情報学研究科 博⼠後期課程1年 第14回 対話システムシンポジウム (2023/12/14) ⼤橋 厚元
2. EMNLPの基本情報 • Conference on Empirical Methods in Natural Language Processing 䡧 計算⾔語学分野における，トップ NLP 会議のひとつ 䡧 SIGDAT から始まり，今年で30周年 2 ※ 2023/12/13 現在
3. EMNLP 2023 の基本情報 • 開催場所 䡧 Resort World Convention Centre, Singapore • 開催期間 䡧 12/6, 7: workshops, tutorials 䡧 12/8–10: 本会議 • 統計情報 • 来年 EMNLP 2024 は 11/12–16 に Miami, Florida で開催予定 3 投稿数 採択率 Main +Findings EMNLP 2023 4,909 21.3% 40.6% (参考) ACL 2023 4,559 20.7% 42.9% 会場は Resort World Sentosa というリゾ ート島内の Convention Centre 発表者の所属国の分布．アメリカと中国の2トップ 今年の統計量
4. ここ数年の傾向 • 投稿数は年々増加 䡧 5年間で2倍以上．特に今年は +719件と⼤幅増加． • 採択率は 20% 前後を維持しているが，⻑期的には若⼲低下傾向 • より多くの論⽂に発表機会を与えるため，今年は findings 多め（PC発表） 4 4909 4190 3600 3359 2876 2231 1418 21.3 19.8 23.3 22.4 23.7 24.6 22.8 42.9 32.9 35 35.7 0 10 20 30 40 0 2000 4000 6000 8000 10000 2023 2022 2021 2020 2019 2018 2017 Submission Acceptance Rate (Main) Acceptrance Rate (Main + Findings)
5. NLP Applications Theme Track: LLMs and the Future of NLP Resources and Evaluation Information Extraction Dialogue and Interactive Systems Efficient Methods for NLP Language Modeling and Analysis of LMs Machine Learning for NLP Natural Language Generation Question Answering Interpretability, Interactivity and Analy… Information Retrieval and Text Mining Machine Translation Sentiment Analysis, Stylistic Analysis,… Language Grounding to Vision, Robotics… Semantics: Lexical, Sentence level, Docu… Speech and Multimodality Summarization Computational Social Science and Cultu… Multilinguality and Linguistic Diversity Ethics in NLP Commonsense Reasoning 0 200 400 600 研究分野の統計 5 Submitted Accepted (Main + Findings) 応⽤研究が最多
6. NLP Applications Theme Track: LLMs and the Future of NLP Resources and Evaluation Information Extraction Dialogue and Interactive Systems Efficient Methods for NLP Language Modeling and Analysis of LMs Machine Learning for NLP Natural Language Generation Question Answering Interpretability, Interactivity and Analy… Information Retrieval and Text Mining Machine Translation Sentiment Analysis, Stylistic Analysis,… Language Grounding to Vision, Robotics… Semantics: Lexical, Sentence level, Docu… Speech and Multimodality Summarization Computational Social Science and Cultu… Multilinguality and Linguistic Diversity Ethics in NLP Commonsense Reasoning 0 200 400 600 研究分野の統計 6 Submitted Accepted (Main + Findings) 次点で，トレンドのLLM （テーマトラック）
7. NLP Applications Theme Track: LLMs and the Future of NLP Resources and Evaluation Information Extraction Dialogue and Interactive Systems Efficient Methods for NLP Language Modeling and Analysis of LMs Machine Learning for NLP Natural Language Generation Question Answering Interpretability, Interactivity and Analy… Information Retrieval and Text Mining Machine Translation Sentiment Analysis, Stylistic Analysis,… Language Grounding to Vision, Robotics… Semantics: Lexical, Sentence level, Docu… Speech and Multimodality Summarization Computational Social Science and Cultu… Multilinguality and Linguistic Diversity Ethics in NLP Commonsense Reasoning 0 200 400 600 研究分野の統計 7 Submitted Accepted (Main + Findings) • リソース・評価系 • 情報抽出系 • 対話系 が続く
8. Keynotes 8 Christopher D. Manning, Stanford University Academic NLP research in the Age of LLMs: Nothing but blue skies! ü “⼤企業が圧倒的研究規模で幅を利かせるのは昔から同じ．今 LLM 時代は始ま ったばかりであり，取り組むべき課題・魅⼒的な機会は沢⼭ある” ü ⼩規模でも画期的な研究ができる，ということを研究事例を紹介しつつ指南 Emily Mower Provost, University of Michigan From Speech to Emotion to Mood: Mental Health Modeling in Real- World Environments ü ⾳声感情認識による双極性障害の⾃動診断システムに関する講演 ü 「実環境適⽤における課題（堅牢性，汎⽤性）に直⾯」から「継続学習活⽤によ る⽇常⾳声からの⾼精度な感情認識を実現」までの⻑期にわたる取組みを紹介 Jong Park, Korea Advanced Institute of Science and Technology Human-Centric Natural Language Processing ⾔語的なマイノリティ（聴覚障害者，精神障害者など）のためのNLP研究につい て，最近の成果を多数紹介．特に，⼿話コーパスの構築など低資源ドメインの資 源整備を推進している点が印象的だった．
9. 対話研究のトレンド 9 • 対話系トラックで発表された本会議採択論⽂のトピック分布 （計81件の論⽂を31トピックに⽬視で分類．上位12トピックのみ表⽰） 7 6 5 4 4 4 4 3 3 3 2 2 0 2 4 6 Knowledge-grounded Dialogue State Tracking Natural Language Under... Recommendation Qustion Answering Summarization Emotion Multilingual End2End Task-oriented … Personalization Semantic parsing Dialogue Comprehension • 知識に基づく対話モデル研究が最多 （正確/適切な情報提供⼒が注⽬?） ü 多数の異なる知識源を使⽤ [Ni+; Qin+] ü 最適な知識形式（グラフ vs 系列）を 実験的に調査 [Yang+] ü タスク指向型対話モデルへの適⽤ [Shen+; Shi+]
10. 対話研究のトレンド 10 • 対話系トラックで発表された本会議採択論⽂のトピック分布 （計81件の論⽂を31トピックに⽬視で分類．上位12トピックのみ表⽰） 7 6 5 4 4 4 4 3 3 3 2 2 0 2 4 6 Knowledge-grounded Dialogue State Tracking Natural Language Under... Recommendation Qustion Answering Summarization Emotion Multilingual End2End Task-oriented … Personalization Semantic parsing Dialogue Comprehension • 知識に基づく対話モデル研究が最多 （正確/適切な情報提供⼒が注⽬?） ü 多数の異なる知識源を使⽤ [Ni+; Qin+] ü 最適な知識形式（グラフ vs 系列）を 実験的に調査 [Yang+] ü タスク指向型対話モデルへの適⽤ [Shen+; Shi+] • より実応⽤指向な DST 研究が多数 ü 学習データ量の削減 [Zhang+] ü DST モデルの継続学習能⼒改善 [Cho+] ü LLM の few-shot DST 能⼒改善 [Feng+] ü 単ドメイン対話から多ドメインDSTを 学習 [Zhu+]
11. 気になった論⽂紹介 • 背景：TODシステム構築では，新しいタスク・ドメインへの適⽤が課題 䡧 その都度新規タスクのデータを追加して再学習するのは⾮効率 • 提案：⼈⼿のルールを導⼊することで新規タスク適⽤を実現するANYTOD 䡧 DST, Policy, NLGなど基本的な機能は⾔語モデルが担当 䡧 開発者がコーディングした対話ルールをベースにして新規タスクに対応 • 実験：主要なTODベンチマークのzero-shot学習において，SOTAを多数達成 11 ANYTOD: A Programmable Task-Oriented Dialog System Zhao+ (Google Research) Nuero-symbolic アプローチ
12. ⾃⾝の論⽂紹介 • 背景：TODシステムの最適化⼿法 PPN が提案 [Ohashi+, SIGDIAL2022] 䡧 PPNはクラス分類モデルであるため，システム発話の後処理ができない • 提案：事前学習済みLMによる⽣成的PPN（GenPPN） 䡧 GenPPN はタスク達成を報酬とした強化学習によって最適化 • 実験：MultiWOZをベースとした4種類の対話システムにGenPPNを適⽤ 䡧 ⾃動評価と⼈⼿評価の両⽅で有効性を確認 12 Enhancing Task-oriented Dialogue Systems with Generative Post-processing Networks Ohashi+ (Nagoya University)
13. 番外情報（1/3）シンガポールと会場 13 マーライオンやマリーナベイサンズ等， 観光名所は多く，街も綺麗． 会場の Convention Centre． ⾮常に広く，慣れないうちは⾒たいセッションに辿り着けない 物価は⾼いが，ホーカーズ（フードコートみたいな ところ）は安価でしかも美味しいので重宝した
14. イベント（1/2）本会議前⽇ Welcome Reception 14 Welcome Reception 前の対話系セッションで， ⾃分と同じくタスク指向型対話を研究するPhD 学⽣達に出会いました • Heinrich Heine University Düsseldorf の Chris と Carel • Huawai (最近まで Tsinghua University) の Qi ※ Chris とは SIGDIAL, COLING に続き3回⽬ Carel, Chris と会場近くのビーチで Welcome Reception の様⼦ Welcome Reception では 基本的に Qi と⾏動． Tsinghua University 対話研究グループ CoAI に 所属する学⽣達も沢⼭紹介してもらいました． ちなみに CoAI での今の対話研究トレンドは • Safety • Alignment • Character 付与 らしいです．
15. イベント（2/2）本会議２⽇⽬ Social Event 15 Social Event は，島内の Unversal Studios Singapore 会議参加者貸切で，主要なコースターは乗り放題 AWS AI Lab NY の藤沼さんと周回． USでのお話もいろいろ聞けました．