2024/08/27 ACL 2024 参加報告 株式会社サイバーエージェント AI Lab 張、三田、陣内、村上

2 Outline 1. ACL の概観 2. CA からの発表 3. 研究紹介 4. バンコクについて 5. Q&A

3 ACL の概観

4 ACL 2024 参加報告 計算言語分野のトップ国際会議のひとつ ACL = Annual Meeting of the Association for Computational Linguistics ● 年 1 回開催される計算言語（CL）・自然言語（NLP）分野のトップカンファレンス ● 開催地は「北米」→「アジア・オセアニア」→「ヨーロッパ」で巡回 ○ Seattle, US (2020) ➡ Bangkok, Thailand (2021) (Virtual) ➡ Dublin, Ireland (2022) ➡ Toronto, Canada (2023) ➡ Bangkok, Thailand (2024) ● 他にも ACL に関連する地域会議も存在 ○ EACL (Europe), NAACL (North America), AACL (Asia) ACL とは ACL の概観 = + +

5 ACL 2024 参加報告 開催地 ● 今年はバンコク (タイ󰑆) で開催 ○ Centara Grand & Bangkok Convention Centre at centralwOrld ● centralwOrld という巨大なショッピングモールに隣接 ACL の概観

6 ACL 2024 参加報告 参加者数 ● 総参加者は 3800 人ほど ○ 3250 現地、550 オンライン ○ ちなみに国内の NLP 年次大会 2024 @ 神戸の参加者は 2121 人 ● スポンサー数は 31 ACL の概観

7 ACL 2024 参加報告 NLP 分野の中では最大規模の 会議 ● 6 チュートリアル ● 3 招待講演 ● 18 ワークショップ ● 約 5000 件の投稿 学会の規模 ACL の概観

8 ACL 2024 参加報告 ● 毎偶数月 15 日に投稿〆切 ● 各会議が対象回を指定し、投稿者も明確に投稿会議を選択 ○ e.g. EACL 2024 → ARR 2023-10 ● 投稿機会を増やして査読者の負担 を分散しようという試み ○ 良い試みだと思うけど 実際に分散されてるかは … ● 多くの CL 系の学会が採用 ○ ACL 系 ○ EMNLP ○ COLING (今年から) ACL Rolling Review (ARR) ACL の概観

9 ACL 2024 参加報告 ● ARR + Findings で計算が少しトリッキー ○ メイン会議: 21.3% ○ Findings: 22.1% ● 2023 年と同水準で 5000 件弱 ○ 投稿数はほんのちょっとだけ減った 採択率 ACL の概観

10 ACL 2024 参加報告 論文の傾向 ● 第一著者は米中がそれぞれ 3 割ずつを占める ● 今年最も多いテーマ: LLM ○ NLP Applications ■ LLM を色んなところに応用 ○ Resources and Evaluation ■ LLM を特定の分野で使うための資源作り ■ LLM を色んな尺度で評価 ○ Efficient/Low-Resource Methods ■ LLM をエッジデバイスなどの低計算資源環境 で使いたい ACL の概観

11 ACL 2024 参加報告 今年の新しい取り組み ● 基本ポスター（ものによって+口頭） ● Findings の発表 ● 非公開論文賞 ○ papers that remained anonymous and unpublished during the assessment period, ensuring unbiased evaluation ● テーマセッション ○ 再現性を重視したオープン NLP ACL の概観

12 CA からの発表

13 ACL 2024 参加報告 ● 本会議 ○ Striking Gold in Advertising: Standardization and Exploration of Ad Text Generation ● Findings ○ Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding ○ Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding ● ワークショップ ○ Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models? AI Lab から合計 4 本の発表 CA からの発表

14 ACL 2024 参加報告 Striking Gold in Advertising: Standardization and Exploration of Ad Text Generation Masato Mita, Akihiko Kato, Soichiro Murakami, Peinan Zhang CA からの発表

15 ACL 2024 参加報告 Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding Yuu Jinnai, Kaito Ariu (Findings of ACL, 2024) ● MBR decodingと呼ばれるテキスト生成アルゴリズムがデータセットの中心点 (medoid) を発見する問題に帰着できることを示した ● 中心点を発見する問題の解法の中で最も優れている手法を MBR decodingに適用する ことでおよそ4-8倍の高速化を実現 Medoid: だいたい mean (平均) のようなも の。meanとの違いは任意の点を選 べるのではなく、データセットに存在す るデータ点を選ぶ必要があること CA からの発表

16 ACL 2024 参加報告 Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding Yuu Jinnai, Ukyo Honda, Tetsuro Morimura, Peinan Zhang (Findings of ACL, 2024) ● MBR decodingは品質が高い出力が得られるが、多様性のあるテキストを複数生成す ることが出来ない ● MBR decodingが中心点 (median) を発見する問題であることが分かったので、 k-medians問題に拡張することでk個の多様なテキストを生成する手法 Diverse MBR decodingを提案した CA からの発表

17 ACL 2024 参加報告 Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models? Yuu Jinnai (Workshop on Cross-Cultural Considerations in NLP @ ACL 2024) Background ● GPT-4などのLLMの発言が徐々にアメリカのリベラル層の意見に寄っていっていることが指摘されている ● 日本語LLM含め非英語LLMをfine-tuningする場合でもリソースの豊富な英語データセットをfine-tuningに利用 することが多い？) Research Question: 英語を使ってfine-tuningを行った場合、日本語LLM は日本的な価値観を失うのか？ Answer: よく分からなかった (更なる実験が必要) Best Paper Award CA からの発表

18 研究紹介

19 ACL 2024 参加報告 大まかな研究トレンド 研究紹介 ● 大規模言語モデル ○ 推論能力や限界の探求 ○ 知識グラフ導入、知識編集、蒸留 ○ 計算コストやメモリ使用量の削減 ○ バイアス、公平性、倫理的な問題 ● マルチモーダル学習 ○ 視覚情報を用いた要約、 QA ○ データセット作成・評価 ● 低リソース言語 ● 評価・ベンチマーク ● 説明性・解釈性 全ての論文タイトルから TF-IDFに基づくスコアにより作成 [参考]

20 ACL 2024 参加報告 Tong et al. ※ PaperFridayで紹介 Can LLMs Learn from Previous Mistakes? Investigating LLMs’ Errors to Boost for Reasoning ● モデル自身の過去の誤りはReasoningの性能向上に寄与するかを検証 ● {正解, 誤り, 誤りタイプ, 理由}を含むベンチマークデータセットを構築 ● 2つの手法（Self-rethinking prompting, Mistake tuning）を提案 研究紹介

21 ACL 2024 参加報告 Don’t Buy it! Reassessing the Ad Understanding Abilities of Contrastive Multimodal Models ● 広告説明文の検索タスクに取り組む。広告理解は難しい（独特な視覚情報／比喩表現） ● 既存データ/手法の問題点：負例は他事例から無作為抽出。ショートカットで解ける ● 提案：評価データを提案。敵対的な負例を新たに人手で作成し、既存モデルの性能調査 アノテータには画像中の objectや文字を含めるように指示 Bavaresco et al. #short paper 研究紹介

22 ACL 2024 参加報告 Maini et al. ※Appleにおけるインターンの成果 Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling ● LLM学習のため高品質なデータセット構築手順を提案 ● 既存LLMでNoisyなウェブコーパスを”Wikipedia”や”QA”風に言い換える ● 1/5のデータ量、1/3の計算コスト、50%近くPPLが改善。様々なタスクで性能改善 原文と言い換え文 は混ぜた方が良 い (noisyデータへの 頑健性向上 ) 研究紹介

23 ACL 2024 参加報告 Kim et al. ※Grammarlyとの共同研究 Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs ● 人間／LLMのどちらが書いた文章か、文章の構造に着目して検出する手法を提案 ● 修辞構造木から、文章構造を表すサブグラフ（ discouse motifs）を抽出 ● MF-IDFスコアをLLM/人間間で比較。文章構造特徴量は著者検出タスクに有効 詳細 条件 研究紹介

24 ACL 2024 参加報告 Mission: Impossible Language Models Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts ● 背景 ○ Chomsky「LLMは人間が学習可能な言語も学習不可能な言語 も等しく学習できる。ゆえに、 LLMは言語について何も教えてく れない」 ○ 著者「ほんとに？確かめてみよう！」 ● 調査手法 ○ 様々なレベルの不自然言語コーパスを作成し GPT-2を学習 ○ 言語の不自然さとtest perplexityの間の関係を調査 ● わかったこと ○ 人が学習不可能な言語は LLMも学習が難しい Best Paper Award 研究紹介

25 ACL 2024 参加報告 xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection Guerreiro, N. M., Rei, R., van Stigt, D., Coheur, L., Colombo, P., & Martins, A. F. 機械翻訳の文章のクオリティを評価するモデル xCOMET (eXplainable COMET) を開発 既存の評価モデルが訳文全体のクオリティを出力するだけであるのに対して、 訳文の各セグメントに対し て誤りとその重要度を指摘できる 日本語も対応（が論文中に日本語での性能評価が載ってないのでこれから試してみたい） 研究紹介

26 ACL 2024 参加報告 OLMo: Accelerating the Science of Language Models Groeneveld et al. 論文｜ブログ｜コード｜データ ● ベストテーマセッション論文 ● 7B モデルで初の Open Language Model (OLMo) ○ 訓練・評価・微調整で使用したすべてのソースコード ○ 事前・微調整で使用したすべての学習データ (Dolma) ○ 完全なモデル Weight ● 多くの生成タスクで優れたパフォーマンス を発揮 Best Paper Award 研究紹介

27 バンコクについて

28 ACL 2024 参加報告 DJ、音楽演奏、人形劇、ムエタイ（演舞、体験、ガチ試合） ソーシャルイベント

29 ACL 2024 参加報告 ● 料理がどこいっても美味しい ○ ガパオライス、パッタイ、カオマンガイ、シーフードなど ○ ただスパイスやハーブ（パクチー等）がふんだんに使われているので苦手な人は注意 ● 日系飲食店は何でもあるので食の安心感は高い ご飯がとにかく美味しい バンコクついて

30 ACL 2024 参加報告 環境 バンコクついて ● ホテルが立地・設備・デザインどれをとっても最高 ● 治安は良く、夜でも安全に外出できる ● 平日朝と夕方は渋滞が酷い ● 外は暑く、室内は寒い ○ 羽織れる上着を持ち歩くようになった

31 Q&A