論文紹介：HalluCitation Matters

一部界隈で話題になったので読んでまとめてみました．図表などは原論文からの引用です．
Yusuke Sakai, Hidetaka Kamigaito & Taro Watanabe, "HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences," arXiv (2026), [arXiv:2601.18724].

Transcript

1. 論文紹介：HalluCitation Matters  川島 貴大（ZOZO 研究所） @ ZOZO 研究所 技術共有会  March 17, 2026
2. 論文概要
3. 文献情報 [arXiv:2601.18724] HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences • Authors: Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe (NAIST) • Published in: arXiv (Jan. 2026) 2024-2025 年に主要な ACL 系国際会議で発表された論文を対象に， 架空の参考文献：HalluCitation を含む論文を 300 件近く同定  AI 時代の研究コミュニティへの問題提起 3 / 17
4. 解析アウトライン 1. ACL 系会議の文献 PDF を収集 2. OCR ベースのテキスト抽出+正規化で文献情報抽出 3. データベースとの照合により HalluCitation 候補をフィルタリング 4. 最後は人手で精査 4 / 17
5. データ取得と解析
6. データ取得 2024-2025 年の NAACL, ACL, EMNLP のチュートリアル， proceedings を除く論文が対象  計 17,842 本の論文 OCR ベースのテキスト抽出+GROBID による正規化で文献情報抽出  740,000 件以上の参考文献を取得 6 / 17
7. 機械的フィルタリング ACL 系会議，arXiv，DBLP，OpenAlex のデータベースと各参考文献の タイトルを照合  正規化 Levenshtein 距離が 0.1 以下の文献が DB になければ候補 機械的フィルタリングで約 3,000 件に絞り込み Ave./Max は 1 論文中に含まれる HalluCitation 候補の平均/最大 7 / 17
8. 仕上げ フィルタリングされた全参考文献に対し，最後は人手で精査： 1. 基本はクリック可能なリンクや DOI，arXiv ID などに従って判断 2. それらがなければ（or 間違っていれば）Web 検索 3.「それらしい論文」があっても，タイトル，著者，会議，ページ数のよ うな key attribute のうち 2 つ以上が合致しなければ HalluCitation と判断  かなり保守的な（基本的に HalluCitation はないと信じる）スタンス 8 / 17
9. 主結果
10. 主結果 HalluCitation は最近の会議ほど多い 2024 → 2025 年で明らかに増加 直近の EMNLP2025 が半数以上 数字の読み方 𝑁𝑝 𝑞 : 𝑁（件数） ，𝑝（その Track 中の HalluCitation 割合） ， 𝑞（その会議の HalluCitation のうち，その Track が占める割合） 10 / 17
11. 機械的フィルタリングの性能 複数の HalluCitation 候補を含む論文は，実際に黒の可能性高 4 本程度の候補があると，3/4 くらいの確率で実際に HalluCitation アリ  機械的フィルタリングはそこそこ work してる 11 / 17
12. 人手検出の難しさ 多くのケースではごく少数の HalluCitation しかしていない  査読者が見逃す可能性も高い  ある程度自動的に検出するシステムがあったほうがいい 12 / 17
13. 追加解析とディスカッション
14. 分野ごとの傾向 HalluCitaion が多い分野：低リソース NLP/LLM，AI Agent 系 少ない分野：NLP 応用，解釈性，資源・評価系 HalluCited 論文がよくタイトルに含む単語：  “Multimodal”, “Decoding”, “Quantization” あまり含まない単語：  “Human”, “Reasoning”, “Preference” HalluCited 論文はタイトルで “LLM” などと 略しがち RL 系？ 14 / 17
15. 査読プロセスの分析 ARR でプレプリント公開された論文を対象としてフィルタリングを適用 2024 も HalluCitation 候補は多かったが， 査読でかなり弾かれているっぽい 15 / 17
16. データベース側のミス Google Scholar などのデータベースの情報が間違えていることもある 文献引用する際は，ちゃんと一次情報に 当たりましょう（あたりまえ） 16 / 17
17. 提言（メインメッセージ） • 査読システムに HalluCitation を自動検出する機能を実装するべき • HalluCitation の定義を改めて考えるべき  今回はタイトルや key attribute のミスマッチで判断  同じ「引用ミス」でも罪の重さは異なり，軽微なものなら単に修正 すれば OK • 会議ベースの査読システムが限界なので，見直すべき時がきている  arXiv より速報性がなく，雑誌より厳密性の弱い会議の存在意義？  非同期の査読でジャーナルに投稿し，採択された論文を会議で発表 するスタイルを推奨 17 / 17