nlp2025 地理的言及に対するエンティティ・リンキングにおける住所階層の利用

言語処理学会第31回年次大会（NLP2025）

Transcript

1. 地理的言及に対するエンティティ・リンキング における住所階層の利用 三森 尊 乾 孝司 1
2. エンティティ・リンキング(EL) 2
3. 研究背景と目的 ⚫ 文書ジオロケーション ⚫ SNS 投稿の投稿位置を推定 ⚫ 投稿の言及に EL ⚫ エンティティ情報を利用 ⚫ 地理的言及への EL は不足 ⚫ 地理的言及: 地理的位置属性を持つ言及 ⚫ 地理的言及に特化したエンティティ曖昧性解消を提案 3
4. 先行研究 ⚫ [Leidner 2004] ⚫ Toponym Resolution (文書中の地名→実世界上の位置) ⚫ 地理的な距離を利用した曖昧性解消 ⚫ [Yamada+ 2022] ⚫ 深層学習ベースのエンティティ曖昧性解消モデル ⚫ 汎用的なタスクに対応したモデル 4 [Leidner 2004] Leidner, Jochen L. "Toponym resolution in text:“Which Sheffield is it?”." Proceedings of the the 27th annual international ACM SIGIR conference (SIGIR 2004). 2004. [Yamada 2022] Ikuya Yamada, Koki Washio, Hiroyuki Shindo, Yuji Matsumoto. Global Entity Disambiguation with BERT. Association for Computational Language. 2022
5. アウトライン ⚫ [Yamada+2022]の調査 ⚫ モデルの入力と出力 ⚫ モデル詳細 ⚫ モデルの精度、誤り分析 ⚫ 提案手法 ⚫ 評価実験 ⚫ 実験設定 ⚫ 実験結果 ⚫ 結果の分析 5
6. [Yamada+2022]の入出力 6
7. 曖昧性解消モデル ⚫ LUKE モデル ⚫ 地理的言及 → 埋め込み表現を獲得 ⚫ 埋め込み表現 (文脈を考慮した語のベクトル表現) ⚫ エンティティ予測ヘッド ⚫ 埋め込み表現をもとに候補からエンティティを予測 ⚫ 候補に対する分類問題 7
8. 言語モデル LUKE ⚫単語とエンティティ(言及)を扱うモデル ⚫ 入力文章 X (トークン列 {𝑡1 , 𝑡2 … }) ⚫ 𝑒 ∈ 1, 0 トークンが単語か言及か (後述) 埋め込み表現 = 𝐿𝑈𝐾𝐸(𝑋, 𝑡𝑖 , 𝑒) 8
9. 言語モデル LUKE(2) ⚫単語とエンティティへの言及を区別 ⚫日本語版事前学習済み LUKE を使用 ⚫Wikipedia で事前学習したモデル 9 ・アンカーリンク → エンティティへの言及 ・それ以外 → 単語
10. [Yamada2022+]の評価 ⚫ データセット: 日本語 Wikification コーパス ⚫ 新聞記事をベースとしたコーパス ⚫ 各言及 → 言及のカテゴリ、対応する Wikipedia 記事 ⚫ 対象:正解が候補に含まれている地理的言及5,525件 ⚫ 1言及あたりの平均候補数: 32.9 10 [Yamada+2022] 正解率(%) 89.8 (4961 / 5525)
11. 誤り分析 ⚫ 同名の地名との混同 【正解: 日吉町(京都府), 出力: 日吉町(所沢市)】 事例: ～京都府日吉町の明治鍼灸大学付属鍼灸センター ⚫ 異なるカテゴリのエンティティとの混同 【正解: 登別市, 出力: 登別駅】 事例: 市内全域を網羅する飲食店ガイドは登別では初めて 11
12. 提案手法: アイディア ⚫「京都府日吉町の～」日吉町の誤り ⚫言及間の住所的な関係が捉えられていない？ ⚫言及間の関係をモデルが理解するには ⚫階層挿入法を提案 ⚫入力文章を編集 ⚫住所階層関係を明示的に反映 12
13. 提案手法: 階層挿入法 ⚫各地理的言及はカテゴリを持つ ⚫Country, City, Station など ⚫住所的な階層性があるカテゴリ ⚫Country > Province > County > City・・・ ⚫単純化のため4カテゴリの以外の階層性は無視 13
14. 提案手法: 階層挿入(2) ⚫文中のある言及の次の言及が下位カテゴリ ⚫「茨城県のつくば市」 ⚫ 茨城県 → Province, つくば市 → City ⚫下位の言及の前に上位の言及を挿入 ⚫茨城県の茨城県つくば市 ⚫これを入力文章として与える ⚫生成される候補は階層挿入前後で変わらない 14
15. 提案手法: 階層挿入(3) ⚫曖昧性解消する地理的言及 → 言及 ⚫何のエンティティかは未知 ⚫階層挿入で入れられる地名 → 単語 ⚫背景情報の拡充 15
16. 評価実験 ⚫階層挿入あり vs 階層挿入なし ⚫両者とも[Yamada+2022]のモデルを採用 ⚫違いは入力事例を階層挿入法で編集するかどうか ⚫編集したデータで学習と推論を行う ⚫階層挿入法のためのカテゴリ情報 ⚫カテゴリ推定モデル (詳細は Appendix) ⚫地理的言及の埋め込み表現からカテゴリを推測 16
17. 評価結果 17 ⚫大きく精度向上が見られた ⚫階層挿入が発生した言及: 345 件 ⚫有意水準1%で有意差 階層挿入なし 階層挿入あり 正解率 (正解数/言及数) 89.8 (4,961 / 5,525) 94.0 (5,195 / 5,525)
18. 評価結果(2) ⚫地名以外の言及でも改善が見られた ⚫改善した言及数: 416件 ⚫入力事例の編集 ⚫モデル自体に影響を与えた 18
19. 改善例 ⚫ 言及に対して直接階層情報が与えられ改善 【正解: 宮田町(福岡県), 挿入なし: 宮田町(愛知県)】 ・福岡県宮田町の同社内の会見で・・・ ⚫ 階層挿入法適用後 ⚫ 「福岡県福岡県宮田町～」 ⚫ 一見冗長か? ⚫ 「福岡県」は単語として挿入 ⚫ 地理的な文脈の強化 19 Province City
20. 改善例(2) ⚫異なるカテゴリのエンティティの誤りに改善 【正解: 地中海, 挿入なし: 地中海食】 ・地中海のシチリア島に育ち、十二歳で料理の道を志した ⚫階層挿入が適用されない事例での改善 ⚫入力文は同じ→階層挿入が発生した事例から学習 ⚫他の事例から地理的な背景知識を獲得 20 Sea Island
21. 誤り例 ⚫両方のモデルで誤り 【正解: 南島(ニュージーランド) 出力: ユージヌィ島*】 ・ニュージランドの南島にあるアベル・タスマン国立公園 ⚫両者は住所的な階層関係がある ⚫今回は階層挿入法を適用するカテゴリを絞った ⚫適用カテゴリの拡張は今後の課題 21 Island Country *ロシア、ノヴァヤゼムリャ列島の南島
22. まとめ ⚫地理的言及に対するエンティティ曖昧性解消 ⚫階層挿入が有意に機能 ⚫同名の地名との混同 ⚫異なるカテゴリのエンティティとの混同 ⚫今後の課題 ⚫階層挿入ルールの拡張 ⚫階層挿入が発生した言及は全体の６％程度 22