nlp2024 地理的エンティティ情報が与えられた文書ジオロケーションモデルの有効性検証

Transcript

1. ஍ཧతΤϯςΟςΟ৘ใ͕༩͑ΒΕͨ จॻδΦϩέʔγϣϯϞσϧͷ༗ޮੑݕূ ஜ೾େֶ ࢁຊ༞໹ ס޹࢘ 1 D5-2
2. ݚڀഎܠ  จॻδΦϩέʔγϣϯͱ͸ʜʜ ˠ4/4ͷ౤ߘҐஔΛਪఆ<)BO
   FU
   BM
   > ʲϝϦοτʳ l؍ޫ஍෼ੳɾ஍Ҭ෼ੳ΁ͷར༻ lݸਓ৘ใͷྲྀग़Λճආ 2 [Han et al., 2012] Han Bo, Cook Paul, and Baldwin Timothy. Geolocation prediction in social media data by finding location indicative words. In Proceedings of COLING 2012, pp. 1045–1062, 2012. 投稿 投稿
3. ݚڀഎܠ  l ֎෦஌ࣝ͸จॻδΦϩέʔγϣϯʹ໾ཱͭ l ֎෦஌ࣝɿߏ଄Խ͞Εͨ஌ࣝϕʔε l8JLJQFEJB %#1FEJB :BHPͳͲ l ஌ࣝऔΓࠐΈɿϞσϧʹ஌ࣝΛ༩͑Δ l஌ࣝάϥϑຒΊࠐΈ΍ΤϯςΟςΟɾϦϯΩϯά 3
4. ઌߦݚڀ <.JZB[BLJ
   FU
   BM > lϢʔβʔδΦϩέʔγϣϯ l஌ࣝϕʔε:BHPΛར༻ <ฏ઒Β
   > lॅॴϦετ͔Βಘͨ஍ཧత஌ࣝάϥϑΛར༻ l ΤϯςΟςΟɾϦϯΩϯάΛߦ͍ɺಉఆ͞ΕͨΤϯςΟςΟ৘ใ Λར༻͢Δ͜ͱʹ͸ண໨͍ͯ͠ͳ͍ 4 [Miyazaki et al., 2018] Taro Miyazaki, Afshin Rahimi, Trevor Cohn, and Timothy Baldwin. Twitter geolocation using knowledge-based methods. In Proceedings of the 2018 EMNLP Workshop W-NUT: The 4th Workshop on Noisy User-generated Text, pp. 7–16, 2018. [平川ら, 2022] 平川冬尉, 乾孝司. 地理的知識グラフを取り込んだニューラル文書ジオロケーションモデル. 情報処理 学会論文誌, Vol. 63, No. 12, pp. 1870–1883, dec 2022.
5. ݚڀ໨త 5 lจॻδΦϩέʔγϣϯ՝୊ʹ͓͍ͯɺೖྗจॻதͷݴٴʹର͠ ΤϯςΟςΟΛಉఆ͠ɺΤϯςΟςΟ৘ใΛར༻͢Δ͜ͱͷ ༗ޮੑݕূ
6. આ໌ͷྲྀΕ 6 lΤϯςΟςΟ৘ใͷऔಘ lΤϯςΟςΟɾϦϯΩϯά lΤϯςΟςΟ৘ใͷར༻ lຒΊࠐΈදݱ lධՁ࣮ݧ
7. ΤϯςΟςΟɾϦϯΩϯά &- l8JLJGJDBUJPO<.JIBMDFB FU
   BM > l஍ཧతΤϯςΟςΟͷΈ͕ର৅ lྫɿʮஜ೾ʯʮεΧΠπϦʔʯʮ౻Ҫ૱ଠʯʮ͜͜Ζʯ 7 [Mihalcea et al.,2007] Rada Mihalcea and Andras Csoma. Wikify! linking documents to encyclopedic knowledge. In Proceedings of the sixteenth ACM conference on Conference on Information and Knowledge Management, pp. 233–242, 2007.
8. આ໌ͷྲྀΕ 8 lΤϯςΟςΟ৘ใͷऔಘ lΤϯςΟςΟɾϦϯΩϯά lΤϯςΟςΟ৘ใͷར༻ lຒΊࠐΈදݱ lධՁ࣮ݧ
9. ೔ຊޠ8JLJQFEJBΤϯςΟςΟϕΫτϧ 9 <ླ໦Β > l8JLJQFEJB
   ͷϦϯΫ৘ใΛߟྀͨ͠ 8PSE
   
   7FD ʹ Αͬͯ ຒΊࠐΈ දݱΛֶश [鈴木ら, 2016] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの 多重付与. 言語処理学会第22 回年次大会, pp. 797–800, 2016. https://www.cl.ecei.tohoku.ac.jp/~m-suzuki /jawiki_vector/
10. ΤϯςΟςΟ৘ใͷຒΊࠐΈදݱ  10 [鈴木ら, 2016] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの 多重付与. 言語処理学会第22 回年次大会, pp. 797–800, 2016. [陰山ら, 2022] 陰山宗一, 乾孝司. 言及に対する地理的特定性指標の提案と文書ジオロケーションへの適用. 情報処理学会自然言語処理研究会 (NL-253-19), 2022
11. ΤϯςΟςΟ৘ใͷຒΊࠐΈදݱ  11
12. ΤϯςΟςΟ৘ใͷຒΊࠐΈදݱ  12 [鈴木ら, 2016] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの 多重付与. 言語処理学会第22 回年次大会, pp. 797–800, 2016. [陰山ら, 2022] 陰山宗一, 乾孝司. 言及に対する地理的特定性指標の提案と文書ジオロケーションへの適用. 情報処理学会自然言語処理研究会 (NL-253-19), 2022
13. ΤϯςΟςΟ৘ใͷຒΊࠐΈදݱ  13 ③エンティティ同定 ConvertedEntityVec ④都道府県エンティティ ConvertedBERTVec テ キ ス ト EL後 EL後
14. આ໌ͷྲྀΕ 14 lΤϯςΟςΟ৘ใͷऔಘ lΤϯςΟςΟɾϦϯΩϯά lΤϯςΟςΟ৘ใͷར༻ lຒΊࠐΈදݱ lධՁ࣮ݧ
15. ධՁ࣮ݧͷઃఆ  l؍ޫυϝΠϯ೔ຊޠ5XJUUFS౤ߘจॻσʔλ<ฏ઒Β
    > l ਖ਼ղϥϕϧɿ౎ಓ෎ݝ l จॻ෼ྨϞσϧɿ #&35<%FWMJO
    FU
    BM > l #FSU'PS4FRVFODF$MBTTJGJDBUJPOϞσϧ 15 [平川ら, 2020] 平川冬尉, 乾孝司. 日本語地理的位置推定課題におけるインジケータ付 deepgeo 法の提案と評価. 人工知能学会全国大会論文集, Vol. JSAI2020, pp. 3Rin473–3Rin473, 2020. [Devlin et al., 2019]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 4171–4186, 2019. * https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForSequenceClassification
16. ධՁ࣮ݧͷઃఆ  lϝϯγϣϯநग़ l(J/;" Ͱղੳ l৔ॴΛද͢ݻ༗දݱΫϥεΛநग़ lީิੜ੒ l8JLJQFEJBϖʔδ಺ϦϯΫΛ࢖༻ lϝϯγϣϯͱϦϯΫ͍ͯ͠Δϖʔδू߹ 16 * https://megagonlabs.github.io/ginza/
17. ධՁ࣮ݧͷઃఆ  l ΤϯςΟςΟಉఆ l ܇࿅ɾݕূσʔλˠࣗಈಉఆ l ධՁσʔλ ˠखಈಉఆ 17 （正解率 : 約87％）
18. 18 ධՁ࣮ݧͷઃఆ  ΤϯςΟςΟ৘ใͷऔΓࠐΈҐஔ [中本ら, 2023] 中本裕大, 瀬在恭介, 元川凱喜, 麻生英樹, 岡崎直観. 日本語大規模言語モデルにおける知識グラフ を活用した意味理解性能の向上. 言語処理学会第 29 回年次大会, pp. 2140–2145, 2023. [Faldu et al., 2021] Keyur Faldu, Amit Sheth, Prashant Kikani, and Hemang Akbari. Ki-bert: Infusing knowledge context for better language and domain understanding, 2021. $PODBU<தຊΒ
    > จॻͷ຤ඌʹΤϯςΟςΟ৘ใΛ෇༩ *OGVTF<'BMEV FU
    BM > ϝϯγϣϯ͝ͱʹΤϯςΟςΟ৘ใΛ෇༩
19. ࣮ݧ݁Ռ "DDVSBDZ 19 Mention Vec とそれ以外の手法との間で 符号検定を実施し、有意水準5%で有意差があった場合に + 有意水準1%で有意差があった場合に ++
20. ݴٴ਺͝ͱͷ"DDVSBDZ 20 concat
21. ෼ྨ݁Ռͷྫ 
    $POWFSUFE#&357FDͱ DPODBU  21 例：分類を改善できた例 例：分類を改善できなかった例
22. ෼ྨ݁Ռͷྫ 
    $POWFSUFE#&357FDͱDPODBU  22 例：分類を誤ってしまった例
23. ݁࿦ l&-͸จॻδΦϩέʔγϣϯ՝୊ʹ༗ޮ lΤϯςΟςΟͷॴࡏ஍৘ใʹ஫໨ 23 ࠓޙͷ՝୊ l஍ཧతΤϯςΟςΟʹର͢Δߴੑೳͳ&-ख๏ͷݕ౼ l஌ࣝϕʔεͷ֦ॆ lΤϯςΟςΟຒΊࠐΈදݱͷվળ lจॻδΦϩέʔγϣϯͱ&-ͷϚϧνλεΫֶश