Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストメディア特論 類似した「名前」の同一性の判定
Search
Lamron
October 01, 2023
Research
0
76
テキストメディア特論 類似した「名前」の同一性の判定
Lamron
October 01, 2023
Tweet
Share
More Decks by Lamron
See All by Lamron
テキストメディア特論 「会社名」の抽出
lamrongol
0
110
Blueskyでは何が話し合われているか。「情報技術は民主主義を生み、今は殺そうとしている」
lamrongol
0
7.1k
要約: Formal Approaches in Categorization: Chapter.5 Semantics without categorization
lamrongol
0
3.3k
Blueskyの「今」がわかる!Bot
lamrongol
0
1.8k
Other Decks in Research
See All in Research
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
400
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
120
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
280
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.8k
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
2
690
20250624_熊本経済同友会6月例会講演
trafficbrain
1
680
HoliTracer:Holistic Vectorization of Geographic Objects from Large-Size Remote Sensing Imagery
satai
3
120
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
250
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
1k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
200
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.8k
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術:多様なセンサにもとづく個人情報に配慮した人物状態推定」
miso2024
0
170
Featured
See All Featured
Six Lessons from altMBA
skipperchong
29
4k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
620
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Designing for Performance
lara
610
69k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
GitHub's CSS Performance
jonrohan
1032
470k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
Statistics for Hackers
jakevdp
799
220k
Transcript
類似した「名前」の同一性判定 @lamrongol
共起単語からの推定 • 異なる分野の同名異人は共起する単語の違いに よって判別できる • 例 : 野球選手と音楽家なら、前者は野球に関連する単 語と共起し、後者は音楽に関する単語と共起する •
もし同じ分野で同名異人がいたら? • その場合、人間にとっても判別が難しいので、何らかの 識別記号がつくはず • 例 : もし「鈴木一朗」という野球選手が二人いたら、「鈴 木一朗(マリナーズ)」「鈴木一朗(巨人)」というように チーム名がつくかもしれない – 名前に隣接している単語ほど重みづけを大きくすれば上記例 などでは分類しやすくなる
データセット • 同一人物であることが分かっている文書群をどう やって集めるか • Wikipedia の「曖昧さ回避」のページを用いる
データセット • 同名でも「イチロー _(XXX) 」のように異なる人物に は異なる項目名が付けられるので、個別ページ以 外のページの文章も使用できる • 例 :
マリナーズのページ リンクから「イチロー」が野球選手の「イチロー」であるこ とがわかる
データセットの拡張 • Wikipedia を使用して得られた共起単語を元に、 他の構造化されてない文書に対して判定を行い、 それを新たな正解データとする • どの用法がよく使われているかを計算できる • 例えば「イチロー」なら、野球選手を指している場合が
圧倒的に多いという結果が出るはず • 文書が小さくて共起単語から推定できない場合も、 単純に頻度が高いものを推定として与えられる • 例 : 「イチローかっこいい」 → 野球選手
表記ゆれの問題 • 同一人物だが表記が何らかの理由で異なる場合 • 例 : 「鈴木一郎」「鈴木一朗」 • 変換ミスなどで起こる可能性がある誤表記と正しい 表記との距離を短く判定する編集距離を用いる
• 例 : 「沢」「澤」などの漢字をあらかじめ登録しておく、 読みが同じ漢字の置換は小さく見積もる、など • 編集距離が一定の閾値以下のものを「同一の可能 性がある」と判定 • 共起単語を用いて同一性の判定