Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20160422 文献紹介
Search
Yuta
April 22, 2016
Education
0
160
20160422 文献紹介
Yuta
April 22, 2016
Tweet
Share
More Decks by Yuta
See All by Yuta
NLP2016 報告
sudo
0
180
NLP2016 発表スライド
sudo
0
200
20160218 文献紹介
sudo
0
220
20150909 発表資料
sudo
0
140
20150820 文献紹介
sudo
0
170
20150708 文献紹介
sudo
0
150
20150610 文献紹介
sudo
0
170
20150512 文献紹介
sudo
0
180
20150415 文献紹介
sudo
1
200
Other Decks in Education
See All in Education
STEAM教育の枠組で行うプログラミング学習
asial_edu
0
210
LinkedIn
matleenalaakso
0
960
Data Presentation - Lecture 5 - Information Visualisation (4019538FNR)
signer
PRO
0
1.8k
Tangible, Embedded and Embodied Interaction - Lecture 9 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.2k
キャリアと組織の成長塾#1 アスリートからエンジニアの道へ
takashi_toyosaki
2
750
千葉県印西市立・原山小学校における新たな学び「情報探究の時間」実践報告』
codeforeveryone
1
710
【潔能講堂】永續環境、擁抱綠能 太陽能光電發展現況與產業製程解析
learnenergy2
0
120
week3@tcue2024
nonxxxizm
0
470
全員参加型で会社を強くしていく活動を考えてみる
ikefukurou777
0
210
Pre-enrollment Information for UTokyo International Students
utokyoissr2360
0
4.8k
Pen-based Interaction - Lecture 4 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
1.2k
MySmartSTEAM2324
cbtlibrary
0
120
Featured
See All Featured
BBQ
matthewcrist
80
8.8k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
In The Pink: A Labor of Love
frogandcode
138
21k
Building a Scalable Design System with Sketch
lauravandoore
456
32k
Building Adaptive Systems
keathley
31
1.9k
Atom: Resistance is Futile
akmur
259
25k
Build your cross-platform service in a week with App Engine
jlugia
225
17k
Embracing the Ebb and Flow
colly
80
4.1k
Designing Experiences People Love
moore
136
23k
Making Projects Easy
brettharned
108
5.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
Transcript
文献紹介 長岡技術科学大学 自然言語処理研究室 須戸 悠太 1
紹介文献 • Emmanuel Morin; Amir Hazem; Florian Boudin; Elizaveta Loginova-Clouet
• LINA: Identifying Comparable Documents from Wikipedia • Proceedings of the Eighth Workshop on Building and Using Comparable Corpora – PP.88-91 2
概要 • BUCC2015で発表したLINAシステム • hapax words の数を収集することにより、同等 の文書を識別 • 分類棚の推論とクロスリンガル情報を用いて,
上記の方法を拡張 – 約60%の精度で同等の文書が特定できた 3
導入 • 統計的機械翻訳において重要なパラレル コーパス • 同等のリソースを識別するための既存のアプ ローチの評価 – Wikipedia等 •
言語にとらわれないアプローチ 4
基本的な手法 • 文書内で1度しか出現しないかつ4文字以上 の単語(hapax words)を含む文書をbags of words で索引付けする • hapax
wordsを最も多く共有する文書は並列 であると考えられる. – Wikipediaで並列文書を検出する際に非常によく 機能する. 5
hapax words の例 • Hapax words の ほとんどは固有 名詞や数値に 関係するもの
– 今回はURLや 特殊文字も保 持 6
文書のペアの選択 • ソース-ターゲット文書のペアを検索するた めに,ソース言語(EN)の文書ごとにhapax wordsの最大数を共有するターゲット言語(FR, DE)の文書を20文ずつ選択する(baseline) 7
分類棚の利用 • 多重に割り当てられたソース文書が多いため, 削っていく必要がある.(baseline) • 共有の単語(以下分類棚)の最大数と文書の ペアを保持することによって潜在的な複数の ソースドキュメントを削除する. – 60%→10%と激減した.(+pigeonhole)
8
クロスリンガル情報の利用 • ソース-ターゲット言語と異なる言語でソース 言語とペアリングしている文書を利用 • ターゲット文書とhapax words の共有数を比 較し最大となるターゲット文書を選択する. •
多重に割り当てられたソース文書は10% →4%未満に減少(cross-lingual) 9
クロスリンガル情報の利用 10 ←ソース言語 ターゲット言語1→ ターゲット言語2→
実験 • フランス語-英語、ドイツ語―英語のペアで 実験 • 以下の3つの尺度で評価 – 平均精度(MAP) – 正解率(Succ)
– 上位5文の精度(P@5) 11
実験結果 • 分類棚を利用することで精度が大きく改善 12