Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
文書生成のための文の並べ替え
Search
自然言語処理研究室
March 31, 2009
Research
230
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
文書生成のための文の並べ替え
大田 浩志, 山本 和英. 文書生成のための文の並べ替え. 言語処理学会第15回年次大会, pp.813-816 (2009.3)
自然言語処理研究室
March 31, 2009
Transcript
17 slides
文書生成のための 文の並べ替え 長岡技術科学大学 電気系 大田浩志, 山本和英 1
背景と目的 • 文の並び順は文書の読みやすさに影響をあたえる [Barzilay et al.,02] • 自動で文を尤もらしい順に並べる = 文書生成
文脈を統計的にとらえることを考える 並べ替え対象による異なりを調査する 2
問題設定:文を元の並びに戻す • • • • 1.人手実験 • 人間はどの程度並べ替えができるか • 新聞記事・レビューによる差異があるか
2.自動並べ替え • 文脈をとらえることができるか 3 1ーーーーーー。 2ーーーーーー。 3ーーーーーー。 3ーーーーー。 1ーーーーー。 2ーーーーー。 ?ーーーーーー。 ?ーーーーーー。 ?ーーーーーー。 バラバラ 並べる
関連研究 複数文書要約 • 要約元文書の時間情報等を用いた並べ替え [Mckeown et al.,1999] • 複数の手法を組み合わせることで並べ替え精度向上 [Bollegala
et al.,05] 4
予備実験・人手による文の並べ替え(1) • 目的 • 2つの対象の性質の違いを確認 新聞記事 レビュー • 実験方法 •
文順序をバラバラにして提示、並べ替え • 並べ替えを行ったあと自己評価 5
予備実験・人手による文の並べ替え(2) • 並べ替えた結果を評価 評価(1) 並べ替えた順序以外では読みにくい 評価(2) 他の順序でも読めるが、並べ替えた順序が 尤もらしい 評価(3)
順序を持たない文を含む 6
予備実験・人手による文の並べ替え(3) • 相関値:元々の順序 - 並べ替え順序 • ケンドールの順位相関係数τ 文順序の尤もらしさの自動評価に有効[Lapata,05] 7
予備実験・人手による文の並べ替え(4) • レビューは新聞記事と比較して、 • 文の並びの自由度が高い =決まった構成がない(or少ない) • 統計的にとらえることができるもの • 新聞:新聞の構造、文書らしさ
• レビュー:文書らしさ(文脈) 8
既存手法 • 統計による文の並べ替え[Lapata,03] • 文の連接しやすさ • 文の連接確率 を 単語の連接確率の積 で表す
Sentence S i : S j : Word 9
提案:文の連接しにくさの尺度 文の連接しにくさ • 単語の連接しにくさの総加平均 • 単語の連接しにくさ 連続する2文における共起 1文書内での共起 f(a,b): a,bの共起頻度
N:文書数 10
実験:文の連接しにくさの尺度 • a文離れた文同士のスコアを算出 ーーーーーーーー。 ーーーーーー。 ーーーーーー。 ーーーーーーー。 a=3 +a 11
提案手法による文の並べ替え • 文の連接しにくさ だけでは並べ替えはできない • 相互情報量に基づく指標 • 方向を持たない • 単語の連接しやすさと単語の連接しにくさを
併せて用いる 12
実験:異なる文数のレビュー • 学習はレビュー • 相関係数τ 13
実験:学習データと並べ替え対象 • 文脈をとらえることができたか 14
まとめ • 統計情報を用いた文の並べ替え手法を提案 • 文の連接しにくさの尺度を提案 • 既存手法とは異なる結果 • 新聞記事とレビュー記事を並べ替え •
レビューの文順序は自由度が高い • 生成したい文書を考慮した学習データの選択が必要 15
計算式:ケンドールの順位相関係数 • 文書1:1,2,3 • 文書2:2,1,3 • I=1
計算式:PMI • f(a <i,j> ):i文目のj個目の単語aの出現回数 • N d :文書dの総数
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
430
データサイエンス13_解析.pdf
jnlp
0
560
データサイエンス12_分類.pdf
jnlp
0
390
データサイエンス11_前処理.pdf
jnlp
0
520
Recurrent neural network based language model
jnlp
0
210
自然言語処理研究室 研究概要(2012年)
jnlp
0
180
自然言語処理研究室 研究概要(2013年)
jnlp
0
140
自然言語処理研究室 研究概要(2014年)
jnlp
0
160
自然言語処理研究室 研究概要(2015年)
jnlp
0
250
Other Decks in Research
See All in Research
山中市政の総括:相反する二つの顔
sishi
0
240
GeoAgent勉強会 論文紹介と強い推論モデルが与えるインパクト
satai
5
520
進化?迷走?CasualConc ファミリーアプリの現在地 @ 英語コーパス学会 2026
casualconc
0
160
論文紹介:Doc-to-LoRA: Learning to Instantly Internalize Contexts
yukako_nakano
0
240
山中市政が招いた組織崩壊:よこはま安心ボックスを例に
sishi
0
380
A new deal for disabled people
resolutionfoundation
0
390
[Research Paper Analysis] Deep Learning - SigLIP2
auranightsky
0
180
Santé et fertilité des sols : ce que nous disent les pratiques dans les systèmes de polyculture-élevage
institutdelelevage
PRO
0
260
ハードウェア研究で国際トップ会議を目指す!IROS 2027での論文採択を目指して
ayatokanada
7
4.2k
La génomique au service de la fromageabilité du lait grâce aux spectres MIR
institutdelelevage
PRO
0
230
幾何学的深層学習入門 ~3次元構造と対称性を学習するニューラルネットワーク~
taniai
3
1.1k
最先端NLP 2026 論文紹介: Wait, Wait, Wait... Why Do Reasoning Models Loop? / SNLP Paper Review: Wait, Wait, Wait... Why Do Reasoning Models Loop?
tkng
0
290
Featured
See All Featured
The Curse of the Amulet
leimatthew05
4
17k
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
690
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k
Speed Design
sergeychernyshev
33
2.3k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
410
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
121
130k
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
4
3.3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
250
1.3M
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850