Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
大規模テキストを用いた2文接続関係の同定
Search
自然言語処理研究室
March 31, 2006
Research
0
160
大規模テキストを用いた2文接続関係の同定
齋藤 真実、山本 和英、関根 聡. 大規模テキストを用いた2文接続関係の同定. 言語処理学会第12回年次大会, pp.969-972 (2006.3)
自然言語処理研究室
March 31, 2006
Tweet
Share
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
380
データサイエンス13_解析.pdf
jnlp
0
480
データサイエンス12_分類.pdf
jnlp
0
330
データサイエンス11_前処理.pdf
jnlp
0
460
Recurrent neural network based language model
jnlp
0
130
自然言語処理研究室 研究概要(2012年)
jnlp
0
130
自然言語処理研究室 研究概要(2013年)
jnlp
0
93
自然言語処理研究室 研究概要(2014年)
jnlp
0
110
自然言語処理研究室 研究概要(2015年)
jnlp
0
180
Other Decks in Research
See All in Research
データxデジタルマップで拓く ミラノ発・地域共創最前線
mapconcierge4agu
0
190
【緊急警告】日本の未来設計図 ~沈没か、再生か。国民と断行するラストチャンス~
yuutakasan
0
140
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
790
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
110
Weekly AI Agents News!
masatoto
33
69k
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
24
16k
電力システム最適化入門
mickey_kubo
1
720
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
830
20250624_熊本経済同友会6月例会講演
trafficbrain
1
420
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
430
NLP2025参加報告会 LT資料
hargon24
1
330
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
260
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
970
Producing Creativity
orderedlist
PRO
346
40k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Practical Orchestrator
shlominoach
189
11k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Agile that works and the tools we love
rasmusluckow
329
21k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Music & Morning Musume
bryan
46
6.7k
Transcript
大規模テキストを用いた 2文間接続関係の同定 齋藤真実(長岡技術科学大学) 山本和英(長岡技術科学大学) 関根聡(ランゲージクラフト・NYU)
Introduction 概要 2文間の接続関係を大量のコーパスから統計的に判断 1文目と2文目に含まれる単語ペアの利用 構文パタンによる判定 応用
談話解析、修辞構造解析 ドキュメント要約:2文→1文の要約等 QAシステム:原因を尋ねる質問等
関連研究 Marcu and Echihabi[2002] 大規模コーパスから接続詞のある2文を抽出 2文に含まれる単語のペアを素性とし、ナイー ブベイズ分類器を用いて分類
6分類(本研究とは異なる)で49.7% 横山ら[2003] SVMを用いた談話構造解析 談話構造を付与した訓練データが必要
接続関係の分類 1.2% 例えば、たとえば(2個のみ) 例示 5.1% さて、ところで、では 転換 6.0% 一方、もしくは、つまり 並列
12.1% だから、すると、ゆえに 因果 32.2% しかし、でも、ところが、だが 加反 43.0% また、そして、しかも 累加 出現頻度 接続詞の例 接続関係
システムの流れ
単語要素による判定① 例1)1.世界の国々がお互いの独立を認め、対等 の立場で交際するのが理想である。 2.そうならないのが現実でもある。 「理想⇔現実」 → 加反 「一般名詞」「サ変名詞」「動詞」「形容詞」のみ 同一品詞、「サ変名詞」&「動詞」、「動詞」&「形容詞」の組み
合わせのみ使用
単語要素による判定② 例2)1.町にはいっぱいお店があります。 2.服屋さん、お土産屋さん、デパート、スーパーマ ーケットが主なお店です。 上位語:「店」 下位語:「服屋」「土産屋」「デパート」「スーパーマーケット」 ↓ 例示 抽出した単語ペアのコーパス中の頻度からスコアを計算し、
尤もらしい接続関係を選択
スコアの計算 各接続関係に対してスコアを計算 Score1(DR) Score2(DR) 2つのスコアで共に一位になった場合のみ利用 の総和 する各単語ペアの頻度 すべての接続関係に対 アの頻度の総和 であるときの各単語ペ
接続関係がDR = ( ) のコーパス中での割合 接続関係DR DR Score1 =
構文パタン 構文情報のみから接続関係を判定 <パタン例> 1.「~は~だった。(しかし)~というわけではない。」 2.「~には~である。(例えば)~などなど。」 単語ペアをパタンに置き換えて同様にスコアを計 算(それぞれScore3, Score4とする) 両スコアで一位になる場合のみ利用 ※コーパス中で1000回以上マッチする文があるパタンは使用
しない
Step1: 不要な文節の削除 「助詞-連体化」の「の」で終わる文節とその文節の係り 元すべて 並列助詞で終わる文節 Step2: パタンの構成要素の取得→パタンの追加
(内容語)?(助詞|助動詞|。)+$ 副詞$ 例3) 1.彼女の心にどんな思いがあったかはわからない 。 2.それはとても勇気がいることだったに違いない。 構文パタンの作成①
Step3: 要素を順に削除→パタンの追加 「サ変名詞」、「固有名詞」を削除 彼女の心にどんな思いがあったかはわからない。 それはとても勇気がいることだったに違いない。 「動詞」、「形容詞」を削除 彼女の心にどんな思いがあったかはわからない。 それはとても勇気がいることだったに違いない。
「副詞」、「名詞」を削除 彼女の心にどんな思いがあったかはわからない。 それはとても勇気がいることだったに違いない。 構文パタンの作成②
構文情報追加による向上 0.65 0.53 出現頻度を考慮 0.64 (192/300) 0.57(171/300) 合計 0.60 (30/50)
0.56 (28/50) 例示 0.72 (36/50) 0.66 (33/50) 転換 0.58 (29/50) 0.58 (29/50) 並列 0.56 (28/50) 0.56 (28/50) 因果 0.86 (43/50) 0.62 (31/50) 加反 0.52 (26/50) 0.44 (22/50) 累加 構文情報を追加 単語ペアのみ 接続関係
人間による接続判定 3人の人間に同じ問題を与え、最大3個まで許可 し接続関係を判定 結果はそれぞれ63%,54%,48% ※人の出力N個の中に正解が含まれている場合は1/N個の 正解とする 2人の人間の出力の一致率の平均は69% 47% 60% 63%
71% システムの正解率 0 1 2 3 正解した人の数
結論 2文間の接続関係を同定するため、単語情 報に加え、構文パタンを利用 構文情報を用いることで、単語のみで判断 した場合より精度が12%向上(53%→65%) 今後の課題 機械学習の適用(単語と構文からの情報を同 時に考慮することで、精度の向上を期待)
さらに広い文脈からの情報を利用