Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Web検索を用いた複合名詞同定
Search
自然言語処理研究室
March 31, 2008
Research
92
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Web検索を用いた複合名詞同定
沢井 康孝, 山本 和英. Web検索を用いた複合名詞同定. 言語処理学会第14回年次大会, pp.205-208 (2008.3)
自然言語処理研究室
March 31, 2008
Transcript
18 slides
1 Web 検索を用いた複合名詞同定 長岡技術科学大学 電気系 自然言語処理研究室 沢井 康孝、山本 和英 2008
2 目的 • 複合名詞(複合語) – 低価格ノイズキャンセルヘッドホン – 低価格ノイズキャンセルヘッドホン? – 低価格、ノイズキャンセル、ヘッドホン?
– 低価格、ノイズキャンセルヘッドホン? • 問題 – どこで分割点するか、どこまでが一語か – 分野によって最適な長さは異なる
3 複合名詞同定の調査 • Webを大規模なコーパスに見立てた複合名 詞同定処理を行う – どの程度妥当であるか – 作成される複合名詞の特徴 –
どのような分野に向いているか • 二種類の方法の比較 – ヒット件数 – AND 検索と連接検索の比率
4 提案手法の概要 • 手法1 – ヒット件数に閾値を定める – 先行研究 • 評判情報の抽出
[ 峠ら ,06] • ドメイン特徴語の抽出 • 手法2 – ヒット件数の割合に閾値を定める ヒット件数によって妥当性を判定 ヒット件数 閾値 1000 件
5 概要:複合名詞の同定 • Step1 – 複合名詞候補の抽出 • Step2 – 複合名詞同定処理
– 同定の優先順 (1: 長さ、 2: 値の大きさ ) • 複合名詞の候補 – 対象とする品詞の連接部分 – 対象:名詞、接尾、接頭、未知語、記号
6 同定基準1:ヒット件数 • ヒット件数に閾値を設定 – ヒット件数で妥当性を測る DNS サーバー アドレス 手動 設定 3 3 3
3 3 5 万 2 千 3 万 Hit 数 分割点 ( 閾値 1000)
7 同定基準2:ヒット割合 • ヒット件数の割合に閾値を設定 – AND 検索と連接検索(割合 = 連接 /AND)
DNS サーバー アドレス 手動 設定 3 3 3 3 0 0.01 0.5 0.04 割合 0 0.1 分割点 ( 閾値 0.1)
8 対象テキスト • 様々な語句を対象とする – Web テキスト – Blog, 掲示板
,etc • 対象テキスト – Livedoor Blog – 価格コム掲示板
9 評価方法 • 無作為にサンプリング • 人手による評価 – 被験者3人の平均を利用 – 正解例、不正解例をあらかじめ提示
– 対象の語句が妥当であるか判断 • 形態素数別に評価
10 複合名詞の候補数 形態素数 価格コム 候補自体の精度 2 155585 60944 0.69 3
94116 47839 0.54 4 29983 16199 0.45 5 9533 4853 0.33 Blog × 部長キタ × タイトルうろ覚えビート 形態素数の増加⇔精度の低下
11 同定後の複合名詞の評価 形態素数 ヒット件数 ヒット割合 ヒット割合 閾値 1000 0.1 0.05
2 0.77 0.87 0.91 3 0.80 0.84 0.87 4 0.69 0.80 0.79 5 0.69 0.78 0.81 形態素数が多い複合名詞が良好
12 形態素数 形態素数 2 3 4 5 ヒット件数後 392 197
55 20 ヒット割合後 409 99 25 11 • 2 ~ 5 形態素の複合名詞候補を対象とする – 各形態素数別に 100 件 • 同定処理後の複合名詞の形態素数の変化 • ヒット件数:形態素数が多い • ヒット割合:形態素数が少ない
13 • 検索ヒット数(閾値 1000 ) – 住宅用アルミ / 建材 /
カラーサンプル – USBサウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用アダプタ – 勝ち組VS負け組 – 等速ダビング / 完了時 – データ / 通信用カード / 形 • 検索ヒット割合(閾値 0.05 ) – 住宅用 / アルミ建材 / カラーサンプル – USB / サウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用 / アダプタ – 勝ち組 / VS / 負け組 – 等速ダビング / 完了時 – データ / 通信用 / カード形
14 特徴および問題 • ヒット件数 – 長い複合名詞を同定しやすい – ある程度連接すると判断できない – 出現が少ない語彙に弱い
• ヒット割合 – 短く分割する – 出現が少ない語彙に対しても判断できる
15 まとめ、展望 • Web を対象 – 特に形態素数が多い語彙に問題 – 両方の方法で良好な結果 •
2 つの方法を使用する – 処理によって必要とする単位が異なる – 両者に利点と欠点 展望:実際に幾つかのタスクを想定して 比較、実験を行う
16 Web 特有の表現 • Web 特有の表現を幾つか抽出 – なめ ら かさ – こ ー ゆ ー
– めん ど くせ え – ハズ カシ ク ナイ – お k Web を解析する際の辞書として有益?
17 先行研究の精度 • 先行研究 – 人手評価 – 対象:掲示板 – ドメイン固定
• 携帯電話 • 車 • デジタルカメラ 形態素数 ヒット件数 閾値 1000 2 0.81 3 0.78 4 0.73 5 0.79
18 実際の例
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
430
データサイエンス13_解析.pdf
jnlp
0
560
データサイエンス12_分類.pdf
jnlp
0
390
データサイエンス11_前処理.pdf
jnlp
0
520
Recurrent neural network based language model
jnlp
0
210
自然言語処理研究室 研究概要(2012年)
jnlp
0
180
自然言語処理研究室 研究概要(2013年)
jnlp
0
140
自然言語処理研究室 研究概要(2014年)
jnlp
0
160
自然言語処理研究室 研究概要(2015年)
jnlp
0
250
Other Decks in Research
See All in Research
Vers un système bovin allaitant multiperformant :leviers actionnés et trajectoire de réduction de l'empreinte carbone à travers 4 années d'expérimentation à FERM'INOV
institutdelelevage
PRO
0
150
フィジカルAIの社会実装に向けて -AIエージェントからAgentic Roboticsへ-
hf149
1
2.8k
ros2-perf-multihost: 分散システムにおける客観的なアーキテクチャ評価フレームワーク
takasehideki
0
360
The Conductor Pattern -Multi-Granularity Feedback for Creative Agents-
shibuiwilliam
2
130
Hitting the buffers
beale
0
420
Détecter les vulnérabilités dans un environnement souverain
hellosct1
0
130
Être éleveur dans un monde en transition : Comprendre les changements pour mieux les accompagner
institutdelelevage
PRO
0
170
MIRU2026 チュートリアル講演2:三次元データ処理の動向
nnchiba
8
5.6k
SPACE 2026 - Renforcer l’attractivité des métiers des productions animales dans les établissements d'enseignement agricole
institutdelelevage
PRO
0
120
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
360
VLMの推論を高速化する視覚トークン削減の仕組み
tattaka
2
460
Featured
See All Featured
Unsuck your backbone
ammeep
672
58k
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
560
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.8k
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
790
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
35
2.9k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
3k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
18k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
Done Done
chrislema
187
17k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
620
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
The B2B funnel & how to create a winning content strategy
katarinadahlin
PRO
1
620