Web検索を用いた複合名詞同定

沢井 康孝, 山本 和英. Web検索を用いた複合名詞同定. 言語処理学会第14回年次大会, pp.205-208 (2008.3)

Transcript

1. 1 Web 検索を用いた複合名詞同定 長岡技術科学大学 電気系 自然言語処理研究室 沢井 康孝、山本 和英 ２００８
2. 2 目的 • 複合名詞（複合語） – 低価格ノイズキャンセルヘッドホン – 低価格ノイズキャンセルヘッドホン？ – 低価格、ノイズキャンセル、ヘッドホン？ – 低価格、ノイズキャンセルヘッドホン？ • 問題 – どこで分割点するか、どこまでが一語か – 分野によって最適な長さは異なる
3. 3 複合名詞同定の調査 • Ｗｅｂを大規模なコーパスに見立てた複合名 詞同定処理を行う – どの程度妥当であるか – 作成される複合名詞の特徴 – どのような分野に向いているか • 二種類の方法の比較 – ヒット件数 – AND 検索と連接検索の比率
4. 4 提案手法の概要 • 手法１ – ヒット件数に閾値を定める – 先行研究 • 評判情報の抽出 [ 峠ら ,06] • ドメイン特徴語の抽出 • 手法２ – ヒット件数の割合に閾値を定める ヒット件数によって妥当性を判定 ヒット件数 閾値 1000 件
5. 5 概要：複合名詞の同定 • Step1 – 複合名詞候補の抽出 • Step2 – 複合名詞同定処理 – 同定の優先順 (1: 長さ、 2: 値の大きさ ) • 複合名詞の候補 – 対象とする品詞の連接部分 – 対象：名詞、接尾、接頭、未知語、記号
6. 6 同定基準１：ヒット件数 • ヒット件数に閾値を設定 – ヒット件数で妥当性を測る ＤＮＳ　サーバー　アドレス　手動　設定 ３ ３ ３ ３ 3 5 万 2 千 3 万 Hit 数 分割点 ( 閾値 1000)
7. 7 同定基準２：ヒット割合 • ヒット件数の割合に閾値を設定 – AND 検索と連接検索（割合 = 連接 /AND) ＤＮＳ　サーバー　アドレス　手動　設定 ３ ３ ３ ３ 0 0.01 0.5 0.04 割合 0 0.1 分割点 ( 閾値 0.1)
8. 8 対象テキスト • 様々な語句を対象とする – Web テキスト – Blog, 掲示板 ,etc • 対象テキスト – Livedoor Blog – 価格コム掲示板
9. 9 評価方法 • 無作為にサンプリング • 人手による評価 – 被験者３人の平均を利用 – 正解例、不正解例をあらかじめ提示 – 対象の語句が妥当であるか判断 • 形態素数別に評価
10. 10 複合名詞の候補数 形態素数 価格コム 候補自体の精度 2 155585 60944 0.69 3 94116 47839 0.54 4 29983 16199 0.45 5 9533 4853 0.33 Blog × 部長キタ × タイトルうろ覚えビート 形態素数の増加⇔精度の低下
11. 11 同定後の複合名詞の評価 形態素数 ヒット件数 ヒット割合 ヒット割合 閾値 1000 0.1 0.05 2 0.77 0.87 0.91 3 0.80 0.84 0.87 4 0.69 0.80 0.79 5 0.69 0.78 0.81 形態素数が多い複合名詞が良好
12. 12 形態素数 形態素数 2 3 4 5 ヒット件数後 392 197 55 20 ヒット割合後 409 99 25 11 • 2 ～ 5 形態素の複合名詞候補を対象とする – 各形態素数別に 100 件 • 同定処理後の複合名詞の形態素数の変化 • ヒット件数：形態素数が多い • ヒット割合：形態素数が少ない
13. 13 • 検索ヒット数（閾値 1000 ） – 住宅用アルミ / 建材 / カラーサンプル – ＵＳＢサウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用アダプタ – 勝ち組ＶＳ負け組 – 等速ダビング / 完了時 – データ / 通信用カード / 形 • 検索ヒット割合（閾値 0.05 ） – 住宅用 / アルミ建材 / カラーサンプル – ＵＳＢ / サウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用 / アダプタ – 勝ち組 / ＶＳ / 負け組 – 等速ダビング / 完了時 – データ / 通信用 / カード形
14. 14 特徴および問題 • ヒット件数 – 長い複合名詞を同定しやすい – ある程度連接すると判断できない – 出現が少ない語彙に弱い • ヒット割合 – 短く分割する – 出現が少ない語彙に対しても判断できる
15. 15 まとめ、展望 • Web を対象 – 特に形態素数が多い語彙に問題 – 両方の方法で良好な結果 • 2 つの方法を使用する – 処理によって必要とする単位が異なる – 両者に利点と欠点 展望：実際に幾つかのタスクを想定して 比較、実験を行う
16. 16 Web 特有の表現 • Web 特有の表現を幾つか抽出 – なめ　ら　かさ – こ　ー　ゆ　ー – めん　ど　くせ　え – ハズ　カシ　ク　ナイ – お　 k Web を解析する際の辞書として有益？
17. 17 先行研究の精度 • 先行研究 – 人手評価 – 対象：掲示板 – ドメイン固定 • 携帯電話 • 車 • デジタルカメラ 形態素数 ヒット件数 閾値 1000 2 0.81 3 0.78 4 0.73 5 0.79
18. 18 実際の例