Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web検索を用いた複合名詞同定

 Web検索を用いた複合名詞同定

沢井 康孝, 山本 和英. Web検索を用いた複合名詞同定. 言語処理学会第14回年次大会, pp.205-208 (2008.3)

Transcript

  1. 1 Web 検索を用いた複合名詞同定 長岡技術科学大学 電気系 自然言語処理研究室 沢井 康孝、山本 和英 2008

  2. 2 目的 • 複合名詞(複合語) – 低価格ノイズキャンセルヘッドホン – 低価格ノイズキャンセルヘッドホン? – 低価格、ノイズキャンセル、ヘッドホン?

    – 低価格、ノイズキャンセルヘッドホン? • 問題 – どこで分割点するか、どこまでが一語か – 分野によって最適な長さは異なる
  3. 3 複合名詞同定の調査 • Webを大規模なコーパスに見立てた複合名 詞同定処理を行う – どの程度妥当であるか – 作成される複合名詞の特徴 –

    どのような分野に向いているか • 二種類の方法の比較 – ヒット件数 – AND 検索と連接検索の比率
  4. 4 提案手法の概要 • 手法1 – ヒット件数に閾値を定める – 先行研究 • 評判情報の抽出

    [ 峠ら ,06] • ドメイン特徴語の抽出 • 手法2 – ヒット件数の割合に閾値を定める ヒット件数によって妥当性を判定 ヒット件数 閾値 1000 件
  5. 5 概要:複合名詞の同定 • Step1 – 複合名詞候補の抽出 • Step2 – 複合名詞同定処理

    – 同定の優先順 (1: 長さ、 2: 値の大きさ ) • 複合名詞の候補 – 対象とする品詞の連接部分 – 対象:名詞、接尾、接頭、未知語、記号
  6. 6 同定基準1:ヒット件数 • ヒット件数に閾値を設定 – ヒット件数で妥当性を測る DNS サーバー アドレス 手動 設定 3 3 3

    3 3 5 万 2 千 3 万 Hit 数 分割点 ( 閾値 1000)
  7. 7 同定基準2:ヒット割合 • ヒット件数の割合に閾値を設定 – AND 検索と連接検索(割合 = 連接 /AND)

    DNS サーバー アドレス 手動 設定 3 3 3 3 0 0.01 0.5 0.04 割合 0 0.1 分割点 ( 閾値 0.1)
  8. 8 対象テキスト • 様々な語句を対象とする – Web テキスト – Blog, 掲示板

    ,etc • 対象テキスト – Livedoor Blog – 価格コム掲示板
  9. 9 評価方法 • 無作為にサンプリング • 人手による評価 – 被験者3人の平均を利用 – 正解例、不正解例をあらかじめ提示

    – 対象の語句が妥当であるか判断 • 形態素数別に評価
  10. 10 複合名詞の候補数 形態素数 価格コム 候補自体の精度 2 155585 60944 0.69 3

    94116 47839 0.54 4 29983 16199 0.45 5 9533 4853 0.33 Blog × 部長キタ × タイトルうろ覚えビート 形態素数の増加⇔精度の低下
  11. 11 同定後の複合名詞の評価 形態素数 ヒット件数 ヒット割合 ヒット割合 閾値 1000 0.1 0.05

    2 0.77 0.87 0.91 3 0.80 0.84 0.87 4 0.69 0.80 0.79 5 0.69 0.78 0.81 形態素数が多い複合名詞が良好
  12. 12 形態素数 形態素数 2 3 4 5 ヒット件数後 392 197

    55 20 ヒット割合後 409 99 25 11 • 2 ~ 5 形態素の複合名詞候補を対象とする – 各形態素数別に 100 件 • 同定処理後の複合名詞の形態素数の変化 • ヒット件数:形態素数が多い • ヒット割合:形態素数が少ない
  13. 13 • 検索ヒット数(閾値 1000 ) – 住宅用アルミ / 建材 /

    カラーサンプル – USBサウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用アダプタ – 勝ち組VS負け組 – 等速ダビング / 完了時 – データ / 通信用カード / 形 • 検索ヒット割合(閾値 0.05 ) – 住宅用 / アルミ建材 / カラーサンプル – USB / サウンドデバイス / サウンドカード – 液晶プロジェクタ / 接続用 / アダプタ – 勝ち組 / VS / 負け組 – 等速ダビング / 完了時 – データ / 通信用 / カード形
  14. 14 特徴および問題 • ヒット件数 – 長い複合名詞を同定しやすい – ある程度連接すると判断できない – 出現が少ない語彙に弱い

    • ヒット割合 – 短く分割する – 出現が少ない語彙に対しても判断できる
  15. 15 まとめ、展望 • Web を対象 – 特に形態素数が多い語彙に問題 – 両方の方法で良好な結果 •

    2 つの方法を使用する – 処理によって必要とする単位が異なる – 両者に利点と欠点 展望:実際に幾つかのタスクを想定して 比較、実験を行う
  16. 16 Web 特有の表現 • Web 特有の表現を幾つか抽出 – なめ ら かさ – こ ー ゆ ー

    – めん ど くせ え – ハズ カシ ク ナイ – お  k Web を解析する際の辞書として有益?
  17. 17 先行研究の精度 • 先行研究 – 人手評価 – 対象:掲示板 – ドメイン固定

    • 携帯電話 • 車 • デジタルカメラ 形態素数 ヒット件数 閾値 1000 2 0.81 3 0.78 4 0.73 5 0.79
  18. 18 実際の例