意見情報獲得のためのクエリー関連のドメイン特徴語抽出

Transcript

1. 1 意見情報獲得のための 意見情報獲得のための クエリー関連のドメイン特徴語抽出 クエリー関連のドメイン特徴語抽出 　　　　　　　　 　　　　　　　長岡技術科学大学　電気系 　　　　　　　　 　　　　　　 　　　　　　　　　　　峠　泰成　　　山本　和英

   　　　　　　　　　　　　 2006 年 3 月 14 日

2. 2 　はじめに ▪ Ｗｅｂなどの大規模テキストを容易に取得可能へ ex) 一般 Web 文書 , Ｗｅｂｌｏｇ

   , Ｗｅｂ掲示板 , ＳＮＳ　 etc ▪ 興味や関心などの感性情報の研究に注目 　　　　　 [ 那須川 (05), Kobayashi et al.(05), Liu et al.(05) ] 　　　・　ティーダの室内が広い 　　　　　　　　　　　　　　　　　・　ライトが明るいのが良い 　　　・　キーレスポンスが微妙　　 ▪ 商品やサービスに対する意見・評判情報 , 自社製品の評判 　　　　　　　　　　これまで知らなかった情報を抽出したい !

3. 3 　意見情報抽出 　　大規模テキストから自分が興味のある対象の 　　　　　　　　　意見情報を自動抽出したい！ D902i 　の評判は 　　どうなっているのか？ 対象：大規模テキスト 検索語 （　Ｄ９０２ｉ　）

   Ｄ９０２ i に対する意見情報 抽出処理 ・ 大画面がうれしい！　→　好評 ・ よく電源が落ちる　　　→　不評 ・ 埃が入りすぎる　　　→　不評

4. 4 　意見情報の集約 ▪ 意見情報を解析する  主流 ： 人手による解析 ➔ 　効率良く意見情報を集約すべき！

   D902i 　について解析する場合 液晶が大きい , 画面が大きい , ディスプレイが大きい 　→　大画面についての好評意見 埃が入る　→　画面が大きいことが欠点になる  共通の事象に対する情報を解析　⇒　自動判別 ➔ 　ドメインごとの共通事項の獲得は非常に手間がかかる ➔ 抽出した意見情報の検索効率を向上させたい

5. 5 　ドメイン特徴語の定義 ▪ ドメインにより評価の対象となる表現が異なる 車　：　ハンドル , 　アクセル , 　シート etc

   デジタルカメラ　：　メモリー , シャッター , フラッシュ etc ▪ 本研究での評価対象となる表現 →　　ドメイン”特徴語” と定義　 ▪ 問題点  評価対象の語を人手により獲得している 　　　 ( Kobayashi et al.[04], Liu et al.[05] )  意見情報の検索を考慮するために語の関連性を保持する

6. 6 　提案手法 ▪ 名詞連接からの複合名詞同定手法 　　一眼レフ利用　　⇒　　一眼レフ　 / 利用　　：　分割したい 　　外部入力端子　　⇒　外部入力端子　　：　分割したくない ➔ 　複合名詞を同定したい！

   ▪ クエリーの関連性を考慮した特徴語自動抽出 クエリー：車 アクセル エンジン 乗り心地 シート etc 対象文書データ 検索 抽出

7. 7 　複合名詞同定について ▪ 名詞連接からの複合名詞同定  意見情報を明確にするために複合名詞を考慮 　 ex) エンジン /

   音 , シャッター / スピード  問題点 　 ex) リモコンキー追加 , 光学ファインダー内蔵 ：　 × 名詞の結合により , 複合名詞として成立しない語が生成される 　　⇒　的確な位置で複合名詞を同定する必要がある ▪ 関連研究 　中川ら [03] ： 語の連接頻度による手法 　後藤ら [05] ： 連接の例外規則による手法

8. 8 　複合名詞同定手法 ▪ 検索エンジンを用いた複合名詞同定  抽出対象となるコーパス中で誤った名詞連接の頻度は非常に低い  対象とするコーパスのみでは妥当性を判定しづらい語が多い ▪ 検索ヒット数により連接した語の妥当性を判断

   ▪ 分割箇所が複数でも対応が可能 検索ヒット件数と最長一致を用いて同定していく 　　　　 ex) 　ヘッドランプ / ハイビーム / 点灯 　　　　　　　 　　　　　　　 日本語変換システム 　　　　　　　 全席　 / 　フルフラット 　　　　　　　

9. 9 　複合名詞同定処理 ( １ / ２ ) ▪ 入力文書から候補語を抽出　（名詞 ,

   未知語 , 記号列の連結） リモコン / キー / 追加　　⇒　リモコンキー追加 ▪ 抽出候補からの 1 語ごとの検索語を作成 　　 　　　　 ( リモコンキー追加 ) , 　 ( リモコンキー ) , 　 ( キー追加 ) 　　　　（リモコン） , 　（キー） , 　 ( 追加 ) 　 ▪ 検索エンジンを用いて検索語の検索ヒット件数を取得 　リモコンキー追加　：　１５　　　　リモコン　：　２ , １５０ , ０００ 　リモコンキー　：　４４ , ７００　　　キー　：　８ , ４８０ , ０００ 　 　キー追加　：　５７５　　　　　　　　追加　：　１９ , ０００ , ０００　

10. 10 　複合名詞同定処理（２ / ２） ▪ 検索ヒット数と最長一致法を用いて複合名詞の同定  閾値 m による分割点の作成

    ３形態素　：　リモコンキー追加　：　１５　→　 × ２形態素　：　リモコンキー　：　４４７００　→　◦ ２形態素　：　キー追加　：　５７５　→　 × 　 ※同一形態素数の場合には検索ヒット数が多い方を優先 リモコンキー / 追加 処理例 ハッピーボーナス / 対象　 , 写メールモード / 起動　 , ローパスフィルタ / ゴミ / 付着　 , ミノルタ /VS/ オリンパス

11. 11 　ドメイン特徴語の抽出 ( １ / ４ ) ▪ 入力文書からの特徴語抽出 入力文書からの特徴語抽出

     車やデジタルカメラなどのドメインにより異なる特徴語を取得したい！  意見情報検索を考慮した語の連想関係を知りたい ➔ 　クエリーとの関連性に着目  メインクエリーの周辺には上位語や下位語 , 関連語が多く存在 ➔ 　クエリーとの隣接関係により候補を絞り込み  抽出した候補とクエリーとの関連度の算出 ▪ 関連研究  関連語 , 専門用語抽出 （山本ら [02], 竹安ら [05], 佐々木ら [05] ）

12. 12 　ドメイン特徴語の抽出 ( ２ / ４ ) ▪ ペアによる絞込み ペアによる絞込み

     入力文書から候補を抽出　：　品詞による制限 , フィルタリング  対象の１文から隣接したペアを作成 　 ex) 　この車のエンジンにもう少しトルクがあれば運転も楽しくなるのに 　　　　　（車 , エンジン ), 　 ( エンジン , トルク ), 　 ( トルク , 運転 )  メインクエリーによる絞込み メインクエリーによる絞込み ex) メインクエリー　：　車 ( 　車　 , 　エンジン　 ) : 前に出現するパターン 　　　（　加速　 , 　車　）　　：　後ろに出現するパターン ➔ 　メインクエリーからの隣接語を取得

13. 13 　ドメイン特徴語の抽出 ( ３ / ４ ) ▪ 絞込み特徴語候補の取得 絞込み特徴語候補の取得

     隣接語から前方検索と後方検索を行い , メインクエリーから派生させる ｛ エンジン , トルク ｝ : 隣接語が前方に存在 ｛ アクセル , エンジン ｝ : 隣接語が後方に存在 前方検索 , 後方検索の両方に含まれていた語 ➔ 　クエリーに関連する特徴語として抽出 　　 ex) 　車　　⇒ エンジンオイル　から派生し取得した特徴語 エンジンルーム , AT, オイル , 　ミッションオイル , タービン , 燃費 フィルター , メンテナンスノート , エンジンブレーキ etc

14. 14 　ドメイン特徴語の抽出 ( ４ / ４ ) ▪ メインクエリーとの関連度算出 メインクエリーとの関連度算出

    抽出した特徴語とメインクエリーとの関連度を検索エンジンを用いて算出 RSM,D= HM ,D HD ∗ HN ,M HN ∗logS1 ※ 　 RS : 関連度 , M : メインクエリー , D : 特徴語 , N : 隣接語 　　　 H(a) : a の検索ヒット数 , H(a,b) : a と b の共起検索ヒット数 　　　 S : D を抽出した隣接語数 車 , エンジン , トルク 携帯電話 , 液晶画面 , サイズ ３つ組の関連性のスコアを算出

15. 15 　評価実験 ( 複合名詞同定処理 ) ▪ 実験データ  価格 .com

    の口コミ掲示板の書き込み文書を使用  携帯電話 , 車 , デジタルカメラの３つのドメインの文書を利用  閾値　 m ：１０００件  検索エンジン　：　 Google ▪ 実験方法  構成する形態素数に対し１００件を無作為に取得し同定精度を判定 　　（形態素数は２～５）

16. 16 　評価実験（複合名詞同定処理） ▪ ドメイン別複合名詞同定精度 構成形態素数 携帯電話 車 デジタルカメラ 2 0.77

    0.82 0.85 3 0.73 0.82 0.78 4 0.71 0.74 0.73 5 0.76 0.83 0.77 平均 0.74 0.80 0.78 同定処理結果 　→　７０～８０％程度 検索エンジンを用いているためどの形態素数でも同様の同定精度

17. 17 評価実験（ドメイン特徴語抽出処理） ▪ ドメイン特徴語抽出 ドメイン特徴語抽出  価格 .com の口コミ掲示板の書き込み文書を使用 携帯電話：８５万文

    , 車：１０６万文 , デジタルカメラ：１１６万文  携帯電話 , 車 , デジタルカメラの３つのドメインの特徴語を抽出 ▪ 獲得語彙 獲得語彙 メインクエリー : 携帯電話 , 隣接語 ： 液晶画面 特徴語 ： 傷 , 性能 , 文字 , 画像 , デジカメ , QVGA, モニター , 　 　　　　　保護シート , サイズ , バッテリー , 消費電力 , 画素 メインクエリー : 車 , 隣接語 : キーレス 特徴語 : OP, 電池 , イモビ , ボタン , エンスタ , 開錠 , 鍵 , 鍵穴 , ターボタイマー , セキュリティ , エンジンスターター , 集中ドアロック , 赤外線

18. 18 評価実験（ドメイン特徴語抽出処理） ▪ 獲得語彙数 獲得語彙数  ドメイン別抽出語彙数  車： 7122

    語 , 携帯電話 : 3503 語 , デジタルカメラ： 5803 語 ▪ 抽出精度 抽出精度  ドメイン別抽出結果上位１０００語 ドメイン 精度（提案手法） 精度（頻度による手法） 車 0.80 0.42 携帯電話 0.71 0.41 デジタルカメラ 0.76 0.39 提案手法 ・抽出した語の関連度上位 頻度による手法 ・入力文書の頻度上位 1000 語

19. 19 考察　（複合名詞同定処理について） ▪ 検索ヒット件数が同じぐらいの場合の分割箇所の決定 ex) 新車購入条件 新車購入条件：１２ , 新車購入：３９３ ,

    ０００ , 購入条件：３６０ , ０００  ヒット件数の多い方を採用するが , 同程度の場合には別処理が必要 ▪ 検索エンジンのマッチング方法 　　 D901i 　：　１５０ , ０００ , 　 D901 　：　８０１ 　 検索エンジンを扱う際の表記揺れやマッチングに対応した形式にすべき　 　 ▪ 固有名詞への対応 検索ヒット数が閾値以下の語への対応ができない（ヘルシーパーク裾野） ➔ 固有名詞に対する閾値の柔軟な対応が必要

20. 20 　考察　（ドメイン特徴語抽出について） ▪ 文書中の頻度の多い語　⇒　候補を大量に取得  関連語へのリンクを作成しづらい ➔ 関連度による閾値の決定により対応 ▪ メインクエリー（車など）との隣接語からのみ特徴語を取得

     繰り返し行うことで語彙数を増やすことができる ▪ 検索エンジンの AND 検索の方法への対応  汎用的な語（手など）の場合 AND 検索の結果が大幅に変化 ➔ 抽出対象とノイズデータをあらかじめ選択する

21. 21 　まとめ ▪ クエリー関連のドメイン特徴語の自動抽出手法を提案  意見情報を明確にするために複合名詞を考慮 ➔ 　名詞連接からの複合名詞同定処理 - 同定精度　：　７０～８０％

     隣接関係を用いたドメイン特徴語の抽出 ➔ メインクエリーからの関連度により抽出 ▪ 課題と展望  意見情報抽出結果の検索効率の検討  文書内の低頻度語への対応

22. 22 ▪ おわり

23. 23 実験データ ▪ 評価実験データ  価格 .com 　口コミ掲示板  使用ドメイン

     入力データは構文解析結果 ➔ 構文解析器　：　 Cabocha 携帯電話　：　８５万文 車　：　１０６万文 デジタルカメラ　：　１１６万文

24. 24 　複合名詞同定結果 ▪ 正解例  携帯電話　：　 スカイメッセージ , 電池 /

    トラブル , 京セラ / 好き , 日本語変換システム , イヤホン / 装着 , ボタン操作 / 無効 / 解除 最低 / 基本料金 / プラス  車　： フロントワイパー , メータ / 表示 , 低速 / スカスカ , 燃料電池バス ドアスイッチ / 不良 , 全席 / フルフラット , ドアミラー / 内部 ドライブシャフトブーツ / 切れ , ヘッドランプ / ハイビーム / 点灯  デジタルカメラ　： 露出補正 , 高画質レンズ , オーディオ / 華やか , ワイド液晶モニタ 実質 /MF レンズ , フラッシュ / 光量 / 補正 , テレコン / 装着可能 マルチファンクション / バッテリーパック , テレコンバージョンレンズ / 使用

25. 25 　複合名詞同定結果 ▪ 不正解例  携帯電話　： 協賛 / セール ,

    外部 / カメラ , ホント学習能力 , 最大音量 / レベル キー / パネル部分 , 送信メール自動 / 振り分け , BER/W 迷惑 / メールフィルタリング , サイド / キー操作 / 無効  車　： 電装 / ケーブル , 日本輸入 , 　希薄 / 燃料 , 新車購入 / 条件 ドライバー / インフォメーションセンター , インスパイアド / ライブ フェンダー / ランプフロント / オート , 地上デジタル / 波 / 対応チューナー ・デジタルカメラ　： カード持参 , マイクロ / ズーム , パーティー / シーンモード , 互換 / 製品使用 , 短縮 / 画像保存 , 写真加工 / ツール コンバージョンレンズ比較 , カメラ / メーカー保証適用