Upgrade to Pro — share decks privately, control downloads, hide ads and more …

QAサイトにおける最適な回答者提示

 QAサイトにおける最適な回答者提示

堀江 将隆 QAサイトにおける最適な回答者提示. 長岡技術科学大学修士論文. (2013.3)

More Decks by 自然言語処理研究室

Other Decks in Research

Transcript

  1. 3 目的 • 質問に対し最適な回答者を全ユーザから探し て提示し回答してもらうこと • 目的達成のため以下の条件設定 • Yahoo!知恵袋を対象 •

    全ユーザ:対象の質問に回答したユーザ • 最適な回答者:ベストアンサー回答ユーザ 対象の質問の回答者からベストアンサーを投 稿した回答者を選択する評価実験を行う
  2. 9 手法の流れ2 専門用語の 異なり数をカウント 専門用語 リスト ユーザの 回答履歴 過去に回答した 質問文と回答文

    ・・・・・・・リカバリ・・・・・・ ・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・ プロダクトキー・・・・・・・・ ・・・・・・・・・・リカバリ・・・ リカバリ プロダクトキー 異なり数  : 2 スコア=2/2 =1 ユーザAの回答履歴 専門用語リスト ユーザAの知識スコア 各ユーザの 知識スコア
  3. 10 手法の流れ3 スコアが最大の ユーザを選択 最適な 回答者 各ユーザの 知識スコア ユーザBのスコア:1 ユーザAのスコア:0.7

    ユーザCのスコア:0.2 各ユーザの知識スコア 出力するユーザ ユーザB ユーザAのスコア:0.7 ユーザBのスコア:1 ユーザCのスコア:0.2 知識スコアでランキング
  4. 12 質問難易度 • 質問への回答のしやすさを表す 難しい質問 易しい質問 難しい質問 易しい質問 難易度が一致 難しい質問に多く

    回答してきたユーザ 易しい質問に多く 回答してきたユーザ 難易度が不一致 難易度が一致 質問者は難易度が合った回答を求めている 回答者は得意な難易度がある 質問者 回答者 難易度が一致していれば良い回答が可能
  5. 13 質問難易度を決定する要素 • 質問者が求めている回答の抽象度 • 回答が1つに決まっている質問は答えやすい • 回答候補が複数ある質問は答えにくい • 質問に必要な知識

    • 周知の事実に関する話題であれば答えやすい • 専門性の高い話題は答えにくい • 質問文の情報の不十分さ • 詳細な設定や条件があると回答を導きやすい • 単純で曖昧な質問は答えにくい
  6. 19 出現割合リスト作成の流れ 質問文 抽象度 ごとに分類 単語の 出現頻度計算 抽象度1 質問文 抽象度2

    質問文 抽象度3 質問文 抽象度1 出現頻度 抽象度2 出現頻度 抽象度3 出現頻度 単語の 出現頻度 単語の 出現割合計算 出現割合 リスト
  7. 20 出現割合リストの例 • 割合が高いほど、その抽象度に属する確率 が高い 抽象度1 抽象度2 抽象度3 出現頻度 割合

    出現頻度 割合 出現頻度 割合 名前 28 0.81 1 0.04 4 0.14 対処 1 0.03 16 0.88 2 0.09 好き 4 0.05 3 0.06 53 0.88 例:閾値=0.8 なら 0.81×28=22.68 とする
  8. 21 抽象度推定手法の流れ 抽象度 スコア 抽象度1 抽象度2 抽象度3 アニメ +0.29 +0

    +0.71 どれが +0.4 +0.3 +0.3 一番 +0.32 +0.23 +0.45 勧め +0.05 +0 +0.95 スコア の合計 =1.06 =0.53 =2.41 質問:アニメでどれが一番お勧めですか? 出力:抽象度3 質問 抽象度判定 出現割合リスト 単語 出現割合 参照 質問の抽象度 例:抽象度1の重み=1.5    抽象度1スコア=1.59
  9. 24 回答者選択手法の流れ1 • 回答者の過去の回答した全ての質問に対して、抽象 度を付与 • 回答者の抽象度スコアを計算 質問の抽象度の割合 • 質問文に対しても同様に抽象度を付与

    質問と回答者の抽象度判定 出現割合リスト 単語 参照 出現割合 対象の 質問文 回答者A の質問文 回答者B の質問文 回答者C の質問文 質問文 の抽象度 回答者Cの 抽象度スコア 回答者Aの 抽象度スコア 回答者Bの 抽象度スコア
  10. 25 回答者選択手法の流れ2 • 質問文の抽象度と一致する回答者の抽象度スコア が最大の回答者を出力する 最大のスコアを持つユーザを出力 質問文 の抽象度 回答者Cの 抽象度スコア

    回答者B 抽象度:3 回答者Aの 抽象度スコア 回答者Bの 抽象度スコア 抽象度1:0.3 抽象度2:0.6 抽象度3:0.1 抽象度1:0.1 抽象度2:0.1 抽象度3:0.8 抽象度1:0.5 抽象度2:0.3 抽象度3:0.2
  11. 26 専門用語と質問難易度を 組み合わせた手法 • それぞれの手法での専門用語スコアと、抽象度スコ アを加算し、最大のスコアを持つユーザを出力 最大のスコアを持つユーザを出力 質問文 の抽象度 回答者Cの

    抽象度スコア 回答者B 抽象度:3 回答者Aの 抽象度スコア 回答者Bの 抽象度スコア 専門用語:0.4 抽象度3:0.1 合計:0.5 専門用語:0.7 抽象度3:0.8 合計:1.5 専門用語:0.2 抽象度3:0.1 合計:0.3
  12. 27 回答者選択実験 実験方法 • それぞれの手法を用いて、最適な回答者を選択 • 比較のために、ベストアンサー率が最大のユー ザを出力する手法で実験 実験データ •

    Yahoo!知恵袋の全てのカテゴリを対象 • 回答者が3人から5人の質問1000件 評価方法 • ベストアンサーを回答したユーザを正解
  13. 28 回答者選択実験結果 • 専門用語手法:高い精度 複数の回答者候補が存在する場合も正解と している • 抽象度手法:低い精度 質問と正解回答者の最大抽象度一致:478件 → 抽象度は有効

    • 組み合わせ手法の結果:低い精度 • ベストアンサー率:高い精度 ランダム ベストアン サー率 専門用語 抽象度 (質問難易度) 組み合わせ 正解率 27.8% 46.4% 40.0% 28.5% 28.6%
  14. 29 まとめ • 最適な回答者の提示手法を提案 • 最適なユーザを探す手がかり 専門用語情報 – 質問の分野が一致するユーザ 難易度情報

    – 質問者と対応できるユーザ 両手法とも回答者選択手法として高い精度で はなかった 最適なユーザを探す為に有益な情報である
  15. 34 文章表現辞書を用いた手法 対応する抽象度 文章表現 抽象度1 はどういう意味でしょうか は誰でしょうか 抽象度2 どうしたらいいのでしょうか 方法はありますか

    抽象度3 どう思いますか お勧めでしょうか • 抽象度を決める基準となる質問内容を含む文 の文末表現・特定の表現を人手で抽出 • 文章表現辞書を作成 文章表現を含む文は対応する抽象度と判定