素性の相対性による分布類似度計算

Transcript

1. 素性の相対性による 分布類似度計算 長岡技術科学大学 電気電子情報工学課程 山本研究室 ０７３１０５８６ 朝倉 剛史 １

2. 発表の流れ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ ２

3. 発表の流れ ３ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ

4. 背景 電子文書の増加に伴い、 機械処理の必要性が高まっている。 自動言い換え、テキスト分類などのため、 類似する単語を求めたい。 単語の類似度計算の必要性が高まっている。 ４ １．研究の背景

5. 類似する単語とは？ 類似する単語は意味的に近いことを表す。 例えるならば、『醤油』と『味噌』は、調味料 の仲間であり、意味的に近い。 →類似度は高い しかし、『醤油』と『石』は、全く意味が違うも のであり、意味的に遠い。 →類似度は低い ５ １．研究の背景

6. 類似度計算 シソーラスを用いた手法 単語の関係を人手で構築したシソーラス から、単語同士の関係を導き出す。 コーパスを用いた手法 単語のコーパスでの使われ方を比較して、 自動で単語同士の関係を導き出す。 →近年コーパスを用いた手法に注目 ⇒分布類似度 ６

   １．研究の背景

7. 発表の流れ ７ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ

8. 分布類似度とは？ 「類似した文脈を持つ語は似ている」 という『分布仮説』に基づいた考え方。 単語が出現する文脈がどれだけ似ている かで、単語の類似度を計算する。 文脈を表す要素を素性として使用する → 単語の係り先など ８ ２．分布類似度とは

9. 分布類似度～例１～ ある単語と、その素性が以下の通りとする 『醤油』 「の：香り」「の：原料」「を：製造」・・・ 『味噌』 「の：香り」「の：原料」「を：製造」・・・ →単語の係り先で共通する部分が多い 類似度が高い！ ９ ２．分布類似度とは

10. 分布類似度～例２～ ある単語と、その素性が以下の通りとする 『醤油』 「の：香り」「の：原料」「を：製造」・・・ 『石』 「を:投げる」「を:蹴る」「の:色」・・・ →単語の係り先で共通する部分が少ない 類似度が低い！ １０ ２．分布類似度とは

11. ▪『醤油』 「の：香り」「の：原料」「を：製造」 「の:道」「を：投げる」 ・・・ ▪『味噌』 「の：香り」「の：原料」「を：製造」 「から：行く」「を：投げる」・・・ ▪『石』 「を:投げる」「を:蹴る」「の:色」「の：紙」「を：ゴミ」・・・ 素性の問題

    類似度計算に悪影響を及ぼすものも多い！ →素性選択の必要性 １１ ２．分布類似度とは

12. 発表の流れ １２ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ

13. ▪『醤油』 「の：香り」「の：原料」「を：製造」 「の:道」「を：投げる」 ・・・ ▪『味噌』 「の：香り」「の：原料」「を：製造」 「から：行く」「を：投げる」・・・ ▪『石』 「を:投げる」「を:蹴る」「の:色」「の：紙」「を：ゴミ」・・・ 既存研究の素性選択

    １３ ３．既存研究とその問題 各単語の素性について、単語の特徴を強く 表している要素以外は一律に除外[相澤(08)]。

14. 問題点 ▪『醤油』 「の：香り」「の：原料」「を：製造」 「の:道」「を：投げる」 ・・・ ▪『味噌』 「の：香り」「の：原料」「を：製造」 「から：行く」「を：投げる」・・・ ▪『石』 「を:投げる」「を:蹴る」「の:色」「の：紙」「を：ゴミ」・・・

    単語の特徴を強く表さない要素が共通している場合、 ２単語間の類似度計算に有効であると考える。 →除外されることで精度に影響を与える。 １４ ３．既存研究とその問題

15. 提案手法 比較対象の単語の素性を用いて 相対的に素性を取捨選択する 素性の各要素について、比較対象の単語と 共通している要素に関して、 既存手法：特徴を強く表すかどうか 提案手法：特徴を表す度合いが近いかどうか で取捨選択を行う。 １５ ３．既存研究とその問題

16. 予想される効果 １６ ３．既存研究とその問題 ▪『醤油』 「の：香り」「の：原料」「を：製造」 「の:道」「を：投げる」 ・・・ ▪『味噌』 「の：香り」「の：原料」「を：製造」 「から：行く」「を：投げる」・・・

    ▪『石』 「を:投げる」「を:蹴る」「の:色」「の：紙」「を：ゴミ」・・・ 例えば『醤油』と『味噌』の時は「を：投げる」を 除外しないため、有効な要素を残すことが可能 どちらも特徴を表していないが、 その度合いが近いので有効

17. 予想される効果 ▪『醤油』 「の：香り」「の：原料」「を：製造」 「の:道」「を：投げる」 ・・・ ▪『味噌』 「の：香り」「の：原料」「を：製造」 「から：行く」「を：投げる」・・・ ▪『石』 「を:投げる」「を:蹴る」「の:色」「の：紙」「を：ゴミ」・・・

    例えば『醤油』と『石』の時は「を：投げる」を 除外するため、不要な要素を除外することが可能 ３．既存研究とその問題 １７ 『石』では特徴を強く表しているが、 その度合いが遠いので無効

18. 発表の流れ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ １８

19. 手法の流れ (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性の特徴量を求める (4) 特徴量を考慮した素性選択（←本手 法）

    (5) 関数を用いた類似度計算 １９ ４．提案手法の説明

20. 手法の流れ（１/５） (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性の特徴量を求める (4) 特徴量を考慮した素性選択 (5)

    関数を用いた類似度計算 ２０ ４．提案手法の説明

21. 単語の素性を自動収集 コーパスより、ある単語wとw’が格要素rで繋がっ ている三つ組（w,r,w’） を収集する[Lin98]。 例）「お金,が,必要」 「ＥＵ,に,加盟」 例えば、『お金』の共起要素を「が:必要」とし、全て の単語wについて、共起要素を収集し、素性を作成 する。 ２１

    ４．提案手法の説明

22. 手法の流れ（２/５） (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性に特徴量を求める (4) 特徴量を考慮した素性選択 (5)

    関数を用いた類似度計算 ２２ ４．提案手法の説明

23. 集めた素性の足切り あきらかにノイズと判断されるようなものは、 あらかじめ足切りしておく。 共起要素の出現頻度を用いて、相互情報量 （ＭＩ）が閾値βに満たないものは、除外する。 閾値βは評価セットによって異なり、経験的 に決める[相澤(08)]。 ２３ ４．提案手法の説明

24. 手法の流れ（３/５） (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性の特徴量を求める (4) 特徴量を考慮した素性選択 (5)

    関数を用いた類似度計算 ２４ ４．提案手法の説明

25. 素性の特徴量を求める 特徴量＝共起要素が単語wの特徴を表す度合い 分類語彙表を用いて単語wの類義語集合を作成する。 ▪例：『少年』の類義語 →「子供」「少女」「児童」「女の子」「青少年」 その類義語集合の中で共通する共起要素ほど、特徴 量を高くする[Ｚｈｉｔｏｍｉｒｉｓｋｙ-Ｇｅｆｆｅｔ ａｎｄ Ｄａｇａｎ(09)]。 ２５

    ４．提案手法の説明

26. 特徴量の計算例 『少年』と類義語集合の各語と類似度を求める。 「子供（0.13）」「少女（0.27）」「児童（0.14）」 「女の子（0.14）」「青少年（0.15）」 『少年』の共起要素「を：保護」が、『子供』『少女』『児 童』に含まれる場合、「を：保護」の『少年』における特 徴量は 特徴量＝0.13＋0.27＋0.14＝0.54 単語ごとに、最大値を１として正規化する。 ２６

    ４．提案手法の説明

27. 手法の流れ（４/５） (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性の特徴量を求める (4) 特徴量を考慮した素性選択 (5)

    関数を用いた類似度計算 ２７ ４．提案手法の説明

28. 特徴量を考慮した素性選択 ▪『醤油』 「の：香り（1.0）」「の：原料(0.9)」「を：製造(0.8)」 「の：道（0.4）」「を：投げる(0.1)」・・・ ▪『味噌』 「の：香り（1.0）」「の：原料(0.8)」「を：製造(0.7)」 「から：行く(0.4)」「を：投げる(0.1)」・・・ ２８ ４．提案手法の説明 比較対象の単語の素性と比較する。

    共通している要素について特徴量の差が大きければ 除外し、小さければ除外しない。 特徴量が小さくても差も小さいため除外しない ※数字は特徴量

29. 手法の流れ（５/５） (1) 単語の素性を自動収集 (2) 集めた素性の足切り (3) 素性の特徴量を求める (4) 特徴量を考慮した素性選択 (5)

    関数を用いた類似度計算 ２９ ４．提案手法の説明

30. 関数を用いた類似度計算 素性の重なりを見る関数である以下の関数 を使用する。 これらの関数を相加平均した値を類似度と する[柴田ら(09)]。 ３０ ４．提案手法の説明

31. 発表の流れ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ ３１

32. 実験条件 使用したコーパス 日本経済新聞全記事データーベース １９９０－２００４年度版 使用した単語数 ※共起要素数が20以上 ４０,６７８語 平均共起要素数 １１４．２個（最小２０、最大２０,２０５） ３２

    ５．実験及び考察

33. 評価セットの自動作成 コーパスから「ＡやＢ」という定型表現を収集、 「Ａ：Ｂ」を類義語候補にする[相澤（08）]。 「Ａ：Ｂ」より、分類語彙表を用いて「強」「中」 「弱」「非」類義語ペアを作成し、各800ペアづ つランダムにサンプリングする。 各ペアを「強＋中」「中＋弱」「弱＋非」で組み 合わせ、評価セットとする。 ５．実験及び考察 ３３

34. 評価方法 類似度水準の違う類義語ペアを、 類似度計算した結果で２値分類する。 ｢ 強 ｣ 類 義 語 ペ

    ア 集 合 ｢ 中 ｣ 類 義 語 ペ ア 集 合 判定閾値 類似度高 類似度低 ３４ ５．実験及び考察 類義語ペア 類 似 度 「強」 「中」

35. 実験 実験は３手法を比較した。 （１）柴田らの手法 相互情報量による足切りのみ行い類似度計算 （２）Ｚｈｉｔｏｍｉｒｉｓｋｙ-Ｇｅｆｆｅｔ ａｎｄ Ｄａｇａｎの手法 特徴量を求め、その値で一律に除外 （３）本手法 特徴量を、比較対象と共通部分について値の差

    を見ることで、素性を相対的に取捨選択 ５．実験及び考察 ３５

36. 実験結果 評価セット 柴田ら Z-G & D 本手法 「強＋中」 0.7015 0.7908

    0.7965（+0.0057） 「中＋弱」 0.7474 0.7708 0.7727（+0.0019） 「弱＋非」 0.8383 0.7890 0.8395（+0.0013） すべての評価セットにおいて、比較手法の精度 を上回った。 →有効性を確認 ５．実験及び考察 ３６ ※数値はＦ値

37. 改善例（１/２） 「強＋中」セットを例に挙げる 「強」類義語ペア → 『鉄板：鉄筋』 「中」類義語ペア → 『合成樹脂：セメント』 比較手法では『合成樹脂：セメント』の方が類 似度が高くなってしまった。

    本手法では適正な類似度水準を実現できた。 ５．実験及び考察 ３７

38. 改善例（２/２） 「強」類義語ペア 『鉄板：鉄筋』 類似度 「中」類義語ペア 『合成樹脂：セメント』 類似度 足切り無し 0.1170 0.3375

    柴田ら 0.1031 0.2652 Z-G & D 0.0958 0.1111 本手法 0.2160 0.1430 それぞれの手法における類似度の比較 ５．実験及び考察 ３８

39. 考察（１/３） 類似度が高い水準の評価セット（「強＋ 中」）ほど精度が低く、適性な特徴量の差の 閾値は小さくなった。 →類似度が高い領域の評価セットの方が、 分類が難しい。 →特徴量の度合いが近いものを使用するこ とが有効。 ５．実験及び考察 ３９

40. 考察（２/３） 低頻度ペアは誤りの中に多く分布していた。 →本手法は共起要素を除外するのみであ り、元々含まれなかったが本来あるべき共起 要素をカバーできない。 ⇒超大規模コーパスを用いたり、素性を 補間するような手法が求められる。 ５．実験及び考察 ４０

41. 考察（３/３） 今回用いた特徴量では、精度を維持しながら 削減できる量は、最大約98％に上った。 →類似度計算に必要な素性は非常に限ら れている ５．実験及び考察 ４１

42. 今後の課題 対象とする単語の範囲を広くする。つまり、 低頻度問題や多義性問題に踏み込んだ手 法へと工夫が必要。 ２単語間の素性の共通していない部分にお いては、相対性を用いた素性選択が行えて いない。 →２単語間のみならず、対象の類義語集合 の素性と比べるなどの工夫が求められる。 ５．実験及び考察

    ４２

43. 発表の流れ １．研究の背景 ２．分布類似度とは ３．既存研究とその問題 ４．提案手法の説明 ５．実験及び考察 ６．まとめ ４３

44. まとめ 素性の相対性を考慮した、分布類似度計 算の新しい素性選択手法を提案した。 比較対象の単語の素性と共通する要素に ついて、特徴量の差を考慮した。 既存手法を上回る精度であり、有効性を示 した。 ６．まとめ ４４

45. 発表は以上です。 ありがとうございました。 ４５

46. 評価セットのイメージ

47. 各類義語ペアの例 「強」類義語 「中」類義語 「弱」類義語 「非」類義語 ＪＡＬ：ＮＴＴ ＮＴＴ：銀行 ＮＴＴ：国立大学 ＮＴＴ：導入 ＩＣ：ＬＳＩ

    ＩＣ：太陽電池 ＩＣ：カード ＩＣ：国土庁 アジア：ヨーロッパ アジア：アメリカ アジア：我が国 アジア：システム アニメ：映画 アニメ：紙芝居 アニメ：ＳＦ アニメ：清酒 居酒屋：パブ 居酒屋：コンビニ 居酒屋：駅 居酒屋：地名 関西：四国 関西：アジア 関西：首都圏 関西：事前 生活費：交際費 生活費：物価 生活費：家賃 生活費：東日本 米国：イギリス 米国：アフリカ 米国：フランス人 米国：企業

48. 足切りのための閾値 相互情報量で足切りをする場合、閾値は 経験的に決める。 閾値を変化させなが 足切り後の精度を測る。 各評価セットにおいて、 最適な閾値を求める

49. 本手法の実験結果（１/３） 「強＋中」セットにおける閾値とＦ値の関係。 重みとは特徴量を指す

50. 本手法の実験結果（２/３） 「中＋弱」セットにおける閾値とＦ値の関係。 重みとは特徴量を指す

51. 本手法の実験結果（３/３） 「弱＋非」セットにおける閾値とＦ値の関係。 重みとは特徴量を指す

52. 改善例 「強」類義語 単語（共起要素数）ペア 共通する要素数 類似度 足切り無し 鉄板（112）：鉄筋（96） 15 0.1170 柴田ら

    鉄板（106）：鉄筋（86） 12 0.1031 Z-G & D 鉄板（8）：鉄筋（8） 1 0.0958 本手法 鉄板（26）：鉄筋（21） 6 0.2160 「中」類義語 単語（共起要素数）ペア 共通する要素数 類似度 足切り無し 合成樹脂（156）：セメント（238） 71 0.3375 柴田ら 合成樹脂（120）：セメント（173） 43 0.2652 Z-G & D 合成樹脂（13）：セメント（6） 1 0.1111 本手法 合成樹脂（61）：セメント（40） 8 0.1430