Transcript
adjectives and verbs. It is generally assumed that adjectives signify properties or tates of people or objects, and while verbs signify observable actions or changes. However, there are verbs that signify properties, such as “༏ΕΔ (to excel)”, and emotions, such as “Ή͔ͭ͘ (to get frustrated)”. Therefore, POS differs from semantic classification for Japanese predicates. Nakayama and Yamamoto [1] proposed that predicates should be classified according to sense and, accordingly, they defined four semantic types: action, change, emotion, and modification. They then annotated all possible types that could relate to each verb in the IPADIC. Verbs that have am- biguity of sense can be annotated multiple types. In this case, one of the annotated types can be determined from the context (Example 1). In this study, we constructe a semantic type disambiguator, that determines verb type from context based on Nakayama and Yamamoto’s classification. Specifically, we constructed this disambiguator using a support vector machine (SVM) by building feature vectors. We used semantic categories of noun and results of morphological analysis for the feature vectors. We then achieved a 69.9% accuracy rate for newspaper articles using 10-fold cross-validation. The disambiguator will be available to be public. action: Expressions that signify objectively observable motion and in which the state does not change before and after the motion. e.g.) ӭ͙ (to swim), ৯Δ (to eat) change: Expressions that signify a state as a result of a motion and in which the state after the motion differs from the state before the motion. e.g.) ס͘ (to dry), ࢮ͵ (to die) emotion: Expressions that signify the operation of sense organ, such as eyes, ears, and skin, or mental actions. e.g.) ݟ͑Δ (to see), ײ͡Δ (to feel) modification: Expressions that signify a property, shape, being, or relation. e.g.) ༏ΕΔ (to excel), ҟͳΔ (to differ) [1] T. Nakayama and K. Yamamoto. “New Semantic Types for Predicates” , In Proceedings of the 17th Annual Meeting of the Association for Natural Language Processing, pp. 560-563, 2011. (in Japanese) A verb “ຬͨ͢” has both sense of “to fill” and “to satisfy” in English. “ίοϓʹਫΛຬͨ͢ (to fill a glass)” → action “݅Λຬͨ͢ (to satisfy a condition)” → modification Definitions of Four Semantic Types Example 1. Smantic type disambiguation
背景： 形態素解析とは、文を形態素に分割し品詞を付与する解析 であり、日本語教育学では語彙リストの作成のためなどに利 用されている。しかし、日本語教育学分野の方が既存の解 析器を使用するにはいくつかの問題がある。今回は ①形態素の区切りに関する問題 ②使いやすさに関する問題 の2つの問題点を挙げる。 ①は、形態素の区切りが細かすぎて、日本語教育学の分野 に適応しないという問題である。②は、解析にコマンドプロン プトを使うために起きる、マウス操作ができない・視覚的に分 かり辛いなどの問題である。 目的： 多くの人に簡単に形態素解析器を使用してもらうため、 (1)日本語教育学の分野に合った形態素の区切りをする (2)解析はキーボードとマウス操作のみで行うことができる 形態素解析器の作成を行う。 仕様： 入力はテキストファイルのみを受け付け、出力はCSVファイ ル(excelなどで開けるファイル)のみを使用する。現在の連語 リストには、「日本語文型辞典」および「機能表現辞書」つつじ の見出し語が入っている。 また、形態素解析部分も自作し、配布時に解析用の辞書以 外はすべてまとめてインストールできるようにした。 形態素解析 連語処理 解析用辞書 連語リスト 入力 ファイル (テキスト) 出力 ファイル (CSV) G U I 昨年には ～ 昨年:名詞 副詞可能 に:助詞 格助詞 一般 は:助詞 係助詞 昨年:名詞 副詞可能 には:連語
ߦ͖ํ Γ͑ ྉۚ ૹܴ ҿ৯ళ ҙຯ ૬ ۭߓͷ̋̋ ̋̋ΛௐΔ ೖྗจɿۭߓͷΞΫηεΛௐΔ ग़ྗจɿۭߓͷߦ͖ํΛௐΔ ˣ ߦ͖ํ Γ͑ ྉۚ ݴީิʲఏҊख๏ʳ ೖྗจ ݴީิʲैདྷख๏ʳ േۚܐɺաྉɺʜ ʙສԁҎԼͷേۚʹॲ͢Δ ɺՊྉɺʜ ෛՙɺετϨεɺʜ ࠊͷෛ୲Λܰݮ͢Δ අ༻ɺܦඅɺʜ ఏҊख๏ ʮΞΫηεʯͱ ໊֤ࢺͷจ຺ͷ ྨࣅ͕ߴ͍ॱ ೖྗจ຺Λ ߟྀͨ͠ ݴ͕Ͱ͖Δ
۟ ର༁ίʔύε ۟ˠ۟ ༰ޠݴࣙॻʢ༻ݴݴࣙॻʣ ༻ݴ ਓख ޠˠ۟ ༰ޠݴࣙॻʢී௨໊ࢺݴࣙॻʣ ໊ࢺ ຊޠ8PSE/FUಉٛޠσʔλϕʔε ໊ࢺ ݴޠࢿݯ͓Αͼਓख ޠˠޠ ಈࢺؚҙؔ%#ʢ/USJWɿྨࣅɾ্ҐԼҐؔʣ ಈࢺ ؚҙείΞܭࢉ ͓Αͼਓख ಈࢺؚҙؔ%#ʢ5SJWɿจࣈ্แؚؔʹ͋Δʣ جຊతҙຯؔͷࣄྫϕʔεʢུهରʣ ໊ࢺ จ຺ྨࣅ ͓Αͼਓख جຊతҙຯؔͷࣄྫϕʔεʢҟܗಉٛޠରʣ جຊతҙຯؔͷࣄྫϕʔεʢҟදهରʣ 11%#+BQBOFTF ༻ݴݴࣙॻ ී௨໊ࢺݴࣙॻ 8PSE/FUಉٛޠ%# ಈࢺؚҙ%#ʢ/USJWʣ ಈࢺؚҙ%#ʢ5SJWʣ ུهର ҟܗಉٛޠର ҟදهର ৗʹݴՄೳ จ຺ʹΑͬͯݴՄೳ ৗʹݴෆՄೳ 11%#+BQBOFTF ༻ݴݴࣙॻ ී௨໊ࢺݴࣙॻ 8PSE/FUಉٛޠ%# ಈࢺؚҙ%#ʢ/USJWʣ ಈࢺؚҙ%#ʢ5SJWʣ ུهର ҟܗಉٛޠର ҟදهର ਖ਼ղ
あった。 保健証券等に記載の自動車をいいます。 保健証券等 記載 自動車 いい 入力文 内容語の抽出 基礎書類 対応文：保険証券等に記載の自動車をいいます。 内容語：保険証券等 記載 自動車 いい 入力文の内容語を 基に対応文を抽出 対応文の内容語を 基に誤りを検出 保健証券等に記載の自動車をいいます。
ߦ͖ํ Γ͑ ྉۚ ૹܴ ҿ৯ళ ҙຯ ૬ ۭߓͷ̋̋ ̋̋ΛௐΔ ೖྗจɿۭߓͷΞΫηεΛௐΔ ग़ྗจɿۭߓͷߦ͖ํΛௐΔ ˣ ߦ͖ํ Γ͑ ྉۚ ೖྗจ ग़ྗจ ɹɹΦʔφʔͷঝೝ͕ඞཁʹͳΔ ɹɹΦʔφʔͷڐՄ͕ඞཁʹͳΔ ɹɹॏཁͳ՝ͱͯ͠औΓΜͰ͍Δ ɹɹॏཁͳͱͯ͠औΓΜͰ͍Δ ɹɹྑ৺తͳྉۚΛఏڙ͢Δ ɹɹྑ৺తͳՁ֨Λఏڙ͢Δ ݴͷྫ ఏҊख๏ ʮΞΫηεʯͱ ໊֤ࢺͷจ຺ͷ ྨࣅ͕ߴ͍ॱ
1 ϕʔεϥΠϯ 2 ఏҊख๏ ϕʔεϥΠϯ 1 ϕʔ ʹ-ͳΔ ʹ-ͳΔ Λ-ੜ͖ൈ͘ ͕-அ ͕ ʹ-͋Δ ʹ-͋Δ Ͱ-ى͜Δ ʹ-ؔ࿈ ʹ Λ-ੜ͖ൈ͘ Λ-ੜ͖ൈ͘ ʹ-ଘࡏ Λ-Δ Λ Λ-ม͑Δ Λ-ม͑Δ ʹ-ΊΔ ʹ-໘͢ ʹ ʹ-͍Δ ʹ-͍Δ ʹ-ඞཁ Λ-͏ Λ Ͱ-ى͜Δ Ͱ-ى͜Δ ʹ-ૹΓग़͢ Λ-ڬΉ Λ ʹ-ଘࡏ ʹ-ଘࡏ ͷ-ʹཱͭ Λ-ਐ Λ ʹ-ΊΔ ʹ-ΊΔ ʹ-ཱͭ Λ-ར༻ Λ ʹ-ग़Δ ʹ-ग़Δ ʹ-ߩݙ ͔Β-ग़ೖΓ ͔Β ʹ-ඞཁ ʹ-ඞཁ Λ-ಈ͔͢ ʹ-͋Δ ʹ ϥΠϯͱൺֱͯ͠ߴ͍ਫ਼ΛऔΔ͜ͱ͕ࣔ͞Εͨɽಛ ʹ Jaccard Λ༻͍ͨ߹ʹ࠷ߴͷਫ਼Λग़͍ͯ͠ Δɽ͜ͷ͜ͱ͔ΒɼఏҊख๏ͷํ໊͕ࢺʹରͯ͠ΑΓ ৗࣝͱͯ͠૬Ԡ͍͠༻ݴΛ༩ग़དྷ͍ͯΔ͜ͱ͕֬ೝ Ͱ͖ͨɽ͜ͷ݁Ռɼຊख๏໊ࢺʹର͢Δৗࣝू߹ ΛूΊΒΕΔ͚ͩͰͳ͘ɼྨࣅܭࢉख๏ͱͯ͠ ༗༻Ͱ͋Δ͜ͱΛ͍ࣔͯ͠Δɽ ද 2: ໊ࢺಉ࢜ͷྨࣅͷධՁ݁Ռ Jac Simp WJac ϕʔεϥΠϯ 1 ave 0.443 0.326 0.378 max 0.451 0.335 0.376 ϕʔεϥΠϯ 2 ave 0.480 0.442 0.371 max 0.481 0.446 0.364 ఏҊख๏ ave 0.607 0.499 0.582 max 0.591 0.461 0.558 ༻ͨ͠ݴޠ ʲ1ʳ നҪ ་ɼେࢁ ຊޠޠኮେܥ no.106ɼpp.47 ʲ2ʳ ౻ ɼլ ࢿݯڠձɽ ʲ3ʳ ౻ ɼদຊ Γड͚ղੳ”ɼ ࢀߟจݙ [1] K. Ahrens, S.F tual metaphors: pora driven ma ACL 2003 work Vol. 14, pp. 36–4 tics, 2003. [2] M. Hagiwara, Y study on effectiv 日本語Nグラム中で出現頻度上位90％を占める1,617個の名詞について，正解セット の相関を求める * ベースライン1：用言の削除を行わない手法 * ベースライン2：PMIスコアがβ＝0以下の用言を削除 正解セットの類似度計算式は右下の通り 2. ໊ࢺ a ͱ໊ࢺ b ͕ྨࣅ͓͠Γɼ໊͔ͭࢺ b ͱ໊ࢺ c ྨࣅ͍ͯ͠Δ߹ɼ໊ࢺ a ͱ໊ࢺ c ·ͨྨࣅͨ͠ ໊ࢺͰ͋Δɽ Ծઆ (1) ΑΓɼ໊ࢺಉ࢜ͷྨࣅͦͷ໊ࢺಉ࢜ͷ ࣋ͭ༻ݴू߹ͷྨࣅͰଌΕΔ͜ͱʹͳΔɽߋʹɼ Γड͚ղੳޡΓʹΑͬͯ༩͞Εͨසͷ༻ݴʹ ΑΔӨڹΛ͑ΔͨΊʹɼղੳରͱͳΔ໊ࢺಉ͕࢜ ࣋ͭڞ௨ͨ͠༻ݴू߹ͷ͏ͪɼͦΕͧΕʹ͓͍ͯ࠷ max sim(wi, wj) = max 2d(wi,x, wj,y) d(wi,x)d(wj,y) (3) ͜͜Ͱ d(wi ) ͱɼ͔ࠜΒ wi ·Ͱͷਂ͞ɼd(wi , wj ) ͱɼ͔ࠜΒ໊ࢺ wi ͱ໊ࢺ wj ͕ڞ༗͢Δ্Ґ֓೦· Ͱͷਂ͞Λද͍ͯ͠Δɽ໊ࢺ wi ͱ໊ࢺ wj ͕ྨࣅͨ͠ ֓೦Λ͍࣋ͬͯΔ߹ɼ྆ sim ؔͷߴ͘ͳΔɽ 6.1 ൺֱख๏ ͱͷྨࣅू߹ SIMj ͷྨࣅߴ͘ͳΔɽ Ҏ্ͷߟ͑ํ͔Βɼൺֱ͢Δ 2 ͭͷ໊ࢺͱͦͷଞͷ ໊ࢺू߹ͱͷྨࣅΛܭࢉ͠ɼ྆ऀͷྨࣅू߹ͷ૬ ؔΛٻΊɼ͜ͷ૬ؔΛ྆ऀͷྨࣅͱ͢Δɽ 6 ධՁ ࡞໊ͨ͠ࢺͷৗࣝࣝϕʔεʹ͍ͭͯɼ໊ࢺʹର ͠ਖ਼͍͠ৗ͕ࣝ༩͞Εɼ໊ࢺಉ࢜ͷؔΛਖ਼͘͠ܭ ࢉͰ͖͍ͯΔ͔ධՁ͢ΔɽຊݚڀͰɼධՁηοτͱ ͯ͠ຊޠޠኮେܥதͰ “໊ࢺ-۩ମ” ʹϥϕϧ͚͞ Εɼߋʹຊޠ N-gram தͰग़ݱසͷ্Ґ 90 ˋΛ ΊΔ 1,617 ݸͷ໊ࢺΛ༻͍ͯɼධՁηοτͱਖ਼ղηο τʹ͓͚Δ໊֤ࢺؒͷྨࣅू߹ͷ૬ؔΛٻΊΔɽ ਖ਼ղηοτͱͯ͠ɼຊޠޠኮେܥதʹ͓͚Δ໊ࢺؒ ͷڑΛܭࢉͨ͠ɽ֓೦ x ∈ X Λ໊࣋ͭࢺ wi ͱɼ֓ ೦ y ∈ Y Λ໊࣋ͭࢺ wj ͷྨࣅҎԼͷࣜͰܭࢉ͞ ΕΔɽ ave sim(wi, wj) = 1 |XY | x∈X,y∈Y 2d(wi,x, wj,y) d(wi,x )d(wj,y ) (2) 類似度計算の評価 概念として適切な名詞の選定 日本語語彙大系中で “名詞-‐具体”でラベル付 けされている名詞12,042 語 常識として適切な用言の選定 0 10000 20000 30000 40000 0 5000 10000 係り元となる 概念の数が多い ＝削除用言 用言の係り元となる概念の数 用 言 異 数 特定の概念に対し高頻度で係る用言は，その 概念の常識である可能性が高いが，しかしそ の用言が多くの名詞に対し係る汎用的な用言 であった場合，常識として不適切とみなされ 削除される．ある用言がある概念にとって常 識か否かは，その概念に係る用言数に依存 する（下図参照）． ． 係り元となる概念の数が多い場合，特徴的な 出現分布になることを利用し，統計的情報を 用いて削除用言数を自動的に決定した（下 式） ༻ݮͷมԽ Fig. 4 Emergence distribution in the top N predicates ݁ՌΛਤ 5 ʹࣔ͢ɽN=1,000ʙ20,000 ͷؒʹ͓͍ͯ আ༻ݮྦྷతʹมԽ͠ɼN ͕ 20,000 Λ͑ͨ ஈ֊Ͱ΄ͱΜͲมԽ͠ͳ͘ͳ͍ͬͯΔ͜ͱ͕͔Δɽ ਤ 5 ଟ͘ͷ༻ݴͷΓݩͱͳΔ໊ࢺ্Ґ N ݅ʹ͓͚Δ আ༻ݴͷมԽ Fig. 5 The number of deleting predicates changes from N equals 1,000 to 70,000 ͜ͷ݁Ռ͔Βɼ໊֤ࢺʹ͓͚Δআ༻ݮΛܾఆ͢Δɽ N ΛมԽͤͨ͞߹ͷআ༻ݴͷมԽ͔Βۙࣅۂ ઢΛٻΊɼN=1,000ʙ20,000 ͷؒʹ͓͍ͯۙࣅۂ ઢͷ͔ࣜΒআ༻ݴΛܾఆ͢ΔʢখҎԼΓࣺ ͯʣ ɽআ༻ݴΛٻΊΔࣜΛҎԼʹࣔ͢ɽ y = 13135.0 × x−0.583 (1) ʹ-ͳΔɼ͕-͋ΔɼΛ-ݟΔɼΛ-දࣔɼͱ-ͳΔɼΛ-୳͢ɼΛ-ೖ ྗɼʹ-͋ΔɼΛ-༻ɼΛ-ՃɼΛ-ݕࡧɼʹ-ՃɼΛ-࣋ͭɼ Λ-ԡ͢ɼΛ-͏ɼʹ-ߦ͘ɼΛ-հɼ-¡/(˞Γड͚ղੳΤ ϥʔ), Λ-ొɼʹ-Δɼͷ- ͋ΔɼΛ-બɼΛ-ೖΕΔɼ͕- ͍ΔɼΛ-ॻ͘ɼʹ-ೖΕΔɼͰ-୳͢ɼ͕- ߴ͍ɼΛ-ಡΉɼΛ-࡞ Δɼʹ-ొɼΛ-͚ͭΔɼ͕-දࣔɼʹ-ೖΔɼΛ-ؚΉɼ͕-ग़Δɼ ͕-ͳΔɼΛ-ങ͏ɼͰ-ݕࡧɼΛ-ܝࡌ ਤ 6 ͯ͢ͷ໊ࢺʹର͢Δআ༻ݴ (ڞى͢Δ໊ࢺͷҟ ͳΓ͕ଟ͍ॱ) Fig. 6 The deleted predicates for all nouns ͬͯग़ݱ͢Δස͕ߴ͍΄Ͳɼͦͷ໊ࢺͷৗࣝͱ͠ ͯదͳ༻ݴͰ͋Δͱߟ͑ΒΕΔɽ 5. ֤֓೦ಉ࢜ͷྨࣅܭࢉ ৗࣝࣝϕʔεΛߏங͢ΔͨΊʹɼ֫ಘͨ͠ৗࣝΛ ༻໊͍ͯࢺʢ=ৗࣝ༩ͷରͱͳΔ֓೦ʣؒͷҙຯ తؔΛௐࠪ͢Δɽզʑ֓೦ؒʹݱΕΔੑ࣭ͱͯ͠ ҎԼͷ 2 ͭͷԾઆΛཱͯͨɽ ʢ 1 ʣ ໊ࢺରʹ༩͞ΕΔৗࣝू߹͕ྨࣅ͍ͯͨ͠ ߹ɼͦͷ໊ࢺରྨࣅͨ֓͠೦Λ࣋ͭɽ ʢ 2 ʣ ໊ࢺ a ͱ໊ࢺ b ͕ྨࣅ͓͠Γɼ໊͔ͭࢺ b ͱ ໊ࢺ c ྨࣅ͍ͯ͠Δ߹ɼ໊ࢺ a ͱ໊ࢺ c ·ͨ ྨࣅ໊ͨ͠ࢺʢ=֓೦ʣͰ͋Δɽ Ծઆ (1) ΑΓɼ֓೦ಉ࢜ͷྨࣅͦͷ֓೦ಉ࢜ͷ ࣋ͭ༻ݴू߹ͷྨࣅͰଌΕΔ͜ͱʹͳΔɽߋʹɼ 提案手法はベースラインと 比較して軒並み高い精度 → スコア関数によらず高 い精度が得られる → 一般的な類似度計算 手法として有用である． 概念間の類似度計算には， Jaccarad係数（Jac），Simpson係 数（Simp），重み付きJaccard係 数（WJac）を用いた． 類似度計算におけるノイズを抑えるために，解析対象とな る概念同士が持つ共通した常識集合のうち，それぞれにお いて最も頻度の低い用言以下の用言集合を削除する. その後，概念同士が類似している場合，両者の他概念との 類似度群が相関を持つことを利用し，両者の相関を類似度 として計算する． ද 1: ໊ࢺʹରͯ͠༩͞ΕΔ༻ݴͷҧ͍ (είΞॱ্Ґ 10 ݅) ໊ࢺɿੈͷத ໊ࢺɿಓ࿏ ϕʔεϥΠϯ 1 ϕʔεϥΠϯ 2 ఏҊख๏ ϕʔεϥΠϯ 1 ϕʔεϥΠϯ 2 ఏҊख๏ ʹ-ͳΔ ʹ-ͳΔ Λ-ੜ͖ൈ͘ ͕-அ ͕-அ ͕-அ ʹ-͋Δ ʹ-͋Δ Ͱ-ى͜Δ ʹ-ؔ࿈ ʹ-ؔ࿈ Λ-Δ Λ-ੜ͖ൈ͘ Λ-ੜ͖ൈ͘ ʹ-ଘࡏ Λ-Δ Λ-Δ ʹ-໘͢ Λ-ม͑Δ Λ-ม͑Δ ʹ-ΊΔ ʹ-໘͢ ʹ-໘͢ Λ-ڬΉ ʹ-͍Δ ʹ-͍Δ ʹ-ඞཁ Λ-͏ Λ-͏ Λ-ਐ Ͱ-ى͜Δ Ͱ-ى͜Δ ʹ-ૹΓग़͢ Λ-ڬΉ Λ-ڬΉ ͔Β-ग़ೖΓ ʹ-ଘࡏ ʹ-ଘࡏ ͷ-ʹཱͭ Λ-ਐ Λ-ਐ ʹ-͢ ʹ-ΊΔ ʹ-ΊΔ ʹ-ཱͭ Λ-ར༻ Λ-ར༻ Λ-ԣஅ ʹ-ग़Δ ʹ-ग़Δ ʹ-ߩݙ ͔Β-ग़ೖΓ ͔Β-ग़ೖΓ Λ-Δ ʹ-ඞཁ ʹ-ඞཁ Λ-ಈ͔͢ ʹ-͋Δ ʹ-͢ ͕-උ ϥΠϯͱൺֱͯ͠ߴ͍ਫ਼ΛऔΔ͜ͱ͕ࣔ͞Εͨɽಛ ʹ Jaccard Λ༻͍ͨ߹ʹ࠷ߴͷਫ਼Λग़͍ͯ͠ Δɽ͜ͷ͜ͱ͔ΒɼఏҊख๏ͷํ໊͕ࢺʹରͯ͠ΑΓ ৗࣝͱͯ͠૬Ԡ͍͠༻ݴΛ༩ग़དྷ͍ͯΔ͜ͱ͕֬ೝ Ͱ͖ͨɽ͜ͷ݁Ռɼຊख๏໊ࢺʹର͢Δৗࣝू߹ ΛूΊΒΕΔ͚ͩͰͳ͘ɼྨࣅܭࢉख๏ͱͯ͠ ༗༻Ͱ͋Δ͜ͱΛ͍ࣔͯ͠Δɽ ද 2: ໊ࢺಉ࢜ͷྨࣅͷධՁ݁Ռ Jac Simp WJac ϕʔεϥΠϯ 1 ave 0.443 0.326 0.378 max 0.451 0.335 0.376 ϕʔεϥΠϯ 2 ave 0.480 0.442 0.371 max 0.481 0.446 0.364 ఏҊख๏ ave 0.607 0.499 0.582 max 0.591 0.461 0.558 ༻ͨ͠ݴޠࢿݯٴͼπʔϧ ʲ1ʳ നҪ ་ɼେࢁ ๕࢙ɼݪ ޛɼٶ࡚ ਖ਼߂ɼԣඌ তஉɼ “ ຊޠޠኮେܥʹ͍ͭͯ”ɼใॲཧݚڀใࠂ.IMɼvol.98ɼ no.106ɼpp.47-52ɼ1998. ʲ2ʳ ౻ ɼլ लਓɼ“Web ຊޠ N άϥϜ ୈҰ൛”ɼݴޠ ࢿݯڠձɽ ʲ3ʳ ౻ ɼদຊ ༟࣏ɼ“νϟϯΩϯάͷஈ֊ద༻ʹΑΔຊޠ Γड͚ղੳ”ɼvol.43ɼno.6ɼpp.1834–1842ɼ2002ɽ ࢀߟจݙ [1] K. Ahrens, S.F. Chung, and C.R. Huang. Concep- tual metaphors: Ontology-based representation and cor- pora driven mapping principles. In Proceedings of the ACL 2003 workshop on Lexicon and figurative language, Vol. 14, pp. 36–42. Association for Computational Linguis- tics, 2003. [2] M. Hagiwara, Y. Ogawa, and K. Toyama. A comparative study on effective context selection for distributional sim- 世の中 1: ໊ࢺʹରͯ͠༩͞ΕΔ༻ݴͷҧ͍ (είΞॱ্Ґ 10 ݅) ໊ࢺɿੈͷத ໊ࢺɿಓ࿏ ϕʔεϥΠϯ 2 ఏҊख๏ ϕʔεϥΠϯ 1 ϕʔεϥΠϯ 2 ఏҊख๏ ʹ-ͳΔ Λ-ੜ͖ൈ͘ ͕-அ ͕-அ ͕-அ ʹ-͋Δ Ͱ-ى͜Δ ʹ-ؔ࿈ ʹ-ؔ࿈ Λ-Δ Λ-ੜ͖ൈ͘ ʹ-ଘࡏ Λ-Δ Λ-Δ ʹ-໘͢ Λ-ม͑Δ ʹ-ΊΔ ʹ-໘͢ ʹ-໘͢ Λ-ڬΉ ʹ-͍Δ ʹ-ඞཁ Λ-͏ Λ-͏ Λ-ਐ Ͱ-ى͜Δ ʹ-ૹΓग़͢ Λ-ڬΉ Λ-ڬΉ ͔Β-ग़ೖΓ ʹ-ଘࡏ ͷ-ʹཱͭ Λ-ਐ Λ-ਐ ʹ-͢ ʹ-ΊΔ ʹ-ཱͭ Λ-ར༻ Λ-ར༻ Λ-ԣஅ ʹ-ग़Δ ʹ-ߩݙ ͔Β-ग़ೖΓ ͔Β-ग़ೖΓ Λ-Δ ʹ-ඞཁ Λ-ಈ͔͢ ʹ-͋Δ ʹ-͢ ͕-උ ΛऔΔ͜ͱ͕ࣔ͞Εͨɽಛ ߹ʹ࠷ߴͷਫ਼Λग़͍ͯ͠ ͷํ໊͕ࢺʹରͯ͠ΑΓ ༩ग़དྷ͍ͯΔ͜ͱ͕֬ೝ ໊ࢺʹର͢Δৗࣝू߹ ɼྨࣅܭࢉख๏ͱͯ͠ Δɽ ࣅͷධՁ݁Ռ Jac Simp WJac .443 0.326 0.378 .451 0.335 0.376 .480 0.442 0.371 .481 0.446 0.364 607 0.499 0.582 591 0.461 0.558 ༻ͨ͠ݴޠࢿݯٴͼπʔϧ ʲ1ʳ നҪ ་ɼେࢁ ๕࢙ɼݪ ޛɼٶ࡚ ਖ਼߂ɼԣඌ তஉɼ “ ຊޠޠኮେܥʹ͍ͭͯ”ɼใॲཧݚڀใࠂ.IMɼvol.98ɼ no.106ɼpp.47-52ɼ1998. ʲ2ʳ ౻ ɼլ लਓɼ“Web ຊޠ N άϥϜ ୈҰ൛”ɼݴޠ ࢿݯڠձɽ ʲ3ʳ ౻ ɼদຊ ༟࣏ɼ“νϟϯΩϯάͷஈ֊ద༻ʹΑΔຊޠ Γड͚ղੳ”ɼvol.43ɼno.6ɼpp.1834–1842ɼ2002ɽ ࢀߟจݙ [1] K. Ahrens, S.F. Chung, and C.R. Huang. Concep- tual metaphors: Ontology-based representation and cor- pora driven mapping principles. In Proceedings of the ACL 2003 workshop on Lexicon and figurative language, Vol. 14, pp. 36–42. Association for Computational Linguis- tics, 2003. [2] M. Hagiwara, Y. Ogawa, and K. Toyama. A comparative study on effective context selection for distributional sim- 道路 概念に対し付与される常識の例 概念間に類似度の付与
100% Ψ Ϯ χ ϔ τ σ Χϥ ϤϦ Ϛσ ܭ ܗ༰ ײ֮ɾײ มԽ ಈ࡞ త എܠ ಈࢺҙຯྨܕͷᐆດੑղফʹ͚ͨ֨ϑϨʔϜใͱͷؔ࿈ௐࠪ ಈࢺͷ ͭͷҙຯྨܕ <> தࢁঊɼࢁຊӳɽ༻ݯͷ৽͍͠ҙຯྨܕʕ࡞༻ੑ༻ݴͱܗঢ়ੑ༻ݴʕɽݴޠॲཧֶձୈ ճ࣍େձൃදจूɼQQɼɽ ಈ࡞ ٬؍తʹ؍ଌऀ͕ଊ͑Δ͜ͱͷग़ དྷΔӡಈͰɼ ͦͷӡಈ͕ऴྃ͢Δͱ ӡಈঢ়ଶʹΓɼ ݁Ռঢ়ଶΛද͞ͳ ͍ಈࢺɽ ྫʣ ӭ͙ɼ ৯Δ มԽ ओମʹݱΕΔӡಈͷ݁Ռঢ়ଶΛද ͢ಈࢺɽ ओମ͕ҙࢤΛ࣋ͨͣ݁Ռͷ ΈΛද͠ɼ ͔ͭӡಈ͕ऴྃͯ͠ӡ ಈલͷঢ়ଶʹΒͳ͍දݱɽ ྫʣ ס͘ɼ ࢮ͵ ײ֮ɾײ ײ֮ثͷ׆ಈɼ ಄৺ͷಈ͖ ͳͲΛද͢ҙɽ ྫʣ ݟ͑Δɼ ײ͡Δ ܗ༰ ਓͷੑ࣭ɼ ܗɼ ଘࡏɼ ؔΛද͢ දݱɽ ྫʣ ༏ΕΔɼ ҟͳΔ தࢁΒ <> ༻ݴͷܗଶతͳྨʢಈࢺͱܗ༰ࢺʣͱҙຯతͳྨ͕Ұக͠ ͍ͯͳ͍ʹର͠ɼҙຯతͳྨ ʮ࡞༻ੑ༻ݴʯ ͱ ʮܗঢ়ੑ༻ݴʯ ΛఏҊɽ ͞ Βʹɼܗଶతͳྨͱҙຯతͳྨͷதؒ֓೦ͱݴ͑Δ ͭͷҙຯྨܕΛ ఆٛɼ*1" ࣙॻதͷಈࢺ දݱʹରͯ͠औΓಘΔҙຯྨܕީิΛਓख Ͱ༩ɽ ಈࢺͷଟٛੑʹΑͬͯෳͷҙຯྨܕ͕༩͞Εͨಈࢺʹରͯ͠ɼจ຺ ใ͔ΒҙຯྨܕͷᐆດੑΛղফ͢Δɽ ɹྫʣ ɹίοϓΛਫͰຬͨ͢ˠಈ࡞ɹ݅Λຬͨ͢ˠܗ༰ ҙຯྨܕͷҧ͍ʹΑͬͯಈࢺͷจதͰͷΘΕํ͕ҟͳΔͱԾఆɼࣗಈਪ ఆͷͨΊͷ༧උௐࠪΛߦ͏ɽ ௐࠪ༰ɾ݁Ռ ֤ද֨ΛऔΔಈࢺͷҙຯྨܕʹ͕͋Γɼ ෳͷҙຯྨܕ͕༩͞Ε ͍ͨͯΔಈࢺ͕จதʹ͓͍ͯͲͷҙຯྨܕʹͳΔ͔Ұ༷ͳ֬Ͱ͋Δ ͱԾఆ͠ɼ ҙຯྨܕ͝ͱʹಈࢺͷΛಉʹἧ͑ΔΑ͏αϯϓϦϯάͨ͠ ্Ͱද֨͝ͱͷҙຯྨܕͷग़ݱසΛௐͨɽ ද֨ͷස ߲ͷछྨ ද֨͝ͱʹͦͷҙຯྨܕΛ࣋ͭಈࢺʹ͔͠औΒΕͳ͍߲Λௐͨɽ ͜ ͷࡍɼ ߲ͷ໊ࢺΛ൚Խ͢ΔͨΊʹɼ ຊޠޠኮେܥͷ໊ࢺҙຯଐੑΛར༻ ͨ͠ɽ ͦͷ݁ՌҎԼͷΑ͏ͳҙຯྨܕݻ༗ͷද֨ͱ໊ࢺҙຯଐੑͷϖ Ξ͕ಘΒΕͨɽ ʢओ؍ʹΑΔҰ෦ൈਮʣ ୯Ұͷҙຯྨܕ͕༩͞Εͨಈࢺ දݱΛରʹɼ ژେֶ֨ϑϨʔϜΛ༻͍֤ͯʑͷҙຯྨܕ͕༩͞Εͨಈࢺ͕औΔද͓֨Αͼ߲Λௐͨɽ ˠΨɾτ֨ΛऔΔಈࢺܗ༰ɼ Ϯɾ ϔɾΧϥɾϤϦ֨ΛऔΔಈࢺಈ ࡞ͷׂ߹͕ߴ͍ɽ มԽͱײ֮ɾײ Λಛ͚Δද֨සใ ͚ͩͰಘΒΕͳ͔ͬͨɽ ྫʣ ಈ࡞ɹΨ֨ நɼ Ϯ֨ ࣄ มԽɹϔ֨ ײ֮ɼ Ϛσ֨ ܗ ײ֮ɾײɹϤϦ֨ ࣄɼ ߦҝ ܗ༰ɹϚσ ಛɼ ϤϦ֨ ܗ ಈ࡞ มԽ ײ֮ɾײ ܗ༰ ҙຯྨܕݻ༗ͷ ද֨ ໊ࢺҙຯଐੑϖΞ
JUMANの形態素辞書の普通名詞約1万7千語について、代 表表記を換言対象として換言を行う 換言先の内容語は2～3語以内に収める 多語義であった場合は複数対とする 語義はJUMANの形態素辞書のカテゴリに従う 換言しない場合がある 「上」：簡単な語にできない、「羅」：意味が分からない 約1万7千語について換言作業を行い、約1万6千語の換言対 を得た 例）「学校 存在」 換言辞書 「学校 いる」 WordNet 「学校 いる」「学校 ある」 「学院 いる」「学院 ある」 「学園 いる」「学園 ある」 元のクエリでとれた文の内容語と拡張してとれた文の内容語で類似度計算を行う 元クエリで獲得した文数：140,604文 換言辞書による拡張で獲得した文数：110,237文 WordNetによる拡張で獲得した文数：110,151文 元クエリの獲得文集合のJaccard係数で段階的に足切りを行い計算した結果 および元クエリでの獲得文数が5文以下のものを除いた場合の計算の結果を右図に示す 5文以下を除いた理由は、獲得文数が少ないクエリの影響を軽減するため 換言辞書は日本語WordNet同義語データベースで拡張を行う場合と同等以上の効果がある カテゴリ 代表表記 換言結果 人工物-金銭 旅費/りょひ 旅にかかる費用 抽象物 クラス/くらす 階級 組織・団体 クラス/くらす 集団 場所-機能 上/うえ 人工物-その他 羅/うすもの 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 ≧0.9 ≧0.8 ≧0.7 ≧0.6 ≧0.5 ≧0.4 ≧0.3 ≧0.2 ≧0.1 ≧0.0 換言辞書 jacc WordNet jacc 換言辞書 simp WordNet simp 6文以上 換言辞書 jacc 6文以上 WordNet jacc 6文以上 換言辞書 simp 6文以上 WordNet simp クエリ拡張による評価 比較対象として日本語WordNet同義語データベース ver.1.0を用いて、換言辞書とWordNetの両方で見出し語となっている普通名詞とサ変名詞を一語づつ組み合わせたもの をクエリとし、毎日新聞2年分の記事から文検索を行う
0VUQVU-PPLGPSUIFlXBZzUPUIFBJSQPSU SFTUBVSBOU NBSLFU QVSQPTF USBOTGFS GFF XBZ CVT USBOTQPSUBUJPO EFMJWFSZ MPPLGPSUIF UPUIFBJSQPSU XBZUSBOTGFSGFF 5PTPSUCZUIFDPOUFYUTJNJMBSJUZ 5PHFOFSBUF BQSPQFS TFOUFODF 5PTFMFDU BTVJUBCMF QBSBQISBTF DPNNPO " # 5IFOVNCFSPGEJ⒎FSFODFTPGUIFDPNNPODPOUFYUCFUXFFO"BOE# EJ⒎FSFODF " 5IFOVNCFSPGEJ⒎FSFODFTPGUIFDPOUFYUJO" 5/$5IFUPUBMOVNCFSPGEJ⒎FSFODFTPGUIFDPOUFYU common(original,candidate)× log( TNC difference(candidate) ) 4JNJMBSJUZ
– ީิޠ͕࣋ͭจ຺ͷछྨ͕গͳ͍ Ծઆ ૬ؔͷڧ͞ ୯ޠͷ ฏқͳޠ΄Ͳස͕ߴ͍ ڧ͍૬ؔͳ͠ ߴසޠฏқ ස͔ͭฏқͳޠଟ͍ ස͕ߴ͍΄Ͳจ຺ͷछྨ͕ଟ͍ ڧ͍૬ؔ͋Γ ස͕ߴ͍΄Ͳ จ຺ͷछྨଟ͍ ฏқͳޠ΄Ͳจ຺ͷछྨ͕ଟ͍ ڧ͍૬ؔͳ͠ จ຺ͷछྨ͕ଟ͍ޠฏқ จ຺͕গͳͯ͘ฏқͳޠଟ͍ ⾼高頻度度語は平易易なのか？
None
jnlp
tosho
smarr
trycycle
yuukit
dropout009
digitalnaturegroup
chokkan
ksakurada
roger_s
tathi
stakaya
hashi0203
lara
aarron
jmmastey
lynnandtonic
stephaniewalter
cromwellryan
carmenhchung
sferik
addyosmani
myddelton
afnizarnur
caitiem20
