Share
Embed
Transcript
15 slides
-
背景と目的 (1/2) 言語表現の縮約 → 同義性の認識によるデータスパースネス問題の改善 → 自然言語処理タスクの性能向上 この他に考えられる言語表現の縮約 → 言い換えによる表層的な多様性の吸収
表記ゆれの吸収 [山本ら 2015] 同義語集合のまとめ上げ [山本ら 2015] 2 先行研究 -
背景と目的 (2/2) 言い換えによる表層的な多様性の吸収 → 日本語の正規化 日本語の正規化に関する研究 文を考慮したサ変動詞への言い換えを考える。 「運動する」「運動を行う」が同義という認識が可能に 係り受け関係の明白化によるテキストマイニング等の性能向上 正規化を指向した機能動詞表現の述部言い換え
[泉ら 2009] • 述部の表層的多様性の正規化 • 文で判断した場合の換言精度 53.0% 3 -
換言の流れ(1/2) 4 雪だるま 規則の適用 換言処理 入力: 全体で議論を行うので、 出力: 全体で議論するので、 直前の語が助詞「で」
「を」を削除し換言 直前の語が助詞「を」 単純な換言は不可 換言規則 -
換言の流れ(2/2) 換言対象 「サ変名詞 + を + 支援動詞の一部」 換言対象の直前の語の品詞に基づき規則を作成 対象文 出力文
私の呟きに兄は苦笑いをする 私の呟きに兄は苦笑いする 直前の語が助詞「で」 「を」を削除し換言 直前の語が助詞「を」 単純な換言は不可 5 -
換言規則 (1/2) 例) ほとんどが歯磨きをしてこないのです。 → ほとんどが歯磨きしてこないのです。 例) 女性と会話をして仲良くなることから~ → 女性と会話して仲良くなることから~
サ変名詞前の単語 規則 助詞「に」「で」「て」「が」「は」「も」「を」 「サ変名詞 + を + 支援動詞」の 「を」を削除して換言 副詞 助動詞「に」「ず」 記号 形容詞「~に」「~で」 なし (文頭) 助詞「と」 助詞「と」の前がサ変名詞でない場合 は上記の方法で換言 6 -
換言規則 (2/2) 助詞「の」は高頻度語であるが、文の構造解析が必要 と考えられる。 換言処理において、助詞「の」が前後の単語をどのような関 係で結んでいるかを解析する必要がある。 例) 電話のやりとりをして → 電話をやりとりしたのか電話でやり取りしたのかが不明
対象文 出力文 心の用意をしておきたいのです。 換言不可 電話のやりとりをする。 換言不可 ピアノの練習をする。 ピアノを練習する。 7 -
対象となる支援動詞 「する」「やる」「行う」を換言対象の支援動詞とする 作成した規則に沿って換言を行い、 その後支援動詞を「する」へ言い換える。 例) 支援動詞 換言前 換言後 する 運動をする
運動する やる 勉強をやる 勉強する 行う 採点を行う 採点する 8 -
換言実験 BCCWJより対象となる文を抽出 雪だるまによって単語解析 「サ変名詞 + を + する」 : 74,962文
「サ変名詞 + を + やる」 : 1,888文 「サ変名詞 + を + 行う」 : 17,796文 換言できた割合と換言の精度を評価 「する」の場合、各規則ごとにランダム100文を 人手で確認し精度を評価 「やる」「行う」は各支援動詞ごとにランダム100文を 人出で確認し精度を評価 9 -
結果 規則 換言対象数 誤り 「~する」 35,221 8/1293 「~行う」 3,821 0/100
「~やる」 646 5/100 • 換言対象のうち40%を換言 • 「~する」では精度99%以上 • 「~やる」「~行う」では 精度95%以上 10 0 10000 20000 30000 40000 50000 60000 70000 80000 90000 「~する」 「~行う」 「~やる」 換言の割合 換言可 換言不可 -
正解例 サ変名詞前 換言前 換言後 助詞「に」 私の呟きに兄は苦笑いをする 私の呟きに兄は苦笑いする 助詞「も」 女房も仕事をしていましたが、 女房も仕事していましたが、
副詞 ちょっと調査をしたのでござい ますが、 ちょっと調査したのでございます が、 記号 「~やる」 ~争っているんですよ、 裁判をやっているんです。 ~争っているんですよ、 裁判しているんです。 助詞「に」 「~行う」 そして、普通にテストを行い、採 点してください。 そして、普通にテストし、採点して ください。 11 -
参考文献等 Kazuhide Yamamoto, Yuki Miyanishi, Kanji Takahashi, Yoshiki Inomata,
Yuki Mikami, and Yuta Sudo. What we need is word, not morpheme; constructing word analyzer for Japanese. Proceedings of the International Conference on Asian Language Processing (IALP 2015), pp. 49-52, Oct 2015. Kazuhide Yamamoto and Kanji Takahashi. Construction of Japanese semantically compatible words resource. Proceedings of the International Conference on Asian Language Processing (IALP 2015), pp. 61-64, Oct 2015. 佐藤理史. 論文表題を言い換える. 情報処理学会. 論文誌, Vol. 40, No. 7, pp. 2937-2945, Jul 1999. 泉朋子,今村賢治,菊井玄一郎,藤田篤,佐藤理史. 正規化を指向した機能動詞表現の述部言い換え. 言語処理学会第15回年次大会発表論文集, pp. 264-267, Mar 2009. 影山太郎.文法と語形成.ひつじ書房, 1993. 14