長岡技術科学大学 自然言語処理研究室 学部3年 守谷歩
派生文法と探索アルゴリズム2019/01/17長岡技術科学大学 自然言語処理研究室学部3年 守谷 歩派生文法とは/「深さ優先探索、幅優先探索、ビームサーチ、グリーディサーチ」
View Slide
派生文法とは動詞の語形変化について
派生文法とは日本語は活用していないといった考えの文法。ひらがなやカタカナを文字単位でなく音素単位で日本語の変化を考える。学校文法では動詞の「書く」の語幹は「書」としているが、派生文法では「kak」を語幹として見て、未然形、連用形、終止形、連体形、仮定形、命令形にしている。学校文法 派生文法未然形 書か・ない Kak-(a)na-I連用形 書き・ます Kak-imas-u終止形 書く Kak-(r)u連体形 書く Kak-(r)u仮定形 書け・ば Kak-eba命令形 書け Kak-e
Kak:書k (r)are:受動・可能・尊厳 (r)u:非完了態語幹 派生接尾辞 終止形、連体形の統語接尾辞派生文法での動詞の形状変化Tabe:食べ (i)mas:丁寧 (i)ta:完了態
探索アルゴリズム探索アルゴリズムの基礎と言語処理への展開
幅優先探索ノードの深さが同じものを優先的に探索する探索手法13 25 4910678
ビームサーチB個の仮説からなるビームを使った探索方法ビタビアルゴリズムを行うが格ノードでB個の仮説しか展開しないBがすべての仮説を包括するばあい幅優先探索と同じになる。
ビームサーチ例 「彼 だけ が 走った 」で考える B=2の場合 名詞動詞前置詞彼 だけ が 走った後置詞・・・名詞動詞前置詞後置詞・・・名詞動詞前置詞後置詞・・・名詞動詞前置詞後置詞・・・
ビームサーチ例 「彼 だけ が 走った 」で考える B=2の場合 名詞動詞前置詞彼後置詞・・・1文字目が彼である点数Score[“1 名詞”] =−(名詞|)+ -logP(彼|名詞)Score[“1 動詞”] =−(動詞|)+ -logP(彼|動詞)Score[“1 前置詞”] =−(名詞|)+ -logP(彼|前置詞)Score[“1 後置詞”] =−(名詞|)+ -logP(彼|後置詞)この2つのスコアがいいっぽい
ビームサーチ例 「彼 だけ が 走った 」で考える B=2の場合名詞動詞前置詞彼後置詞・・・2文字目が「だけ」である点数Score[“2 名詞”] = min(Score[“1 名詞”] + -logP(名詞|名詞) + -log P(だけ|名詞),Score[“1 動詞”] + -logP(名詞|動詞) + -log P(だけ|名詞),Score[“1 前置詞”] + -logP(名詞|前置詞) + -log P(だけ|名詞),Score[“1 後置詞”] + -logP(名詞|後置詞) + -log P(だけ|名詞),・・・)Score[“2 動詞”] =min(・・・名詞動詞前置詞だけ後置詞・・・
深さ優先探索ノードを進める深さまで進み、最大の深さになったら1つ戻りまた探索を始める手法18 26 3579104
グリーディサーチあるノードの深さでの点数が一番大きい仮説だけを選択していく手法ノード深さを考えずに点数が大きい仮説を探索することで深さ優先探索と同じような処理を行うことができる。
グリーディサーチ例 「彼 だけ が 走った 」で考える 名詞動詞前置詞彼 だけ が 走った後置詞・・・名詞動詞前置詞後置詞・・・名詞動詞前置詞後置詞・・・名詞動詞前置詞後置詞・・・
グリーディサーチ例 「彼 だけ が 走った 」で考える 名詞動詞前置詞彼後置詞・・・1文字目が彼である点数Score[“1 名詞”] =−(名詞|)+ -logP(彼|名詞)Score[“1 動詞”] =−(動詞|)+ -logP(彼|動詞)Score[“1 前置詞”] =−(名詞|)+ -logP(彼|前置詞)Score[“1 後置詞”] =−(名詞|)+ -logP(彼|後置詞)このスコアがいいっぽい
グリーディサーチ例 「彼 だけ が 走った 」で考える名詞動詞前置詞彼後置詞・・・2文字目が「だけ」である点数Score[“2 名詞”] =Score[“1 名詞”] + -logP(名詞|名詞) + -log P(だけ|名詞)名詞動詞前置詞だけ後置詞・・・Score[“2 動詞”] =Score[“1 動詞”] + -logP(動詞|名詞) + -log P(だけ|動詞)Score[“2前置詞”] =Score[“1 前置詞”] + -logP(前置詞|名詞) + -log P(だけ|前置詞)Score[“2 後置詞”] =Score[“1後置詞”] + -logP(後置詞|名詞) + -log P(だけ|後置詞)このスコアがいいっぽい