B3 ゼミ

Transcript

1. 宮西 由貴 B3 ゼミ ｰ形態素周辺確率を用いた分かち書きの一般化と その応用ｰ
2. BOW(Bag Of Words)  形態素の頻度付集合  形態素解析の応用の一つ  ＢＯＷの応用分野  情報検索  テキストマイニング  文書分類 ｅｔｃ・・・  テキストを数値ベクトルで表現
3. BOWに変更する際の問題点  語の抽出単位の「曖昧性」や「ずれ」  （例）本部長→本部／長？本／部長？  複合語を用いた固有名詞  （例）横浜市役所→横浜/市/役所？横浜/市役所？  解析器自身の不整合  （例）ＣｈａＳｅｎ＋ｉｐａｄｉｃ 成田空港（一語），宮崎／空港（二語）
4. 表記の「ずれ」について  何がダメなのか？  形態素解析を用いた全文検索で漏れができる  （例）「成田」で検索しても「成田空港」は出ない  省略表記のテキスト間類似度が正しく求まらない  （例）京大と京都大学のテキスト間類似度が０  最適な単位とは？  分野によって様々！  工学分野においても統一することは不可能
5. 「ずれ」をなくすには？  形態素という区切りを使わない  １文字＝１単語として分かち書きを行う  再現率が向上する  問題点は・・・  検索ノイズが無視できない  （例）「京都」を検索して「東京都」が見つかる
6. 提案手法（概要）  提案手法の利点  形態素区切り＆一文字区切りの「いいとこ取り」  再現率を上げる＆検索ノイズを抑える  ２つの両極端の立場を単一化  提案手法  一意の解だけでなく 可能な解すべてを使用  連接・単語生起コスト を反映
7. 提案手法  可能すべての解を使用  コストを反映した確率値とともに出力  ＢＯＷは可能な分割方法それぞれの期待値  コストが反映  ノイズが少ない  辞書にマッチする可能な単語すべてが対象  再現率が良い
8. 最小コスト法  形態素解析器には最小コスト法を使用  形態素解析の出力：ｙ = , 1 , 2 , ⋯ ,  各経路ｙについてのコスト = + (, 1 ) || =1 + ( , +1 ) −1 =1 + ,  最小コストの = ∈ [()]
9. マルコフ確率場  確率モデル ; = exp⁡ [−(′) ∙ ] exp⁡ [−(′) ∙ ] ′∈  Θは逆温度定数  ; は全候補Ｙの中でどれだけ出力しやすいか  ; を大きくするｙはコスト最小法の解に  Θが大きいと→最適解を重要視する  Θが小さいと→出力確率Ｐ（ｙ｜ｘ）は均一に
10. 周辺化  形態素列ｙをＢＯＷベクトルに変換するΦ Φ = { 1 , , ⋯ , ( , )} ∈ ℝ  f(ω,y)：系列ｙに単語ωが出現する回数  Lは総単語断り数  入力ｘに対するＦ(ｘ)∈ℝは・・・  全系列ｙ∈Ｙ(ｘ)に対応するΦの期待値を取る  最終的なＢＯＷベクトル＝Ｇ(ｘ；Θ)
11. 周辺化まとめ  全候補の列挙  可能なすべての分割方法を考慮  頻度の一般化  コストを考慮した分割  ノイズの影響が抑えられる  Θによる制御  ユーザがパラメータのバランスをいじれる
12. 動的アルゴリズムでの計算  出力系列の数→指数的に増える  普通に計算してもダメ  Ｆｏｒｗａｒｄ－Ｂａｃｋｗａｒｄ法  動的アルゴリズムの一種  計算量は文の長さのみに依存  効率よく計算が可能