形態素解析器をフルスクラッチで作る話

Twitter Bot をフルスクラッチで作る話 Nakano Masaki 香川高専電気情報工学科 5 年 Wed
1th May, 2019 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 1 / 25 —

Twitter Bot をフルスクラッチで作る話 Nakano Masaki 香川高専電気情報工学科 5 年 Wed
1th May, 2019 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 2 / 25 —

形態素解析器をフルスクラッチで作る話 Nakano Masaki 香川高専電気情報工学科 5 年 Wed 1th May,
2019 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 3 / 25 —

自己紹介と今日の話題中野将生 (なかのまさき) 香川高専電気情報工学科 4 年本題 Twitter
Bot の典型的な実装 bi-gram マルコフモデルの形態素解析器のアルゴリズム高速な Trie 木と Latice 解析の実装形態素解析器をフルスクラッチで作る話 Nakano Masaki — 4 / 25 —

Twitter Bot n つ組 (NoSQL など) オタクツイート分かち書き (
形態素解析) マルコフ連鎖 Twitter API この辺の話をします形態素解析器をフルスクラッチで作る話 Nakano Masaki — 5 / 25 —

文章生成の詳細形態素 n 個で切り出すキョン ! 形態素 ! 形態素解析
形態素解析する解析するわするわよ形態素解析器をフルスクラッチで作る話 Nakano Masaki — 6 / 25 —

文章生成の詳細しりとりをするオススメのうどんうどん食べててなかっ
た EOS BOS 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 7 / 25 —

マルコフ連鎖とは ? 過去と関係なく、現在の状態のみで未来への遷移が決まる離散的な状態を取る A B C D E F
B とC の何方を経由しようとD からの遷移は変わらない Text 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 8 / 25 —

文章生成の詳細文脈を考慮しないしりとりなので、次の n つ組は現在の n つ組の最後の形態素で決まる (マルコフ性) n つ組みの個数は自然数個であり、連続的な値を取らない
(離散的) つまりマルコフ連鎖形態素解析器をフルスクラッチで作る話 Nakano Masaki — 9 / 25 —

必要なもの学習元 Twitter API との通信 3 つ組みを格納する DB 形態素解析器形態素解析器をフルスクラッチで作る話
Nakano Masaki — 10 / 25 —

必要なもの学習元 (オタクなのでツイート数には困らない) Twitter API との通信 (書いている人は多い) 3 つ組みを格納する DB(要求が単純でデータも精々
MB 単位) 形態素解析器 (実は実装できる) → 実装できるのでは ? 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 11 / 25 —

形態素解析器の基本的なアルゴリズム辞書を引きながら候補 (Latice) を列挙する生起コスト (単語の出現しやすさ) と連接コスト (単語の繋がりやすさ) を考慮して最短経路を求める
実際は Latice 構築と探索は並行して行う形態素解析器をフルスクラッチで作る話 Nakano Masaki — 12 / 25 —

形態素解析器の基本的なアルゴリズム BOS 東一般名詞東京固有名詞京固有名詞京都固有名詞
都接尾名詞都一般名詞に格助詞住一般名詞住む自立動詞む一般名詞 EOS 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 13 / 25 —

形態素解析器の基本的なアルゴリズム BOS 東一般名詞東京固有名詞京固有名詞京都固有名詞

Trie 木 Root f i s l h l m
k n o w 魚埋めるフィルム知る形態素解析器をフルスクラッチで作る話 Nakano Masaki — 15 / 25 —

Trie 木キーの長さを、データの数をとする時間計算量は理想的には O() 木構造ではなく二次元配列で実装ヒープを使った単純な木の実装では非常に低速形態素解析器をフルスクラッチで作る話

Trie 木 Root f i s l h l m
k n o w 魚埋めるフィルム知る 1 2 3 4 5 6 7 8 9 10 11 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 17 / 25 —

遷移表状態に一意な ID を振る状態と入力をキーにする遷移先を書き込んだ表を考える表を使い状態と入力から O(1) で遷移すれば高速幸い文字コードは整数値で表現できる形態素解析器をフルスクラッチで作る話

遷移表状態入力 f i s h l m k
n o w 1 2 2 3 5 3 4 4 5 6 7 6 7 8 9 9 10 10 11 11 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 19 / 25 —

問題点スッッカスカメモリの無駄遣い (実際愚直にやると 200 GB くらい必要) 形態素解析器をフルスクラッチで作る話 Nakano Masaki
— 20 / 25 —

解決策遷移表を圧縮する行ごとに少しづつずらして重ね合わせる (BASE) 別の行と混同しないよう親の位置を覚えておく (CHECK) 圧縮は割と適当でもそこそこ詰まる圧縮は工夫しないと追加に O() が必要
形態素解析器をフルスクラッチで作る話 Nakano Masaki — 21 / 25 —

Latice 4 6 7 9 10 11 2 3 5
2 3 4 5 6 7 9 10 11 遷移 BASE ０ 0 0 1 1 1 1 2 1 3 3 7 8 CHECK 形態素解析器をフルスクラッチで作る話 Nakano Masaki — 22 / 25 —

Latice BOS 東一般名詞東京固有名詞京固有名詞京都固有名詞

Latice マルコフ性より過去の形態素は考慮しなくていい部分和問題を解けばコストを計算できる DP で解ける文章長をとすると O( )(本当はちょっと違う) 形態素解析器をフルスクラッチで作る話

ありがとうございました形態素解析器をフルスクラッチで作る話 Nakano Masaki — 25 / 25 —

形態素解析器をフルスクラッチで作る話

形態素解析器をフルスクラッチで作る話

Nakano Masaki

Other Decks in Programming

Featured

Transcript

Twitter Bot をフルスクラッチで作る話 Nakano Masaki 香川高専電気情報工学科 5 年 Wed

Twitter Bot をフルスクラッチで作る話 Nakano Masaki 香川高専電気情報工学科 5 年 Wed