16/55 ⾃然⾔語処理モデルBERT n 2018年10⽉にGoogleから発表された⾃然⾔語処理モデル n 翻訳、⽂書分類、質問応答などのタスクで当時の最⾼スコアを達成 n ⾃然⾔語処理でよく使われている BERT n 新しいモデルが登場 n 前回使ったので慣れている n ドキュメントが充実 なぜBERT? n 今回の実装で参考 n 資料の最後に記載 参考⽂献
28/55 誤字パターンの改良（その１） n 「よく間違えられる単語リスト」を使って⼊れ替え(*) n ひらがなに囲まれている「ない」を削除 n 「っ」を落とす n 「が」「を」などの助詞を⼊れ替える n 助詞を落とす n ひらがなのABをBABにする n ひらがなorカタカナをランダムで１⽂字落とす n 詳細はCEDEC2021の発表資料を参照 以前の誤字パターン（７つ） n (*)の部分と⼊れ替え n 詳細を次で説明 ⽇本語Wikipedia⼊⼒誤りデータセットを導⼊
44/55 ルールベースの⽂章校正機能 n 漢検１級、準１級の漢字を検出 n よく使われる漢字ならOK n 漢字のテーブルを持っておいてマッチしているだけ 難しい漢字の検出 胡 坐 n 補助動詞に漢字が使われていたら検出 n 例︓ちょっと寄って来る 補助動詞の漢字を検出 n ⽂章校正のチェック対象 n ら抜き⾔葉が全部NGではない ら抜き⾔葉を検出
49/55 ら抜き⾔葉を検出（その１） n Webの記事を参考にして実装 n ラ抜き⾔葉判定アルゴリズムを考えてみる （https://blog.mohyo.net/2015/03/1343/） ら抜き⾔葉の検出について調べる n Juman++で形態素解析して代表表記と活⽤形１を利⽤ n あるトークンの代表表記が「れる/れる」 n ⼀つ前のトークンの活⽤形１が「未然形」「カ変動詞来」「⺟⾳動詞」 判定⽅法
51/55 ら抜き⾔葉を検出（その３） n 検出158 正解148 失敗10 n ⾒逃しているケースもある n 誤検出は少ない シナリオ全体でテスト n こんなにたくさん⾷べ（ら）れない n 初⽇の出が⾒（ら）れた n あの⼈が来るとは考え（ら）れない 正しく検出 n 写真撮ってきたから⾒れ︕ n あれ︖あれれれ︖ n 今こそ来たれ︕ 誤検出
cygames
pojiro
sat
yoshikiiida
fullfull
iamshunta
inureyes
akkie76
biwashi
ouchi2501
k1low
hanayo04
sekido
mza
kneath
tammyeverts
lara
quramy
marcduiker
reverentgeek
jrom
bkeepers
paigeccino
malarkey