Upgrade to Pro — share decks privately, control downloads, hide ads and more …

我从来没觉得啃生肉开心过:用 Python 打造日语泛读利器

Avatar for John Qing John Qing
September 29, 2025

我从来没觉得啃生肉开心过:用 Python 打造日语泛读利器

和英语不同,日语不会用空格区分单词,再加上单词变形复杂,初学者在刚开始泛读时往往要花费大量时间才能准确判断一句话中想查单词的原型。通过形态素解析器分析文本,我们其实能够获取单词原型,这可以有效提高泛读效率。但是,现有的解析器处理字幕、漫画和 Galgame 等口语化的文本时会出现较为明显的未登录词(Out-of-Vocabulary, OOV)问题。本次分享除了介绍 Python 调用 Sudachi 的方法,还会重点介绍如何解决这个问题。

Avatar for John Qing

John Qing

September 29, 2025
Tweet

More Decks by John Qing

Other Decks in Programming

Transcript

  1. • 卿学童​ • 常用 ID:卿少纳言(@KeiShonagon) • 野生软件工程师(面向 Excel 文档编程)​ •

    业余计算语言学爱好者​ • 忠诚的摇曳露营粉丝(不忠诚的 Go 批) 关于我
  2. 未登录词测试用例 正确的解析结果:[['なん', '何'], ['で', 'で'], ['『', '『'], ['春日影', '春日影'], ['』',

    '』'], ['やっ', '遣る'], ['た', 'た'], ['の', 'の'], ['!', '!'], ['?', '?']] 出处:《BanG Dream! It's MyGO!!!!!》 第七集
  3. 通过词性确定左右连接ID Sudachi ユーザー辞書作成方法:形態素解析の連接判定(左連接) に使用されるIDです。 使用できるIDの種類は、unidic-mecab 2.1.2 の left-id.def を参照してください。 右連接で使用できるIDの種類は、unidic-mecab

    2.1.2 の right- id.def を参照してください。 下载地址:Unidic官网的 unidic-mecab-2.1.2_src.zip 注:点击 unidic-mecab-2.1.2_src.zip 会直接开始下载 [['なん', '何'], ['で', 'で'], ['『', '『'], ['春日', '春日'], ['影', '影'], ['』', '』'], ['やっ', '遣る '], ['た', 'た'], ['の', 'の'], ['!', '!'], ['?', '?']] → [['なんで', 'なんで'], ['『', '『'], ['春日影', ' 春日影'], ['』', '』'], ['やっ', '遣る'], ['た', ' た'], ['の', 'の'], ['!', '!'], ['?', '?']] [['やっ', '遣る'], ['た', 'た']] → [['やった', 'やった']]
  4. 注:SudachiDict 版本为 20250825, 大辞泉数据来自 kotoabnk 2025/09/20 为 292,665 辞典类型 总词条数

    未登录词条数 占比 sudachidict_core 222,463 210,766 72.02% sudachidict_small 887,328 185,328 63.32% sudachidict_full 1,896,042 147,474 50.39% 当前整理进度 3 147474 ≈ 0.002%(五万分之一)
  5. 词性体系的区别 大辞泉 Sudachi 「-と」の形で副詞、「-たる」の形で連体詞 ??? 名詞 名詞 連体詞 連体詞 代名詞

    代名詞 副詞 副詞 動詞五段活用 五段 接続詞 接続詞 動詞口語五段活用、文語四段活用 ??? 感動詞 感動詞 動詞四段活用 文語四段 助動詞 助動詞 動詞上一段活用 文語上一段 格助詞 格助詞 動詞上二段活用 文語上二段 接続助詞 接続助詞 動詞下一段活用 文語下一段 副助詞 副助詞 動詞下二段活用 文語下二段 係助詞 係助詞 動詞カ行変格活用 カ行変格/文語カ行変格 終助詞 終助詞 動詞サ行変格活用 サ行変格/文語サ行変格 間投助詞 ??? 動詞ナ行変格活用 文語ナ行変格 並立助詞 ??? 動詞ラ行変格活用 文語ラ行変格 準体助詞 ??? 動詞特殊活用 ??? (スル)サ行変格活用の動詞となる ??? 形容詞 形容詞-形容詞 接頭語 接頭辞 形容詞ク活用 形容詞-文語形容詞-ク 接尾語 接尾辞 形容詞シク活用 形容詞-文語形容詞-シク 語素 ??? 形容動詞 形状詞 連語 ??? 形容動詞タリ活用 形状詞 枕詞 ??? 形容動詞ナリ活用 形状詞 文語形 ???