Share
Embed
i2_B3_日本語のポップアップ辞書アプリに向けて形態素解析システムの設計・実装・運用
これは「言語資源ワークショップ2024」の発表用のPDFです。説明用の Google Colabはここです。
調査したい単語にマウスを当てて辞書を表示することは、リーディングの効率を高める効果があるとされている。しかし、この機能を実現するためには、マウスで当てられているところの文字列を辞書形に変換するという問題を解決する必要がある。Mecabなどの形態素解析システムを利用することは、一つの解決策であるが、そのようなシステムは、ユーザーのコンピュータのパフォーマンスに特定の要件を求めることがあるため、通常はサーバー上で実行されることが多い。しかし、このプロセスの形態素解析は、語学研究や機械翻訳や全文検索のための形態素解析とは異なり、入力された文字列を辞書形に変換することが主な目的である。そのため、形態素解析システムのサイズを縮小し、より効率的な実装が可能である。本稿では、ポップアップ辞書に向けて辞書検索に特化した日本語形態素解析の軽量ライブラリNonJishoKeiの設計・実装・運用について論じる。
John Qing
April 16, 2025
Transcript
19 slides
-
ܗଶૉղੳͱ ʮܗଶૉʯղੳͱݺΜͰ͍·͕͢ɺຊ ޠͷܗଶૉղੳҰൠʹɺೖྗจࣈྻΛ ʮܗଶૉʯͰͳ͘ʮ୯ޠʯʹׂͨ͠ ্Ͱɺͦͷࢺ׆༻ͳͲͷจ๏ػೳΛ ಉఆ͢Δॲཧͱݟͳ͞Ε͍ͯ·͢ɻ % mecab すもももももももものうち すもも
名詞, 一 般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞, 一 般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞, 一 般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞, 非 自立 ,副詞可能,*,*,*,うち,ウチ,ウチ EOS -
ϙοϓΞοϓࣙॻʹ͚ͯͷຊޠܗଶૉղੳͱ ͝൧Λ৯ͨ ˣ ͝൧ʛΛʛ৯ʛͨ ˣ ͝൧ʛΛʛ৯ʛͨ ໊ࢺʛ֨ॿࢺʛಈࢺʛॿ ಈࢺ ˣ ͝൧ʛΛʛ৯ʛͨ
ˣ ৯Δ ͔ͪॻ͖ ࢺλά͚ ׆༻ਪఆ ݪܗਪఆ ͝൧Λ৯ͨ ˣ ͝ʁ൧ʁΛʁ৯ʁʁ ͨʁ ˣ ͝൧Λ৯ͨ ൧Λ৯ͨ Λ৯ͨ ৯ͨ ͨ ͨ ˣ ͝൧ ൧ Λ ৯Δ ͨ ͨ Ͳͷ෦͔Βௐ͍ͨʁ ඇ ࣙ ॻ ܗ ࠷Ұக๏ ࣙ ॻ ܗ ׆༻ਪఆ ݪܗਪఆ ΑΓޮత͑ΔͨΊʹɺௐΔલʹɺ·ͣʮͲ ͷ෦͔Βௐ͍ͨʁʯΛܾΊͳ͚ΕͳΒͳ ͍ɻ ͦͯ͠ɺೖྗ͞Εͨ෦ͰɺॳΊͷʮඇࣙॻܗʯ Λղੳ͢Δ͚ͩͰ͍͍ɺΓͷ෦ղੳ͠ͳ͘ ͍͍ͯɻ -
࠷Ұக๏ͱ ߏจղੳͰͷ࠷Ұக๏ https://taku910.github.io/mecab/ ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ग़ྗͷ݁Ռ ৯
৯৯ ৯ ৯Δ ৯ ৯৯Δ ৯Δ ৯ͳ ৯ͳ৯Δ ৯Δ ৯ͳ͔ º º ͔ º º ͔ͬͨ ͔ͬ º º ͔ͬͨ º º Ϛον͠ͳ͔ͬͨ෦ͷจࣈ͔Βɺݕࡧ͠ଓ͚ΔྲྀΕͰ͋Δɻͦͯ͠ɺ࠷ޙ ·ͰϚον͠ͳ͔ͬͨ෦Λશ෦Ͱೖྗ͢ΔͷͰ͋Δɻ ͕ͩɺࣙॻݕࡧʹ͚ͯͷ࠷Ұக๏ɺ࠷ॳ͔Β࠷ޙ·ͰͷจࣈྻΛݕࡧ ͢Δؒɺͨͱ͑ؔ࿈ؔΛݟ͚ͭͳͯ͘ɺ࣍࠷ॳͷจࣈ͔Β࢝Ίɺݕࡧ Λଓ͚Δͱ͍͏ํ๏Ͱ͋Δɻ ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ग़ྗͷ݁Ռ 我 => 我-我 我 我 我还 => 我还-× × 还 => 还-还 还 还 还没 => 还没-× × 没 => 没-没 没 没 没吃 => 没吃-× × 吃 => 吃-吃 吃 吃饭 饭 => 吃饭-吃饭 吃饭 -
ࣙॻݕࡧʹ͚ͯͷ࠷Ұக๏ ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ৯ ৯৯Δ ৯Δ ৯
৯৯Δ ৯Δ ৯ͳ ৯ͳ৯Δ ৯Δ ৯ͳ͔ ৯ͳ͔৯Δ ৯Δ ৯ͳ͔ͬ ৯ͳ͔ͬ৯Δ ৯Δ ৯ͳ͔ͬͨ ৯ͳ͔ͬͨ৯Δ ৯Δ ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ग़ྗͷ݁Ռ ৯ ৯৯ ৯ ৯Δ ৯ ৯৯Δ ৯Δ ৯ͳ ৯ͳ৯Δ ৯Δ ৯ͳ͔ º º ৯ͳ͔ͬ º º ৯ͳ͔ͬͨ º º ʮ৯ͳ͔ʯɺʮ৯ͳ͔ͬʯɺʮ৯ͳ͔ͬͨʯ͜ͷࡾऀʮ৯ͳ͔ͬͨʯ͔͠ରԠ͠ͳͯ͘௨༻ੑ͕ͳ͍͔Βɺʮ৯ʯͷΑ͏ͳجຊͷ׆༻ܗΛΠ ϯσοΫεʹࡌ͍͍ͤɻͦͯ͠ɺʮ৯ʯͱʮ৯ΔʯΛؔ࿈͔ͨ͠Βɺֶशऀ͕ʮ৯ʯ͚ͩΛೖྗͨ͠ͱ͖ɺमਖ਼ݕࡧͷ݁Ռʹʮ৯Δʯ͋Δ͕ɺ ֶशऀ͕ʮ৯ʯͰ࢝·Δଞͷݴ༿Λௐ͍͔ͨ͠Εͳ͍ɻͭ·Γɺʮ৯ʯͱʮ৯Δʯͱ͍͏Α͏ͳؔ࿈ؔΛࡌͤΔඞཁͳ͍ɻ -
ͳͥߏจղੳͰͷ࠷Ұக๏μϝͳͷ͔ ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ग़ྗͷ݁Ռ
͘ ͖ ͖͘ ͘ ཱ͖ º º ཱ ཱཱ ཱ ཱͭ ཱͨ ཱཱͨͭ ཱͭ ཱͨͳ º º ͳ º º ͳ͔ͬͨ ͳ͔ º º ͳ͔ͬ º º ͳ͔͔ͬͨ º º ୳͢༰ ݕࡧ ؔ࿈ؔ ϓϩηεͷ݁Ռ ग़ྗͷ݁Ռ ཱ͖ͭ ͖ ͖͘ ͘ ཱ͖ º º ཱ͖ͨ ཱཱ͖͖ͨͭ ཱ͖ͭ ཱ͖ͨͳ º º ཱ͖ͨͳ͔ º º ཱ͖ͨͳ͔ͬ º º ཱ͖ͨͳ͔ͬͨ º º ܗଶͰΈΕɺʮཱ͖ͭʯʮ͘ʯͷ࿈༻ܗʮ͖ʯͱʮཱͭʯͱ͍ ͏ೋͭͷܗଶૉͰ݁߹͓ͯ͠Γɺจ๏ͰݟΕʮཱ͖ʯෆશͳͷͰ͋ Δɻ·ͨɺ౷తͳࣙॻͷݟग़͠ͷதͰɺʮཱ͖ʯूΊΒΕ͓ͯΒͣɺ ؔ࿈ؔΛ࡞Δͱख͕͔͔ؒΔͷͰɺ݁ͼ͚Δඞཁੑͳ͍ɻ -
༻ݴ׆༻ʹΑΔඇࣙॻܗ ܗ༰ࢺͷ׆༻ʹΑΔ φܗ༰ࢺ Πܗ༰ࢺ ಈࢺͷ׆༻ʹΑΔ Ұஈ׆༻ ޒஈ׆༻ Χߦม֨׆༻ αߦม֨׆༻ ׆༻ͷنଇʹ
ج͍ͮͯਪఆ ޠܗมԽޙͷޠඌͰ׆༻લͷܗʹਪఆͰ͖ΔͷͰɺ ʮ৯Δɹ৯Δ ͨΔʯͱʮ্͛Δɹ্͛Δ ͋ ͛Δʯ͚ͩͰ͍͍ɻ -
දه๏ͷΏΕʹΑΔඇࣙॻܗ ฏԾ໊ͷΏΕ ؾ͘ɾؾͮ͘ɾ͖ͮ͘ ยԾ໊ͷΏΕ ίϯϐϡʔλɾίϯϐϡʔλʔ ৽ࣈମͱچࣈମͷΏΕ തֶɾതላ ࣈͱ؆ମࣈͷΏΕ ଠ߰ɾଠ阁 ूΊͨ
ඇࣙॻܗͱ ࣙॻܗͷ ϧʔϧΛ ·ͱΊͨ͏͑ ਪఆ ͕ͩɺ׆༻ʹΑΔඇࣙॻ ܗͱҧ͍ɺίϯϐϡλʔ ͕ཧղͰ͖Δϧʔϧʹ· ͱΊΒΕ͔ͳͬͨɻ ͠ɺ͍ͬͯΔࣙॻʹ ʮࣙॻܗʯࡌ͍ͬͯ ͳ͔ͬͨɺͦͷؔ࿈ؔ ͳ͍͍ͯ͘ɻ -
ฏԾ໊ͷΏΕ ޠኮૉ ޠኮૉͷස ॻࣈܗ ॻࣈܗͷස ૯ܭ ͖ͮ͘ʲؾ͘ʳ ؾͮ͘
ؾ͘ ͖ͮ͘ ͖͘ ͍͍͚ͭΔʲݴ͍͚Δʳ ݴ͍͚ͭΔ ͍͍͚ͭΔ ݴ͍͚Δ ͍͍͚Δ ฏԾ໊ৼΓԾ໊ͱૹΓԾ໊ͱͯ͠ΘΕΔ͕ɺ ΘΕͨͱ͖ɺશͯͷࣈΛॻ͖͘Ͱͳ͍ɻྫ͑ɺʮ͘ʯͱʮ͚ΔʯͷʮʯΛॻ͘ҧײΛײ͡ ͤ͞Δ͔͠Εͳ͍ɻ΄͔ʹɺʮֻ͚Δʯͱʮֻ͔Δʯʹͦͷ͕ݟ͑Δɻ ʮʯʹ͍ͭͯࣈΛॻ͘ͷׂ߹ ޠኮૉ ޠኮૉͷස ॻࣈܗ ॻࣈܗͷස ૯ܭ ͜͜Ζ͕͚Δʲ৺ֻ͚Δʳ ৺͕͚Δ ৺ֻ͚Δ ͜͜Ζ͕͚Δ ৺ݒ͚Δ ͻ͔͔ͬΔʲҾֻ͔ͬΔʳ Ҿ͔͔ͬΔ ͻ͔͔ͬΔ Ҿֻ͔ͬΔ ͻֻ͔ͬΔ ʮֻʯʹ͍ͭͯࣈΛॻ͘ͷׂ߹ ޠኮૉͱॻࣈܗͷසʰஜେֶɾࠃཱࠃޠݚڀॴɾ-BHPݴޠݚڀॴʮ/*/+"--81GPS58$ʯʱʹج͍ͮͯ࡞IUUQTUTVLVCBXFCDPSQVTKQ -
ฏԾ໊ͷΏΕ ޠኮૉ ޠኮૉͷස ॻࣈܗ ॻࣈܗͷස ૯ܭ ͨΊ͍͖ʲཷΊଉʳ ͨΊ͍͖
ͨΊଉ ཷΊ͍͖ ཷΊଉ ͯ͢Γʲखḡʳ ͯ͢Γ ख͢Γ खḡ खḡΓ ৗ༻ࣈදʹͳ͍ࣈΑ͘ॻ͔Εͳ͘ɺ͔ΘΓʹରԠͷฏԾ໊Λ ॻ͕͘ݦஶͰ͋Δɻ ޠኮૉ ޠኮૉͷස ॻࣈܗ ॻࣈܗͷස ૯ܭ ͦΑ͔ͥʲඍ෩ʳ ͦΑ͔ͥ ͦΑ෩ ඍ෩ Αͦͷʲ༨ॴऀʳ Αͦͷ Αͦऀ ༨ॴऀ ৗ༻ࣈԻ܇දʹͳ͍ಡΈ͕͋Δ୯ޠʹͦͷ͋Δɻ ৗ༻ࣈԻ܇දʹͳ͍ಡΈΛॻ͘ͷׂ߹ ৗ༻ࣈදʹͳ͍ࣈΛॻ͘ͷׂ߹ -
ยԾ໊ͷΏΕ ԻූͱԻΛ͏ͷׂ߹ 語彙素 語彙素の頻度 書字形 書字形の頻度 総計 メイド【maid】 7,598 メイド
616 66.576% メード 69 10.678% レース 32,063 レエス 1 0.023% レース 4,307 99.977% 語彙素 語彙素の頻度 書字形 書字形の頻度 総計 くま【熊】 13233 くま 354 17.361% 熊 775 40.26% クマ 910 43.562% どきどき 4291 どきどき 240 20.356% ドキドキ 939 79.644% ยԾ໊ͱฏԾ໊Λ͏ͷׂ߹ ຊޠͷΦϊϚτϖΧλΧφͰදه͞ΕΔ͜ͱ͕ൺֱతଟ͍͕ɺ Ұൠతʹɺࠃޠࣙయʹݟग़͠ޠͱͯ͠ूΊΒΕͳ͍ɻ·ͨɺԻΛࣔ ͢͜ͱΛతͱ͢Δ߹ɺֶज़༻ޠͳͲҰൠͱҟͳΔදهʹΑΔޮ ՌΛతͱ͢Δ߹ɺීஈฏԾ໊Ͱॻ͘୯ޠΛΧλΧφͰॻ͘ͷ ͘͠ͳ͍ɻ ԻූͱԻΛ͏όϥόϥͩͶ -
ยԾ໊ͷΏΕ ֎དྷޠͷޠඌʹԻූΛ͚Δ 語彙素 語彙素の頻度 書字形 書字形の頻度 総計 コンピューター 【computer】 50,104
コンピュータ 4,542 78.731% コンピューター 1,227 21.269% エレベーター 【Elevator】 11,749 エレベータ 154 10.984% エレベーター 1,248 89.016% エスカレーター 【Escalator】 3,130 エスカレータ 19 46.341% エスカレーター 22 53.659% +*4ن֨Ͱʮݪޠ ӳޠ ͷޠඌͷԻූΛল͘߹ͷݪଇɺԻҎ্ͷ߹ʹ ɺޠඌʹԻූΛ͚ͳ͍ɻԻҎԼͷ߹ʹɺޠඌʹԻූΛ͚Δɻʯ ͱॻ͔ΕͨɺԼͷࡾͭͷ֎དྷޠͷॻࣈܗͷසͰݟΕɺ࣮ࡍʹ͏ͱ͖ɺଟ͘ ͷਓ͕ͦͷݪଇʹഎ͍͔ͨ͠Εͳ͍ɻ ଞʹ ϰΝΠΦϨοτɾΤϰΝʔΨʔσϯ όΠΦϨοτɾΤϰΝʔΨʔσϯ Ϗϯςʔδ ϰΟϯςʔδ ʜ Γɺ6OJEJDʹࡌ͍ͬͯΔ໊ࢺͷඇࣙॻܗΛͦͷ··Ͱͷ ͍͍ͤɻ -
৽ࣈମͱچࣈମͷΏΕʢະ࣮ʣ ᯈͷཥതላ࠽ӱɺఱሞͷ ɺए໊ͯ͘͠Λދᒗʹ࿈ Ͷɺ͍ͭͰߐೆҗʹิͤΒΕͨ ͕ɺੑɺᗿհɺࣗΒዟΉॴੂΔ ް͘ɺᩮལʹΜͣΔΛܿ͠ͱ ͠ͳ͔ͭͨɻ͍͘͘ͳ͘ Λୀ͍ͨޙɺނࢁɺ䋓ུʹᓤ թ͠ɺਓͱަΛઈͭͯɺͻͨ͢ Βࢻ࡞ʹͭͨɻԼལͱͳͭͯ
͘කΛଏዱͳେͷલʹ۶͢ ΔΑΓɺࢻՈͱͯ͠ͷ໊Λࢮ ޙඦʹҨ͞͏ͱͨ͠ͷͰ͋ Δɻ IUUQTXXXBP[PSBHSKQDBSETDBSEIUNM ᯈͷཥതֶ࠽ӱɺఱๅͷ ɺए໊ͯ͘͠Λދᒗʹ࿈ Ͷɺ͍ͭͰߐೆҗʹิͤΒΕͨ ͕ɺੑɺᗿհɺࣗΒዟΉͱ͜Ζ ੂΔް͘ɺᩮལʹΜͣΔΛܿ ͠ͱ͠ͳ͔ͬͨɻ͍͘͘ͳ ͘Λୀ͍ͨޙɺނࢁɺ䋓ུ ʹؼթ͠ɺਓͱަΛઈͬͯɺͻ ͨ͢Βࢻ࡞ʹͬͨɻԼལͱ ͳͬͯ͘කΛଏѱͳେͷલ ʹ۶͢ΔΑΓɺࢻՈͱͯ͠ͷ ໊ΛࢮޙඦʹҨͦ͏ͱͨ͠ͷ Ͱ͋Δɻ IUUQTXXXBP[PSBHSKQDBSETDBSEIUNM ࣈͱ؆ମࣈͷΏΕ ຊޠͰɺʮᅵʯͱʮԁʥɺʮጯʯͱʮԠʯͳͲͷ৽ چࣈମͷҧ͍͕͋Δɺ͜ΕΒͰࢦఠ͞Ε͓ͯΓʢఱপ ೡ ʣɺҟମࣈʹΑΔܗଶͷҟܗଶͩͱҙ͞Εͨ ͕ɺதࠃޠͷ؆ମࣈͱຊޠͷࣈͷҧ͍͕͋·Γʹ͡ ΒΕ͍ͯͳ͍ɻ ଟ͘ͷதࠃਓຊޠͷࣈͱൟମࣈ΄΅ಉͩ͡ͱҹ Λ༩͑ΔΑ͏ʹͳͬͨɻ 简ɾൟɾ ၰಐɾၲಐɾࣇಐ 竞૪ɾڝᗠɾڝ૪ -
׳༻۟ͷඇࣙॻܗ ʢՆʣͦ͜ ι͔ͭͳ͍ ~ ӕΛ͘ɾ͏ͦΛͭ͘ ઈରʹ෩अͻ͍ͨΑͶʁ ෩अΛҾ͘ɾ͔ͥΛͻ͘ ؾͷར͍ͨ͜ͱΛݴ͑Εʜ ؾ͕ར͘ɾ͖͕͖͘
͜ΕͰࢲॴ͕࣋ۚఈΛ͍ͭͨͷͰ ఈΛಥ͘ɾͦ͜Λ͔ͭ͏ ؾͱ͔Θͳͦ͏ͩ͠ ؾΛ͏ɾ͖Λ͔ͭ͏ ࢲ͕ ͻͱഽ͍Ͱ͋͛Α͏ ҰഽɾҰഽ͙ ͋ ~ ·ͩϐϯͱ͜ͳ͍͔ ϐϯͱདྷΔɾϐϯͱ͘ΔɾͽΜͱདྷΔ ʢͻͱΓʣ͋ͷͱ͖ϛΤͳΜͯுΔΜ͡Όͳ͔ͬͨ ݟ͑ΛுΔɾΈ͑ΛΔ ͠ΐ͏ͳ͍ݴ͍༁Λʜ ༷͕ແ͍ ׂΓͱ͑ͯͯ͞ ͕֮ΊΔɾΊ͕͞ΊΔ ͡Ό͋̎ਓͱ಄͍͍ΜͰ͢Ͷ ಄͕͍͍ɾ͋ͨ·͕͍͍ ͕͢͞ʹΊ֎͗͢͠Ͱ͢ ӋΛ֎͢ɾΊΛͣ͢ ܭ ΄͔ ʓʓ֨ॿࢺʓʓ ʰେࣙઘʱͷσʔλʹجͭ͘ શͯͷσʔλ͜͜ͰݟΒΕΔ -
׳༻۟ͷඇࣙॻܗʢ࣮தʣ ࣙॻܗɿӕΛ͘ɾ͏ͦΛͭ͘ ʜ ι͔ͭͳ͍ ι͕͚ͭͳ͘ ι·Ͱͭ͘͠ ʮΛʯʮ͕ɾʯʹೖΕସ͑ ֨ॿࢺͷΏΕʹΑΔ ʮΛʯͷলུ ι͔ͭͳ͍
ʜ ʜ ӕΛ͔ͳ͍ ӕΛ͍͍ͯΔ ༻ݴ׆༻ʹΑΔ ߋʹ දه๏ͷΏΕʹΑΔ ιΛͭ͘ ӕΛͭ͘ ʜ ༻ݴ׆༻ͱ දه๏ͷΏΕ ͷࣙॻܗΛ ਪఆͨ͠͏͑ ֨ॿࢺΛ ແࢹͯ͠ ਪఆ