Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
JUMAN++で分かち書きをしたかった...
Search
なごみそ
May 24, 2017
110
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
JUMAN++で分かち書きをしたかった...
@Kawasaki.rb #48
なごみそ
May 24, 2017
Transcript
6 slides
JUMAN++で分かち書き をしたかった… 2017.5.24 なごみそ@kawasaki.rb
なにがしたかったか PyKNP 経由で JUMANN++ を使って Wikipediaの記事を分かち書きにして 日本語の Word2Vec を作りたかった
JUMAN++ いま流行りの深層学習 (RNN) でモデルを作った 形態素解析器 nagomiso $ jumanpp <<< 'なのは完売'
なのは なのは なのは 名詞 6 人名 5 * 0 * 0 "自動獲得:Wikipedia Wikipedia人名 Wikipedia名 Wikipedia多義" 完売 かんばい 完売 名詞 6 サ変名詞 2 * 0 * 0 "代表表記:完売/かんばい カテゴリ:抽象物 ドメイン:ビジネス" EOS PyKNP JUMAN++ を開発した京大・黒橋研謹製の JUMAN/KNP の Python バインディング ※JUMAN++ も使える Word2Vec 単語を Vector 表現化して次元圧縮する手法及びそのモデル 自然言語が扱いやすい形式になるため前処理としてよく使われる
結論 だめでした
だめだった理由 PyKNP の実装の問題 JUMAN++ に半角スペースを入力すると nagomiso $ jumanpp <<< '
' \ \ \ \ \ \ 未定義語 15 その他 1 * 0 * 0 "品詞推定:名詞" EOS のようになる PyKNP は jumanpp コマンドを subprocess で呼び出し 標準出力を半角スペースで区切ろうとするので 要素数がずれてエラーになる JUMAN++ が糞重い なごみその Zenbook ちゃんが動かなくなるぐらい重い (もしかしたら変な文字が入って暴走していたのかも…)
まとめ • JUMAN++ で分かち書きをしようとしたが だめだった • 原因は PyKNP と jumanpp
コマンドの問題 • でかいテキストを形態素解析するなら やっぱり MeCab が速くていいね (SentencePiece も試してみたい)
More Decks by なごみそ
See All by なごみそ
デレマス呼称表から見える アイドルの関係(?)
nagomiso
1
1.3k
ネットワーク分析してみた
nagomiso
2
540
ちょっとかしこく生きよう
nagomiso
0
650
さよなら Storm
nagomiso
0
52
ここが変だよ Apache Storm
nagomiso
0
40
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
A Tale of Four Properties
chriscoyier
163
24k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
30 Presentation Tips
portentint
PRO
1
470
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
660
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.4k
Applied NLP in the Age of Generative AI
inesmontani
PRO
4
2.6k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
60k
Highjacked: Video Game Concept Design
rkendrick25
PRO
2
570
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
Skip the Path - Find Your Career Trail
mkilby
1
290
Faster Mobile Websites
deanohume
310
32k