Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Sudachi近況報告 at WAP NLP Tech Talk #4
WAP
November 29, 2021
Technology
1
220
Sudachi近況報告 at WAP NLP Tech Talk #4
ワークス徳島人工知能NLP研究所によるSudachi近況報告 at WAP NLP Tech Talk #4です。
WAP
November 29, 2021
Tweet
Share
More Decks by WAP
See All by WAP
単語分散表現と事前学習モデル - chiVe _ chiTra 利活用のための下準備 at WAP NLP Tech Talk #5
waptech
0
820
事前学習モデル chiTra の活用方法 at WAP NLP Tech Talk #5
waptech
0
130
単語分散表現 chiVeの活用方法 at WAP NLP Tech Talk #5
waptech
0
250
Sudachi Family近況報告 at WAP NLP Tech Talk #5
waptech
0
71
日本語形態素解析器 SudachiPy の 現状と今後について
waptech
4
4.6k
企業(ワークスアプリケーションズ)での研究開発の楽しさと苦労
waptech
0
200
Sudachi辞書のつくり方
waptech
4
1.3k
chiVe_実用的な日本語単語ベクトル実現にむけて_20201208.pdf
waptech
2
370
Other Decks in Technology
See All in Technology
DNS権威サーバのクラウドサービス向けに行われた攻撃および対策 / DNS Pseudo-Random Subdomain Attack and mitigations
kazeburo
5
1.3k
Dockerに疲れた人のためのLXDではじめるシステムコンテナ入門
devops_vtj
0
120
AWS Cloud Forensics & Incident Response
e11i0t_4lders0n
0
410
地方自治体業務あるある ーアナログ最適化編-
y150saya
1
270
イ良い日ンマを作る(USBストレージ容量偽装の手法) / USB Storage Capacity Faking Techniques
shutingrz
0
540
スクラム導入して変わったチーム、組織のありかた
yumechi
0
200
Oktaの管理者権限を適切に移譲してみた
shimosyan
2
270
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
shonansurvivors
0
260
01_ユーザーリサーチ実施の進め方
kouzoukaikaku
0
660
CES_2023_FleetWise_demo.pdf
sparkgene
0
120
IoTを始めたきっかけの話と個人でできるIoTの今後 / 新年LT会「私の愛するIoT 2023」
you
0
240
OpenShift.Run2023_create-aro-with-terraform
ishiitaiki20fixer
1
350
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
22
1.4k
What's in a price? How to price your products and services
michaelherold
233
9.7k
How GitHub Uses GitHub to Build GitHub
holman
465
280k
Three Pipe Problems
jasonvnalue
89
8.9k
It's Worth the Effort
3n
177
26k
Streamline your AJAX requests with AmplifyJS and jQuery
dougneiner
128
8.8k
Designing the Hi-DPI Web
ddemaree
273
32k
The Cult of Friendly URLs
andyhume
69
5.1k
Web Components: a chance to create the future
zenorocha
304
40k
GraphQLとの向き合い方2022年版
quramy
20
9.9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
152
13k
Visualization
eitanlees
128
12k
Transcript
Sudachi近況報告 at WAP NLP Tech Talk #4 ワークス徳島人工知能NLP研究所 高岡一馬
2 Sudachi Sudachi.rsリリース • v0.6.0 SudachiPy • Sudachi.rsのバインディングとして再構成 • Pure
Python, Cythonは今後メンテナンスしない
3 Rust 爆速でした MeCab/UniDic 2.2.0 Sudachi Java 0.5.3 Sudachi.rs 0.6.0
SudachiPy 0.5.4 SudachiPy 0.6.0 0.31 1 0.39 0.68 13.11 Java版を1としたときの 処理速度
4 Sudachi (Java) 今後の予定 高速化 API改良 • JSONではない個別設定APIの新設 • ユーザ辞書の動的な追加、削除
その他 • ユーザ辞書に自由記述項目を追加 • 必ず切る分割単位の新設 v1.0に向けて非互換な変更をいれていく予定
5 Sudachi辞書 12月リリースに向けて鋭意作業中 形態素辞書 • 語彙追加 • カタカナ外来語の正規化見直し • 用言の正規化見直し
• 同義語グループIDの見直し 同義語辞書 • 語彙追加
6 Elasticsearchプラグイン Esのバージョンを指定したビルド • バイナリリリースしていないバージョンでもビルドが簡単に $ ./gradlew -PelasticsearchVersion=7.15.2 build 今後の予定
• Sudachi同義語辞書による同義語展開フィルタの開発 Synonym token filter / synonym graph token filterの代替 Sudachi / Chikkarの利用で高速に
7 内部処理可視化ツール ViSudachi
8 chiTra Sudachiを利用した事前学習言語モデルプロジェクト Sudachi Transformers: chiTra [tʃiːtaɾa] 学習・推論環境 • Hugging
FaceでのSudachi利用環境の整備、公開 • OSSとして誰でもつかえるように 事前学習モデルの構築・公開 • 日本語の特徴にあったtransformerモデルの探求
9 日本語の特徴にあったtransformerモデル 日本語の書記法により適したトークナイズ • 語構成や字種を考慮したサブワード化 多様な異表記への対応 • Sudachi形態素辞書をもちいた正規化 多様な文書への対応 •
超大規模Webコーパス (NWJC) での学習 多様な表現への対応 • Sudachi同義語辞書をもちいたデータ拡張
10 日本語の書記法により適したトークナイズ 従来手法 • 文字単位で統計的にトークナイズ 言語ごとの書字特性は明示的に考慮されない 英文では有効だが日本語では? 日本語の書記法の特徴を生かす • Sudachi形態素辞書の語構成情報を利用
• 字種により分割方法をかえる • より日本語に適した処理を追及
11 多様な異表記への対応 同じ語でも表記がことなる • 送り仮名、漢字 / ひらがな、異体字など • Sudachiの機能をつかって統制 •
より高性能になる統制方法の開発 活用形を保持したままの用言正規化
12 まとめ • Sudachi.rs / SudachiPy v0.6.0 リリース • Sudachi
v1.0 に向けて • Sudachi辞書12月リリース • Elasticsearch同義語展開フィルタ準備中 • chiTra準備中 くわしい情報は開設予定の徳島研究所技術ブログにて