Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sudachi近況報告 at WAP NLP Tech Talk #4
Search
WAP
November 29, 2021
Technology
1
520
Sudachi近況報告 at WAP NLP Tech Talk #4
ワークス徳島人工知能NLP研究所によるSudachi近況報告 at WAP NLP Tech Talk #4です。
WAP
November 29, 2021
Tweet
Share
More Decks by WAP
See All by WAP
単語分散表現と事前学習モデル - chiVe _ chiTra 利活用のための下準備 at WAP NLP Tech Talk #5
waptech
0
1.4k
事前学習モデル chiTra の活用方法 at WAP NLP Tech Talk #5
waptech
0
340
単語分散表現 chiVeの活用方法 at WAP NLP Tech Talk #5
waptech
0
630
Sudachi Family近況報告 at WAP NLP Tech Talk #5
waptech
0
230
日本語形態素解析器 SudachiPy の 現状と今後について
waptech
4
7.3k
企業(ワークスアプリケーションズ)での研究開発の楽しさと苦労
waptech
0
350
Sudachi辞書のつくり方
waptech
4
2.3k
chiVe_実用的な日本語単語ベクトル実現にむけて_20201208.pdf
waptech
2
600
Other Decks in Technology
See All in Technology
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
280
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
260
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
150
SAE J1939シミュレーション環境構築
daikiokazaki
1
200
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
620
人と生成AIの協調意思決定/Co‑decision making by people and generative AI
moriyuya
0
220
金融サービスにおける高速な価値提供とAIの役割 #BetAIDay
layerx
PRO
0
130
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
420
【CEDEC2025】大規模言語モデルを活用したゲーム内会話パートのスクリプト作成支援への取り組み
cygames
PRO
1
540
AIエージェントを支える設計
tkikuchi1002
12
2.6k
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
230
Unson OS|48時間で「売れるか」を判定する AI 市場検証プラットフォーム
unson
0
150
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
We Have a Design System, Now What?
morganepeng
53
7.7k
GitHub's CSS Performance
jonrohan
1031
460k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
How GitHub (no longer) Works
holman
314
140k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.7k
Docker and Python
trallard
45
3.5k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Adopting Sorbet at Scale
ufuk
77
9.5k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Transcript
Sudachi近況報告 at WAP NLP Tech Talk #4 ワークス徳島人工知能NLP研究所 高岡一馬
2 Sudachi Sudachi.rsリリース • v0.6.0 SudachiPy • Sudachi.rsのバインディングとして再構成 • Pure
Python, Cythonは今後メンテナンスしない
3 Rust 爆速でした MeCab/UniDic 2.2.0 Sudachi Java 0.5.3 Sudachi.rs 0.6.0
SudachiPy 0.5.4 SudachiPy 0.6.0 0.31 1 0.39 0.68 13.11 Java版を1としたときの 処理速度
4 Sudachi (Java) 今後の予定 高速化 API改良 • JSONではない個別設定APIの新設 • ユーザ辞書の動的な追加、削除
その他 • ユーザ辞書に自由記述項目を追加 • 必ず切る分割単位の新設 v1.0に向けて非互換な変更をいれていく予定
5 Sudachi辞書 12月リリースに向けて鋭意作業中 形態素辞書 • 語彙追加 • カタカナ外来語の正規化見直し • 用言の正規化見直し
• 同義語グループIDの見直し 同義語辞書 • 語彙追加
6 Elasticsearchプラグイン Esのバージョンを指定したビルド • バイナリリリースしていないバージョンでもビルドが簡単に $ ./gradlew -PelasticsearchVersion=7.15.2 build 今後の予定
• Sudachi同義語辞書による同義語展開フィルタの開発 Synonym token filter / synonym graph token filterの代替 Sudachi / Chikkarの利用で高速に
7 内部処理可視化ツール ViSudachi
8 chiTra Sudachiを利用した事前学習言語モデルプロジェクト Sudachi Transformers: chiTra [tʃiːtaɾa] 学習・推論環境 • Hugging
FaceでのSudachi利用環境の整備、公開 • OSSとして誰でもつかえるように 事前学習モデルの構築・公開 • 日本語の特徴にあったtransformerモデルの探求
9 日本語の特徴にあったtransformerモデル 日本語の書記法により適したトークナイズ • 語構成や字種を考慮したサブワード化 多様な異表記への対応 • Sudachi形態素辞書をもちいた正規化 多様な文書への対応 •
超大規模Webコーパス (NWJC) での学習 多様な表現への対応 • Sudachi同義語辞書をもちいたデータ拡張
10 日本語の書記法により適したトークナイズ 従来手法 • 文字単位で統計的にトークナイズ 言語ごとの書字特性は明示的に考慮されない 英文では有効だが日本語では? 日本語の書記法の特徴を生かす • Sudachi形態素辞書の語構成情報を利用
• 字種により分割方法をかえる • より日本語に適した処理を追及
11 多様な異表記への対応 同じ語でも表記がことなる • 送り仮名、漢字 / ひらがな、異体字など • Sudachiの機能をつかって統制 •
より高性能になる統制方法の開発 活用形を保持したままの用言正規化
12 まとめ • Sudachi.rs / SudachiPy v0.6.0 リリース • Sudachi
v1.0 に向けて • Sudachi辞書12月リリース • Elasticsearch同義語展開フィルタ準備中 • chiTra準備中 くわしい情報は開設予定の徳島研究所技術ブログにて