Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
Search
tatHi
March 17, 2022
Research
1
620
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
NLP2022の招待論文枠での発表で使用したスライドです.
tatHi
March 17, 2022
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
250
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
510
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
460
要点を聞いてもらえるプレゼンを作ろう
tathi
11
4.9k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
500
論文紹介: Fast WordPiece Tokenization
tathi
0
380
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
520
文系的な興味を理系的な達成目標に変換する
tathi
7
4.4k
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.7k
Other Decks in Research
See All in Research
Breaking Tradeoffs: Extremely Scalable Multi-Agent Pathfinding Algorithms
kei18
0
140
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
370
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
2
540
HP (Hitto Point: 筆頭ポイント)
tanichu
0
710
Embodied AIについて / About Embodied AI
nttcom
1
550
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
170
Target trial emulationの概要
shuntaros
2
1.1k
SANER 2019 Most Influential Paper Talk
tsantalis
0
120
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
150
Accurate Method and Variable Tracking in Commit History
tsantalis
0
250
言語間転移学習で大規模言語モデルを賢くする
ikuyamada
6
2.8k
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
540
Featured
See All Featured
In The Pink: A Labor of Love
frogandcode
138
21k
GitHub's CSS Performance
jonrohan
1025
450k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
19
1.7k
Why Our Code Smells
bkeepers
PRO
331
56k
Building an army of robots
kneath
300
41k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Design by the Numbers
sachag
274
18k
Building Flexible Design Systems
yeseniaperezcruz
319
37k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
7
1k
Gamification - CAS2011
davidbonilla
76
4.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
A designer walks into a library…
pauljervisheath
200
23k
Transcript
テキストベクトルの重みづけを⽤いた タスクに対する単語分割の最適化 平岡 達也1,⾼瀬 翔1 ,内海 慶2,欅 惇志2,岡崎 直観1 1東京⼯業⼤学
2デンソーITラボラトリ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 1
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 2 単語分割をタスクに応じて最適化する話
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 3 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 4 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 5 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 前処理 前処理として単語分割を 決定しなければいけない
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 6 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 GAP 前処理 前処理として単語分割を 決定しなければいけない
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 7 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 8 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 9 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい 今回の研究では⽂書分類に限定
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 10 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
後段の学習 2022/3/17 年次⼤会(平岡達也 @7a7hi) 11 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 12 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 13 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい 単語分割器と後段モデルを 繋がないといけない
単語分割器と後段モデルを 繋がないといけない 後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 14 単語分割器 外国⼈参政権 ⽣⽂
外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい ここをどうにか⼯夫しないと…
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 15 単語分割器 外国⼈参政権 ⽣⽂ ⾷品 トピック
外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 16 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 17 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 18 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 分 類 器 後段モデル ① N-best分割 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 19 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! 𝑣" 𝑣# 分 類 器 後段モデル ① N-best分割 ② エンコード 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 20 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 21 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ④ ⽂ベクトルの 重み付き和で分類 ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 22 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 23 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解 適切な単語分割の 確率が⾼くなるように更新 (後段モデルの性能が⾼くなるような単語分割)
推論時は1-best分割 2022/3/17 年次⼤会(平岡達也 @7a7hi) 24 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ 政治 トピック 外国/⼈/参政権 𝑣 分 類 器 後段モデル 学習済み 獲得された 「良い」単語分割
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 25 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 26 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 27 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 28 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 29 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 30 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
単語分割の更新のみでも性能が向上? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 31 設定 単語分割器 後段モデル (感情予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
単語分割の更新のみでも性能が向上 2022/3/17 年次⼤会(平岡達也 @7a7hi) 32 単語分割の更新のみで 検証データの性能が向上 単語分割の更新のみで 学習データの損失が低下 設定
単語分割器 後段モデル (感情予測) 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 33 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 34 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 35 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す ⻑くなってない?
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 36 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す 10 tokens 13 tokens 11 tokens x 1.3 x 1.1 ⻑くなってない?
提案手法で系列長が長くなる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 37 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
タスクごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 38 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
言語ごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 39 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 40 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
その後の話 2022/3/17 年次⼤会(平岡達也 @7a7hi) 41 • Optimizing Word Segmentation for
Downstream Task • Findings of EMNLP 2020 • テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化 • ⾃然⾔語処理 28-2 • 後段モデルの損失値を⽤いた単語分割のタスクへの最適化 • 第27回年次⼤会(短い+⽇本語なのでおすすめ) • Joint Optimization of Tokenization and Downstream Model • Findings of ACL 2021 • 単語分割と後段モデルの損失値を⽤いた同時最適化 • ⾃然⾔語処理 29-1 (先⽇公開!) 今回の話(⽂書分類に限定) 続きの話(⽂書分類+機械翻訳) • Task-Oriented Word Segmentation • 博論(スライドはTwitter @7a7hi から探せます) まとめた話