Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
Search
tatHi
March 17, 2022
Research
1
770
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
NLP2022の招待論文枠での発表で使用したスライドです.
tatHi
March 17, 2022
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
360
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
590
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
570
要点を聞いてもらえるプレゼンを作ろう
tathi
13
5.8k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
580
論文紹介: Fast WordPiece Tokenization
tathi
0
490
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
600
文系的な興味を理系的な達成目標に変換する
tathi
7
4.6k
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.8k
Other Decks in Research
See All in Research
尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)
litalicolab
0
360
ソフトウェア研究における脅威モデリング
laysakura
0
930
最近のVisual Odometryと Depth Estimation
sgk
1
310
ダイナミックプライシング とその実例
skmr2348
3
480
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
200
Weekly AI Agents News! 9月号 プロダクト/ニュースのアーカイブ
masatoto
2
170
[ECCV2024読み会] 衛星画像からの地上画像生成
elith
1
900
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
5
1.6k
marukotenant01/tenant-20240916
marketing2024
0
620
データサイエンティストをめぐる環境の違い 2024年版〈一般ビジネスパーソン調査の国際比較〉
datascientistsociety
PRO
0
780
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
350
Language is primarily a tool for communication rather than thought
ryou0634
4
790
Featured
See All Featured
Visualization
eitanlees
146
15k
How STYLIGHT went responsive
nonsquared
95
5.2k
How to train your dragon (web standard)
notwaldorf
88
5.7k
How to Think Like a Performance Engineer
csswizardry
22
1.2k
Why Our Code Smells
bkeepers
PRO
335
57k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Designing for Performance
lara
604
68k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
Designing for humans not robots
tammielis
250
25k
The Cult of Friendly URLs
andyhume
78
6.1k
RailsConf 2023
tenderlove
29
940
A better future with KSS
kneath
238
17k
Transcript
テキストベクトルの重みづけを⽤いた タスクに対する単語分割の最適化 平岡 達也1,⾼瀬 翔1 ,内海 慶2,欅 惇志2,岡崎 直観1 1東京⼯業⼤学
2デンソーITラボラトリ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 1
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 2 単語分割をタスクに応じて最適化する話
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 3 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 4 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 5 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 前処理 前処理として単語分割を 決定しなければいけない
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 6 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 GAP 前処理 前処理として単語分割を 決定しなければいけない
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 7 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 8 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 9 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい 今回の研究では⽂書分類に限定
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 10 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
後段の学習 2022/3/17 年次⼤会(平岡達也 @7a7hi) 11 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 12 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 13 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい 単語分割器と後段モデルを 繋がないといけない
単語分割器と後段モデルを 繋がないといけない 後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 14 単語分割器 外国⼈参政権 ⽣⽂
外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい ここをどうにか⼯夫しないと…
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 15 単語分割器 外国⼈参政権 ⽣⽂ ⾷品 トピック
外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 16 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 17 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 18 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 分 類 器 後段モデル ① N-best分割 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 19 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! 𝑣" 𝑣# 分 類 器 後段モデル ① N-best分割 ② エンコード 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 20 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 21 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ④ ⽂ベクトルの 重み付き和で分類 ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 22 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 23 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解 適切な単語分割の 確率が⾼くなるように更新 (後段モデルの性能が⾼くなるような単語分割)
推論時は1-best分割 2022/3/17 年次⼤会(平岡達也 @7a7hi) 24 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ 政治 トピック 外国/⼈/参政権 𝑣 分 類 器 後段モデル 学習済み 獲得された 「良い」単語分割
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 25 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 26 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 27 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 28 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 29 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 30 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
単語分割の更新のみでも性能が向上? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 31 設定 単語分割器 後段モデル (感情予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
単語分割の更新のみでも性能が向上 2022/3/17 年次⼤会(平岡達也 @7a7hi) 32 単語分割の更新のみで 検証データの性能が向上 単語分割の更新のみで 学習データの損失が低下 設定
単語分割器 後段モデル (感情予測) 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 33 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 34 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 35 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す ⻑くなってない?
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 36 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す 10 tokens 13 tokens 11 tokens x 1.3 x 1.1 ⻑くなってない?
提案手法で系列長が長くなる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 37 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
タスクごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 38 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
言語ごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 39 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 40 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
その後の話 2022/3/17 年次⼤会(平岡達也 @7a7hi) 41 • Optimizing Word Segmentation for
Downstream Task • Findings of EMNLP 2020 • テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化 • ⾃然⾔語処理 28-2 • 後段モデルの損失値を⽤いた単語分割のタスクへの最適化 • 第27回年次⼤会(短い+⽇本語なのでおすすめ) • Joint Optimization of Tokenization and Downstream Model • Findings of ACL 2021 • 単語分割と後段モデルの損失値を⽤いた同時最適化 • ⾃然⾔語処理 29-1 (先⽇公開!) 今回の話(⽂書分類に限定) 続きの話(⽂書分類+機械翻訳) • Task-Oriented Word Segmentation • 博論(スライドはTwitter @7a7hi から探せます) まとめた話