NLP2022の招待論文枠での発表で使用したスライドです．
テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化平岡 達也1，⾼瀬 翔1 ，内海 慶2，欅 惇志2，岡崎 直観11東京⼯業⼤学2デンソーITラボラトリ2022/3/17 年次⼤会（平岡達也 @7a7hi） 1
View Slide
どんな話？2022/3/17 年次⼤会（平岡達也 @7a7hi） 2単語分割をタスクに応じて最適化する話
どんな話？2022/3/17 年次⼤会（平岡達也 @7a7hi） 3単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック
どんな話？2022/3/17 年次⼤会（平岡達也 @7a7hi） 4単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック適切な単語分割で性能向上→後段タスク/モデルに依存
どんな話？2022/3/17 年次⼤会（平岡達也 @7a7hi） 5単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック適切な単語分割で性能向上→後段タスク/モデルに依存前処理前処理として単語分割を決定しなければいけない
どんな話？2022/3/17 年次⼤会（平岡達也 @7a7hi） 6単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック適切な単語分割で性能向上→後段タスク/モデルに依存GAP前処理前処理として単語分割を決定しなければいけない
コアアイディア2022/3/17 年次⼤会（平岡達也 @7a7hi） 7単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック後段モデルと同時に単語分割器を学習
嬉しさ2022/3/17 年次⼤会（平岡達也 @7a7hi） 8単語分割をタスクに応じて最適化する話① タスクの性能が上がると嬉しい② タスクに適切な単語分割が得られると嬉しい
嬉しさ2022/3/17 年次⼤会（平岡達也 @7a7hi） 9単語分割をタスクに応じて最適化する話① タスクの性能が上がると嬉しい② タスクに適切な単語分割が得られると嬉しい今回の研究では⽂書分類に限定
コアアイディア2022/3/17 年次⼤会（平岡達也 @7a7hi） 10単語分割をタスクに応じて最適化する話単語分割器 後段モデル（トピック予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック後段モデルと同時に単語分割器を学習
後段の学習2022/3/17 年次⼤会（平岡達也 @7a7hi） 11単語分割器外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック政治正解後段モデル（トピック予測）誤差逆伝播で更新
後段の学習に単語分割器を組み込みたい2022/3/17 年次⼤会（平岡達也 @7a7hi） 12単語分割器外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック政治正解後段モデル（トピック予測）誤差逆伝播で更新単語分割器も誤差逆伝播で更新したい
後段の学習に単語分割器を組み込みたい2022/3/17 年次⼤会（平岡達也 @7a7hi） 13単語分割器外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック政治正解後段モデル（トピック予測）誤差逆伝播で更新単語分割器も誤差逆伝播で更新したい単語分割器と後段モデルを繋がないといけない
単語分割器と後段モデルを繋がないといけない後段の学習に単語分割器を組み込みたい2022/3/17 年次⼤会（平岡達也 @7a7hi） 14単語分割器外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂⾷品トピック政治正解後段モデル（トピック予測）誤差逆伝播で更新単語分割器も誤差逆伝播で更新したいここをどうにか⼯夫しないと…
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 15単語分割器外国⼈参政権⽣⽂⾷品トピック外国/⼈参/政権 𝑣分類器後段モデル⽂ベクトル意味深な空⽩
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 16NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国/⼈参/政権 𝑣分類器後段モデル⽂ベクトル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ意味深な空⽩
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 17NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国/⼈参/政権 𝑣分類器後段モデル⽂ベクトル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ意味深な空⽩
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 18NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権分類器後段モデル① N-best分割単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 19NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権𝑣!𝑣"𝑣#分類器後段モデル① N-best分割② エンコード単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 20NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権𝑣! ×𝑝 外国⼈/参/政権𝑍𝑣" ×𝑝 外国/⼈参/政権𝑍𝑣# ×𝑝 外国/⼈/参政権𝑍分類器後段モデル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ① N-best分割② エンコード③ 単語分割の確率で重み付けつながった！
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 21NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権𝑣! ×𝑝 外国⼈/参/政権𝑍𝑣" ×𝑝 外国/⼈参/政権𝑍𝑣# ×𝑝 外国/⼈/参政権𝑍Σ分類器後段モデル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ④ ⽂ベクトルの重み付き和で分類① N-best分割② エンコード③ 単語分割の確率で重み付けつながった！
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 22NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権𝑣! ×𝑝 外国⼈/参/政権𝑍𝑣" ×𝑝 外国/⼈参/政権𝑍𝑣# ×𝑝 外国/⼈/参政権𝑍Σ分類器後段モデル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ政治正解
後段の学習に単語分割器を組み込む2022/3/17 年次⼤会（平岡達也 @7a7hi） 23NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂⾷品トピック外国⼈/参/政権外国/⼈参/政権外国/⼈/参政権𝑣! ×𝑝 外国⼈/参/政権𝑍𝑣" ×𝑝 外国/⼈参/政権𝑍𝑣# ×𝑝 外国/⼈/参政権𝑍Σ分類器後段モデル単語分割の確率を単語確率の積で計算𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権単語確率が学習可能パラメータ政治正解適切な単語分割の確率が⾼くなるように更新（後段モデルの性能が⾼くなるような単語分割）
推論時は1-best分割2022/3/17 年次⼤会（平岡達也 @7a7hi） 24NeuralUnigram LM(単語分割器)外国⼈参政権⽣⽂政治トピック外国/⼈/参政権 𝑣分類器後段モデル学習済み獲得された「良い」単語分割
嬉しさ2022/3/17 年次⼤会（平岡達也 @7a7hi） 25単語分割をタスクに応じて最適化する話① タスクの性能が上がると嬉しい② タスクに適切な単語分割が得られると嬉しい
文書分類タスクで性能向上タスク ⾔語単語分割の最適化なし単語分割の最適化あり感情分析 中 92.79 92.93⽇ 86.51 87.39英 77.31 79.04レビューのジャンル予測 中 47.95 48.22⽇ 47.86 50.21英 71.19 71.88レビューのレート予測 中 49.41 49.63⽇ 52.30 53.19英 67.53 67.68SNLI 英 76.75 77.042022/3/17 年次⼤会（平岡達也 @7a7hi） 26F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05)Weibo, TwitterJD.com, 楽天市場, AmazonJD.com, 楽天市場, Amazon⼊⼒が2⽂• ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上タスク ⾔語単語分割の最適化なし単語分割の最適化あり感情分析 中 92.79 92.93⽇ 86.51 87.39英 77.31 79.04レビューのジャンル予測 中 47.95 48.22⽇ 47.86 50.21英 71.19 71.88レビューのレート予測 中 49.41 49.63⽇ 52.30 53.19英 67.53 67.68SNLI 英 76.75 77.042022/3/17 年次⼤会（平岡達也 @7a7hi） 27F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05)Weibo, TwitterJD.com, 楽天市場, AmazonJD.com, 楽天市場, Amazon⼊⼒が2⽂• ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上タスク ⾔語単語分割の最適化なし単語分割の最適化あり感情分析 中 92.79 92.93⽇ 86.51 87.39英 77.31 79.04レビューのジャンル予測 中 47.95 48.22⽇ 47.86 50.21英 71.19 71.88レビューのレート予測 中 49.41 49.63⽇ 52.30 53.19英 67.53 67.68SNLI 英 76.75 77.042022/3/17 年次⼤会（平岡達也 @7a7hi） 28F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05)Weibo, TwitterJD.com, 楽天市場, AmazonJD.com, 楽天市場, Amazon⼊⼒が2⽂• ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上タスク ⾔語単語分割の最適化なし単語分割の最適化あり感情分析 中 92.79 92.93⽇ 86.51 87.39英 77.31 79.04レビューのジャンル予測 中 47.95 48.22⽇ 47.86 50.21英 71.19 71.88レビューのレート予測 中 49.41 49.63⽇ 52.30 53.19英 67.53 67.68SNLI 英 76.75 77.042022/3/17 年次⼤会（平岡達也 @7a7hi） 29F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05)Weibo, TwitterJD.com, 楽天市場, AmazonJD.com, 楽天市場, Amazon⼊⼒が2⽂• ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上タスク ⾔語単語分割の最適化なし単語分割の最適化あり感情分析 中 92.79 92.93⽇ 86.51 87.39英 77.31 79.04レビューのジャンル予測 中 47.95 48.22⽇ 47.86 50.21英 71.19 71.88レビューのレート予測 中 49.41 49.63⽇ 52.30 53.19英 67.53 67.68SNLI 英 76.75 77.042022/3/17 年次⼤会（平岡達也 @7a7hi） 30F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05)Weibo, TwitterJD.com, 楽天市場, AmazonJD.com, 楽天市場, Amazon⼊⼒が2⽂• ⽂書分類モデルのエンコーダーはBiLSTM
単語分割の更新のみでも性能が向上？2022/3/17 年次⼤会（平岡達也 @7a7hi） 31設定単語分割器 後段モデル（感情予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂Positive感情固定更新
単語分割の更新のみでも性能が向上2022/3/17 年次⼤会（平岡達也 @7a7hi） 32単語分割の更新のみで検証データの性能が向上単語分割の更新のみで学習データの損失が低下設定単語分割器 後段モデル（感情予測）外国⼈参政権⽣⽂外国/⼈参/政権分割済み⽂Positive感情固定更新
嬉しさ2022/3/17 年次⼤会（平岡達也 @7a7hi） 33単語分割をタスクに応じて最適化する話① タスクの性能が上がると嬉しい② タスクに適切な単語分割が得られると嬉しい
タスクに応じた単語分割を獲得⼿法 単語分割最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔）最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。レート予測タスクに最適化（正解：2/5）最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。2022/3/17 年次⼤会（平岡達也 @7a7hi） 34ジャンル予測：商品のジャンルに関わる単語を切り出すレート予測 ：品質や印象に関わる単語を切り出す
タスクに応じた単語分割を獲得⼿法 単語分割最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔）最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。レート予測タスクに最適化（正解：2/5）最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。2022/3/17 年次⼤会（平岡達也 @7a7hi） 35ジャンル予測：商品のジャンルに関わる単語を切り出すレート予測 ：品質や印象に関わる単語を切り出す⻑くなってない？
タスクに応じた単語分割を獲得⼿法 単語分割最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔）最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。レート予測タスクに最適化（正解：2/5）最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。2022/3/17 年次⼤会（平岡達也 @7a7hi） 36ジャンル予測：商品のジャンルに関わる単語を切り出すレート予測 ：品質や印象に関わる単語を切り出す10 tokens13 tokens11 tokensx 1.3x 1.1⻑くなってない？
提案手法で系列長が長くなる最適化後の系列⻑⾔語 タスク 最適化前の系列⻑中 ジャンル予測 1.5405レート予測 1.4249⽇ ジャンル予測 1.5205レート予測 1.3224英 ジャンル予測 1.0620レート予測 1.04152022/3/17 年次⼤会（平岡達也 @7a7hi） 37• 全体的に提案⼿法によって系列⻑が⻑くなる• レート予測よりジャンル予測のほうが系列⻑が⻑くなる• 英語の単語分割の系列⻑は⼤きく変わらない何倍⻑くなったか
タスクごとに単語分割の系列長が異なる最適化後の系列⻑⾔語 タスク 最適化前の系列⻑中 ジャンル予測 1.5405レート予測 1.4249⽇ ジャンル予測 1.5205レート予測 1.3224英 ジャンル予測 1.0620レート予測 1.04152022/3/17 年次⼤会（平岡達也 @7a7hi） 38• 全体的に提案⼿法によって系列⻑が⻑くなる• レート予測よりジャンル予測のほうが系列⻑が⻑くなる• 英語の単語分割の系列⻑は⼤きく変わらない何倍⻑くなったか
言語ごとに単語分割の系列長が異なる最適化後の系列⻑⾔語 タスク 最適化前の系列⻑中 ジャンル予測 1.5405レート予測 1.4249⽇ ジャンル予測 1.5205レート予測 1.3224英 ジャンル予測 1.0620レート予測 1.04152022/3/17 年次⼤会（平岡達也 @7a7hi） 39• 全体的に提案⼿法によって系列⻑が⻑くなる• レート予測よりジャンル予測のほうが系列⻑が⻑くなる• 英語の単語分割の系列⻑は⼤きく変わらない何倍⻑くなったか
嬉しさ2022/3/17 年次⼤会（平岡達也 @7a7hi） 40単語分割をタスクに応じて最適化する話① タスクの性能が上がると嬉しい② タスクに適切な単語分割が得られると嬉しい
その後の話2022/3/17 年次⼤会（平岡達也 @7a7hi） 41• Optimizing Word Segmentation for Downstream Task• Findings of EMNLP 2020• テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化• ⾃然⾔語処理 28-2• 後段モデルの損失値を⽤いた単語分割のタスクへの最適化• 第27回年次⼤会（短い＋⽇本語なのでおすすめ）• Joint Optimization of Tokenization and Downstream Model• Findings of ACL 2021• 単語分割と後段モデルの損失値を⽤いた同時最適化• ⾃然⾔語処理 29-1 (先⽇公開！)今回の話（⽂書分類に限定）続きの話（⽂書分類＋機械翻訳）• Task-Oriented Word Segmentation• 博論（スライドはTwitter @7a7hi から探せます）まとめた話
tathi
umepon
.png){kind=avatar}
noteinc
naok615
nttcom
osx
kitachan_black
joisino
ido_kara_deru
ebisawahayata
sorami
hide2kano
yumakoizumi
revolveconf
hannesfritz
philhawksworth
deanohume
brettharned
nonsquared
ammeep
stephaniewalter
sachag
colly
sonatard
rasmusluckow