テキストベクトルの重みづけを⽤いた タスクに対する単語分割の最適化 平岡 達也1，⾼瀬 翔1 ，内海 慶2，欅 惇志2，岡崎 直観1 1東京⼯業⼤学 2デンソーITラボラトリ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 1

どんな話？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 2 単語分割をタスクに応じて最適化する話

どんな話？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 3 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック

どんな話？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 4 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存

どんな話？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 5 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 前処理 前処理として単語分割を 決定しなければいけない

どんな話？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 6 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 GAP 前処理 前処理として単語分割を 決定しなければいけない

コアアイディア 2022/3/17 年次⼤会（平岡達也 @7a7hi） 7 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習

嬉しさ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 8 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が 得られると嬉しい

嬉しさ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 9 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が 得られると嬉しい 今回の研究では⽂書分類に限定

コアアイディア 2022/3/17 年次⼤会（平岡達也 @7a7hi） 10 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル （トピック予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習

後段の学習 2022/3/17 年次⼤会（平岡達也 @7a7hi） 11 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル （トピック予測） 誤差逆伝播で更新

後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会（平岡達也 @7a7hi） 12 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル （トピック予測） 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい

後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会（平岡達也 @7a7hi） 13 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル （トピック予測） 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい 単語分割器と後段モデルを 繋がないといけない

単語分割器と後段モデルを 繋がないといけない 後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会（平岡達也 @7a7hi） 14 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル （トピック予測） 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい ここをどうにか⼯夫しないと…

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 15 単語分割器 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 意味深な空⽩

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 16 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 17 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 18 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 分 類 器 後段モデル ① N-best分割 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 19 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! 𝑣" 𝑣# 分 類 器 後段モデル ① N-best分割 ② エンコード 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 20 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった！

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 21 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ④ ⽂ベクトルの 重み付き和で分類 ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった！

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 22 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解

後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会（平岡達也 @7a7hi） 23 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解 適切な単語分割の 確率が⾼くなるように更新 （後段モデルの性能が⾼くなるような単語分割）

推論時は1-best分割 2022/3/17 年次⼤会（平岡達也 @7a7hi） 24 Neural Unigram LM (単語分割器) 外国⼈参政権 ⽣⽂ 政治 トピック 外国/⼈/参政権 𝑣 分 類 器 後段モデル 学習済み 獲得された 「良い」単語分割

嬉しさ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 25 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が 得られると嬉しい

文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79 92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会（平岡達也 @7a7hi） 26 F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM

文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79 92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会（平岡達也 @7a7hi） 27 F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM

文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79 92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会（平岡達也 @7a7hi） 28 F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM

文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79 92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会（平岡達也 @7a7hi） 29 F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM

文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79 92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会（平岡達也 @7a7hi） 30 F1値(%)，5回試⾏の平均，下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM

単語分割の更新のみでも性能が向上？ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 31 設定 単語分割器 後段モデル （感情予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新

単語分割の更新のみでも性能が向上 2022/3/17 年次⼤会（平岡達也 @7a7hi） 32 単語分割の更新のみで 検証データの性能が向上 単語分割の更新のみで 学習データの損失が低下 設定 単語分割器 後段モデル （感情予測） 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新

嬉しさ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 33 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が 得られると嬉しい

タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。 ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔） 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化（正解：2/5） 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会（平岡達也 @7a7hi） 34 ジャンル予測：商品のジャンルに関わる単語を切り出す レート予測 ：品質や印象に関わる単語を切り出す

タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。 ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔） 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化（正解：2/5） 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会（平岡達也 @7a7hi） 35 ジャンル予測：商品のジャンルに関わる単語を切り出す レート予測 ：品質や印象に関わる単語を切り出す ⻑くなってない？

タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ 髪に は全然 効果なし 。 ジャンル予測タスクに最適化（正解：美容・コスメ・⾹⽔） 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化（正解：2/5） 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会（平岡達也 @7a7hi） 36 ジャンル予測：商品のジャンルに関わる単語を切り出す レート予測 ：品質や印象に関わる単語を切り出す 10 tokens 13 tokens 11 tokens x 1.3 x 1.1 ⻑くなってない？

提案手法で系列長が長くなる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249 ⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会（平岡達也 @7a7hi） 37 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか

タスクごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249 ⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会（平岡達也 @7a7hi） 38 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか

言語ごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249 ⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会（平岡達也 @7a7hi） 39 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか

嬉しさ 2022/3/17 年次⼤会（平岡達也 @7a7hi） 40 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が 得られると嬉しい

その後の話 2022/3/17 年次⼤会（平岡達也 @7a7hi） 41 • Optimizing Word Segmentation for Downstream Task • Findings of EMNLP 2020 • テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化 • ⾃然⾔語処理 28-2 • 後段モデルの損失値を⽤いた単語分割のタスクへの最適化 • 第27回年次⼤会（短い＋⽇本語なのでおすすめ） • Joint Optimization of Tokenization and Downstream Model • Findings of ACL 2021 • 単語分割と後段モデルの損失値を⽤いた同時最適化 • ⾃然⾔語処理 29-1 (先⽇公開！) 今回の話（⽂書分類に限定） 続きの話（⽂書分類＋機械翻訳） • Task-Oriented Word Segmentation • 博論（スライドはTwitter @7a7hi から探せます） まとめた話