Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介:Towards a Unified Conversational Recommendation System: Multi-task Learning via Contextualized Knowledge Distillation
Search
Ryutaro Asahara
December 26, 2023
Research
0
31
論文紹介:Towards a Unified Conversational Recommendation System: Multi-task Learning via Contextualized Knowledge Distillation
Ryutaro Asahara
December 26, 2023
Tweet
Share
More Decks by Ryutaro Asahara
See All by Ryutaro Asahara
論文紹介:「COLA: Improving Conversational Recommender Systems by Collaborative Augmentation」
ryu1104
0
30
論文紹介:「CLICK: Contrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System」
ryu1104
0
7
論文紹介:「CR-GIS: Improving Conversational Recommendation via Goal-aware Interest Sequence Modeling」
ryu1104
0
5
論文紹介:Persona-Guided Planning for Controlling the Protagonist’s Persona in Story Generation
ryu1104
0
160
論文紹介:MCP:Self supervised Pre training for Personalized Chatbots with Multi level Contrastive Sampling
ryu1104
0
120
論文紹介:Learning to Express in Knowledge- Grounded Conversation
ryu1104
0
330
論文紹介:Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions
ryu1104
0
420
論文紹介:Coreference-Aware Dialogue Summarization
ryu1104
0
290
Other Decks in Research
See All in Research
クリック率を最大化しない推薦システム
joisino
42
14k
3D Human Mesh Estimationについていくつかまとめてみた / Survey about 3D Human Mesh Estimation
nttcom
0
210
継続的な研究費獲得のための考え方
moda0
1
360
動物倫理学ことはじめ:人間以外の動物との倫理的な付き合い方を考える
takeshit_m
0
290
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
mkimura
0
140
リサーチに組織を巻き込むための「準備8割」の話
terasho
0
470
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
540
CVPR2023 EarthVision Workshopより衛星画像関連論文紹介 / Satellite Imaging Processing Papers in CVPR2023 EarthVision Workshop
nttcom
0
120
「EBPMエコシステム」の可能性
daimoriwaki
0
200
CASCON 2023 Most Influential Paper Award Talk
tsantalis
0
120
僕たちがグラフニューラルネットワークを学ぶ理由
joisino
13
4.8k
言語間転移学習で大規模言語モデルを賢くする
ikuyamada
7
3.4k
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Writing Fast Ruby
sferik
621
60k
Building Better People: How to give real-time feedback that sticks.
wjessup
355
18k
Building Adaptive Systems
keathley
31
1.9k
In The Pink: A Labor of Love
frogandcode
138
21k
10 Git Anti Patterns You Should be Aware of
lemiorhan
648
58k
Side Projects
sachag
451
41k
Automating Front-end Workflow
addyosmani
1356
200k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
210
11k
Atom: Resistance is Futile
akmur
259
25k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
17
1.4k
Transcript
Towards a Unified Conversational Recommendation System: Multi-task Learning via Contextualized
Knowledge Distillation M2, Ryutaro Asahara. Inaba Lab, Department of Informatics, The University of Electro-Communications.
The University of Electro-Communications 論文の情報 • タイトル • Towards a
Unified Conversational Recommendation System: Multi-task Learning via Contextualized Knowledge Distillation • 著者 • Yeongseo Jung, Eunseo Jung, Lei Chen • 所属 • The Hong Kong University of Science and Technology • 学会 • EMNLP2023 Main Conference
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications Conversational Recommender Systemとは I • 従来の推薦システムはクリックや購入,評価など過去の履歴を
基に推薦 • しかし,履歴がないユーザには推薦が難しい (コールドスタート問題) • そこで,会話をしながら推薦を行う推薦対話システム (Conversational Recommender System)の研究が活発 • ユーザの好みを聞き出し,好みそうなアイテム(映画,観光地, 音楽など)を推薦
The University of Electro-Communications Conversational Recommender Systemとは II • 2つのモジュールで構成
• 推薦モジュール • 対話履歴からユーザの 好みそうなアイテムを予測 • ユーザ埋め込みを計算し, アイテム埋め込みと マッチング • 対話モジュール • 推薦モジュールの情報を 用いて応答を生成
The University of Electro-Communications 既存CRSの問題点 • 推薦と対話のモジュールが別れている • 多くの手法は損失関数などで 両モジュールを学習
• 推薦モジュールで得られたベクトル表現 を対話モジュールにも用いる モジュール間の不一致問題が存在 推薦モジュールの予測→「タイタニック」 対話モジュールの応答→「アベンジャーズ」
The University of Electro-Communications 既存CRSの問題点 II • 既存CRSは不一致問題によって推薦性能が低下している • 推薦モジュールと対話モジュールの推薦性能を評価
• R@k(Recall@k) • 推薦モジュールの予測性能 • 推薦モジュールの予測したマッチングスコアのtop-kのアイテムを評価 • ReR@k(Response Recall@k) • 対話モジュールの予測性能 • 生成した応答に含まれるアイテムを評価
The University of Electro-Communications Knowledge Distillation(知識蒸留) • 能力の高いモデル(教師モデル)の知識を別のモデル(生徒モ デル)に移すこと •
手法は様々だが,一般に最小二条誤差やKL距離, 交差エントロピーによって両モデル間の差異を最小化する • 例 • 各層𝑙について教師と生徒モデルの隠れ表現ℎ𝑇 𝑙 , ℎ𝑆 𝑙 を最小化 • 教師と生徒モデルの出力分布𝑃 𝑥 , 𝑃(𝑦)のKL距離を最小化
The University of Electro-Communications アプローチ • 推薦と対話モジュールをそれぞれ教師モデルとする • 2つのモデルを1つの生徒モデルに蒸留して統合
The University of Electro-Communications 既存CRSのタスクについて 対話モジュール 推薦モジュール ターミネーターが好きな らトランスフォーマーも おすすめですよ
トランスフォーマー:0.89 ドラえもん:0.1 ワンピース:0.01 トランスフォーマー:5 ドラえもん:2 ワンピース:1 ターミネーターが好きっ てことはトランスフォー マーもハマるはず! BLUEやDISTINCE, Perplexityなどで評価 RecallやNDCGなどで評価 正解データ • 先行研究ではCRSを推薦モジュールと対話モジュールで それぞれ評価 • 推薦モジュール • 対話履歴と推薦候補アイテムから,ユーザの候補アイテムへの好みのスコアを予測 • 対話モジュール • 対話履歴から適切な応答を生成 正解データ
The University of Electro-Communications 本研究におけるタスク • 本研究では2つのモジュールを1つのモデルに統合する • 先行研究と同じ評価はできない •
システム発話が言及したアイテムを用いて評価する ConKD ターミネーターが好きな らトランスフォーマーも おすすめですよ ターミネーターが好きっ てことはトランスフォー マーもハマるはず! BLUEやDISTINCE, Perplexityなどで評価 正解データ トランスフォーマー 言及されたアイテムを抽出 トランスフォーマー:5 ドラえもん:2 ワンピース:1 RecallやNDCGなどで評価
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 概要 • Hard GateとSoft Gateというアプローチを提案 •
推薦モデルと対話モデルのどちらからどの程度の知識を蒸留す るのかを決定
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 教師モデル(推薦モジュール) • 推薦モジュール側の 教師モデルを構築 • 先行研究[Zhang+
2020]の モデル構造(R-GCN)を採用 • 知識グラフ(DBpedia, ConceptNet)からアイテム と単語の埋め込みを学習 𝜀𝑒 𝑟:ノードeに対して関係rでリンクしているノードの集合 he′ (l):ノードeにリンクしているノードe’のl層目の表現 he (l):ノードeのl層目の表現, he 0:ノードeの初期の埋め込み,Wr (l),𝑊 𝑒 :学習可能な重み
The University of Electro-Communications ユーザ表現の獲得 • 学習済みのモデルを用いてユーザ埋め込みを得る • 対話履歴𝑥に現れたアイテム𝑛(𝑥)と単語𝑣(𝑥)を以下式で集約 •
ユーザ埋め込みを𝑝𝑢 とする • ユーザ埋め込みとアイテム埋め込みのマッチングスコアを計算
The University of Electro-Communications 教師モデル(対話モジュール) • 対話履歴とユーザ発話から応答を生成するモデルを学習 • 学習済みのモデルを採用 •
KGSF:既存CRSの対話モジュール • DialoGPT:対話データセットで学習されたPLM 𝑇:トークンの長さ
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 生徒モデル • 対話履歴とユーザ発話から応答を生成するモデル • 学習済みのモデルを採用 •
KGSF:既存CRSの対話モジュール • DialoGPT:対話データセットで学習されたPLM • 教師となる対話モデルと同じ
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 知識蒸留 • 交差エントロピーによって損失を計算 • 各教師と生徒モデルの確率分布がどの程度離れているかを計算 •
この損失を最小化することで教師モデルの知識を蒸留 𝑃𝜙 (𝑦𝑡,𝑘 |𝑦1:𝑡−1 , 𝑥):教師モデル(対話)の出力分布 𝑃𝜓 (𝑦𝑡,𝑘 |𝑦1:𝑡−1 , 𝑥):教師モデル(推薦)の出力分布 𝑃𝜃 (𝑦𝑡,𝑘 |𝑦1:𝑡−1 , 𝑥):生徒モデルの出力分布
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 教師モデルからどの程度学習するのか • 性質の異なる2つの教師モデルのどちらからどの程度の知識を 蒸留するのか • 2つのアプローチを提案
• Hard Gate • 対話のフェーズから推薦・対話モデルのどちらの知識を用いるかを 離散的に決定 • Soft Gate • どちらのモデルからどの程度学習するかを連続的な割合で決定
The University of Electro-Communications Hard Gate I • 生徒モデルは教師モデルの条件付き確率との差異を最小化する ように学習する
• しかし,2つのモデルに対して常に知識を蒸留することは好ま しくない • 対話のフェーズごとに必要な知識が異なる • 雑談中には対話モジュールの知識が役に立つ • 推薦する際には推薦モジュールの知識が必要 どちらの知識を用いるのか決定するHard Gateを導入
The University of Electro-Communications Hard Gate II • 「推薦時は対話モデルにおけるアイテムの生成確率が 大きくなる」と仮定
• 例えば • 映画を推薦する際にはタイトルの生成確率が高くなる • 教師としての対話モデルにおいて,各アイテムの生成確率の総 和がしきい値以下の場合は対話モデルから蒸留 • しきい値を超えた場合は推薦モデルから蒸留 ℐ:アイテムの集合 𝜂:しきい値
The University of Electro-Communications Soft Gate • 「対話モデルの出力確率におけるアイテムの確率が高いほど, 推薦が期待される」と仮定 •
つまり,アイテムの生成確率の総和が高いほど, 推薦モデルから多く学習 ℐ:アイテムの集合
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 損失関数 • Hard Gate,Soft Gateのどちらも以下の式によって全体の損失を 計算
• タイムステップ𝑡ごとに, • Hard Gateならℒ𝐷𝐼𝐴𝐿 とℒ𝑅𝐸𝐶 のどちらかを用いる • Soft Gateならℒ𝐷𝐼𝐴𝐿 とℒ𝑅𝐸𝐶 を𝜆𝑡 で示される割合で用いる ℒ𝑁𝐿𝐿 :正解データとの交差エントロピー損失
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications スペシャルトークン • CRSの対話では推薦をするか雑談ターンのいずれかに 大きく分類できる • 以下のスペシャルトークンをシステム発話の先頭に付与
• 応答が推薦アイテムを含む場合は[REC] • 含まない場合は[GEN] • 推論時は発話が推薦かそれ以外かを分類するモデルを用いる • 対話履歴と対象の発話を入力し対象発話が推薦か雑談かを分類
The University of Electro-Communications 目次 • 前提知識 • 提案手法 •
概要 • 教師モデルの構築 • 生徒モデルの構築 • 知識蒸留 • Hard GateとSoft Gate • 損失関数 • スペシャルトークン • 実験と結果
The University of Electro-Communications 実験 – データセット • REDIAL •
CRSの評価に幅広く用いられるデータセット • 推薦アイテムのドメインは映画 • 対話数は10,006,映画の総数は6,924 • 語彙数は23,928 • 英語の通常語彙とアイテム名(映画名)を含む
The University of Electro-Communications 実験 – ベースライン • ReDial •
対話,推薦,感情分析モジュールで構成 • KBRD • 推薦アイテムの知識グラフを導入 • KGSF • 推薦アイテムと単語の知識グラフを導入 • RevCore • レビューデータを用いたCRS • DialoGPT • REDIALでFine-tuningしたDialoGPT • RecInDial • DialoGPTの語彙を拡張し,End-to-Endで推薦
The University of Electro-Communications 実験 – 評価指標 • 推薦タスクの評価 •
生成した応答にtop-kのアイテムが含まれているかで評価 • ReR@k,PrR@k,F1@k • RecRatio • 全対話中で推薦アイテムが含まれる発話の比率 • 対話タスクの評価 • 正解応答と生成応答間のPerplexityとDistinctで評価 • PPL(Perplexity),DIST-1,2,3,4 • 人間による評価 • Fluency, Informativeness, Coherence
The University of Electro-Communications 評価結果 – 推薦タスク • Hard Gateではモデルが積極的に推薦している
• RecRatioが他モデルに比べて高い
The University of Electro-Communications 評価結果 – 対話タスク • モデルのパラメータ数に関わらず提案手法ConKDが性能を向上 させている
The University of Electro-Communications 評価結果(推薦タスク) – 正解アイテムの拡大 • CRSでは正解アイテム以外にも好みが及んでいる可能性がある •
知識グラフで正解アイテムの2ホップ以内にある アイテムも正解として評価
The University of Electro-Communications Ablation Study – 推薦タスク • Ablation
• D:対話モデルを蒸留に用いる • R:推薦モデルを蒸留に用いる • ST:スペシャルトークンを用いる • 𝜆𝑡 を用いずに常に0.5の割合で教師モデルから損失を計算
The University of Electro-Communications Ablation Study – 対話タスク • Ablation
• D:対話モデルを蒸留に用いる • R:推薦モデルを蒸留に用いる • ST:スペシャルトークンを用いる • 𝜆𝑡 を用いずに常に0.5の割合で教師モデルから損失を計算
The University of Electro-Communications Case Study • *:ConKD(Hard) • **:ConKD(Soft)
The University of Electro-Communications まとめ • CRSにおいて推薦・対話モジュールを1つのモデルに 蒸留する手法ConKDを提案 • 推薦・対話タスクにおいていくつかの評価指標で高い性能を示
した
The University of Electro-Communications 不十分な点 • 既存手法にだいぶ負けている • 違うモダリティを持つモデルを蒸留することは望ましくないの ではないか
• 教師モデル(対話):言語モデル • 教師モデル(推薦):グラフモデル • 生徒モデル:言語モデル
The University of Electro-Communications スライド付録 A • なぜ推薦モジュールの予測結果を直に応答生成結果に埋め込ま ないのか