Slide 1

Slide 1 text

欅 惇志 ⼀橋⼤学 ソーシャル・データサイエンス学部 [email protected] Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023) *33FBEJOHय़ ※ 図表は論⽂中・Web からの引⽤

Slide 2

Slide 2 text

概要 • 紹介論⽂ o Making Pre-trained Language Models End-to- end Few-shot Learners with Contrastive Prompt Tuning (WDSM 2023) • Ziyun Xu (CMU), Chengyu Wang, Minghui Qiu, Fuli Luo (Alibaba), Runxin Xu (Peking), Songfang Huang, Jun Huang (Alibaba) • 要約 o Prompt-based learning は有効 • でもタスクごとに prompt (pattern, verbalizer) を作る のは⼤変 o Verbalizer-free な⼿法である CP-Tuning を提案 o サンプルの難易度を考慮した contrastive learning である PCCL も提案 o 提案⼿法は従来⼿法と⽐較して⾼い性能 2023.6.10 2 IRReading2023春

Slide 3

Slide 3 text

Prompt [1] とは 2023.6.10 IRReading2023春 3 [1] Scao and RushHow: “Many Data Points is a Prompt Worth?”, NAACL 2021. Pattern (template) タスクに適切な prompt 作成

Slide 4

Slide 4 text

Prompt は⾮常に有効 • 特にデータが少ない場合に優位性あり 2023.6.10 IRReading2023春 4

Slide 5

Slide 5 text

Varbalizer-free prompt • 左 (a):従来の prompt-based learning • 右 (b):提案する CP-Tuning 2023.6.10 IRReading2023春 5 (実際はタスク共通の prompt が⼊る)

Slide 6

Slide 6 text

フレームワーク 2023.6.10 IRReading2023春 6

Slide 7

Slide 7 text

Special token 2023.6.10 IRReading2023春 7

Slide 8

Slide 8 text

実際の⼊⼒例 2023.6.10 IRReading2023春 8 masked test token (catastrophic forgetting 防⽌のため) prompt tokens masked output token

Slide 9

Slide 9 text

Contrastive Prompt Tuning (CP-Tuning) 2023.6.10 IRReading2023春 9 Contrastive learning: 正例を近づける 負例を遠ざける 各サンプルの 難易度を考慮 (簡単なサンプルに 過学習しない)

Slide 10

Slide 10 text

実験結果 2023.6.10 IRReading2023春 10