論文紹介: "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)"

IR Reading 2023 春にて紹介した "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)" の概要スライドです．従来の prompt-based learning ではタスクごとに適切な prompt (pattern, verbalizer) を作成する必要がありましたが，提案手法ではタスクごとに個別の verbalizer を設定する必要のない（verbalizer-free な）手法である Contrastive Prompt Tuning (CP-Tuning) を提案しています．また，サンプルの難易度を考慮した contrastive learning である Pair-wise Cost-sensitive Contrastive Loss (PCCL) も提案しています．不適切な記述などがあればご指摘頂ければ幸いです ．

Transcript

1. 欅 惇志 ⼀橋⼤学 ソーシャル・データサイエンス学部 a.keyaki@r.hit-u.ac.jp Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023) *3
   3FBEJOH
   
   य़ ※ 図表は論⽂中・Web からの引⽤
2. 概要 • 紹介論⽂ o Making Pre-trained Language Models End-to- end Few-shot Learners with Contrastive Prompt Tuning (WDSM 2023) • Ziyun Xu (CMU), Chengyu Wang, Minghui Qiu, Fuli Luo (Alibaba), Runxin Xu (Peking), Songfang Huang, Jun Huang (Alibaba) • 要約 o Prompt-based learning は有効 • でもタスクごとに prompt (pattern, verbalizer) を作る のは⼤変 o Verbalizer-free な⼿法である CP-Tuning を提案 o サンプルの難易度を考慮した contrastive learning である PCCL も提案 o 提案⼿法は従来⼿法と⽐較して⾼い性能 2023.6.10 2 IRReading2023春
3. Prompt [1] とは 2023.6.10 IRReading2023春 3 [1] Scao and RushHow: “Many Data Points is a Prompt Worth?”, NAACL 2021. Pattern (template) タスクに適切な prompt 作成
4. Prompt は⾮常に有効 • 特にデータが少ない場合に優位性あり 2023.6.10 IRReading2023春 4
5. Varbalizer-free prompt • 左 (a)：従来の prompt-based learning • 右 (b)：提案する CP-Tuning 2023.6.10 IRReading2023春 5 （実際はタスク共通の prompt が⼊る）
6. フレームワーク 2023.6.10 IRReading2023春 6
7. Special token 2023.6.10 IRReading2023春 7
8. 実際の⼊⼒例 2023.6.10 IRReading2023春 8 masked test token （catastrophic forgetting 防⽌のため） prompt tokens masked output token
9. Contrastive Prompt Tuning (CP-Tuning) 2023.6.10 IRReading2023春 9 Contrastive learning: 正例を近づける 負例を遠ざける 各サンプルの 難易度を考慮 （簡単なサンプルに 過学習しない）
10. 実験結果 2023.6.10 IRReading2023春 10