論文紹介: "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)"

IR Reading 2023 春にて紹介した "Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023)" の概要スライドです．従来の prompt-based learning ではタスクごとに適切な prompt (pattern, verbalizer) を作成する必要がありましたが，提案手法ではタスクごとに個別の verbalizer を設定する必要のない（verbalizer-free な）手法である Contrastive Prompt Tuning (CP-Tuning) を提案しています．また，サンプルの難易度を考慮した contrastive learning である Pair-wise Cost-sensitive Contrastive Loss (PCCL) も提案しています．不適切な記述などがあればご指摘頂ければ幸いです ．

Transcript

1. 欅 惇志
   ⼀橋⼤学
   ソーシャル・データサイエンス学部
   a.keyaki@r.hit-u.ac.jp
   Making Pre-trained Language Models
   End-to-end Few-shot Learners with
   Contrastive Prompt Tuning
   (WSDM 2023)
   *33FBEJOHय़
   ※ 図表は論⽂中・Web からの引⽤
   

   View Slide

2. 概要
   • 紹介論⽂
   o Making Pre-trained Language Models End-to-
   end Few-shot Learners with Contrastive
   Prompt Tuning (WDSM 2023)
   • Ziyun Xu (CMU), Chengyu Wang, Minghui Qiu, Fuli
   Luo (Alibaba), Runxin Xu (Peking), Songfang Huang,
   Jun Huang (Alibaba)
   • 要約
   o Prompt-based learning は有効
   • でもタスクごとに prompt (pattern, verbalizer) を作る
   のは⼤変
   o Verbalizer-free な⼿法である CP-Tuning を提案
   o サンプルの難易度を考慮した contrastive
   learning である PCCL も提案
   o 提案⼿法は従来⼿法と⽐較して⾼い性能
   2023.6.10 2
   IRReading2023春
   

   View Slide

3. Prompt [1] とは
   2023.6.10
   IRReading2023春 3
   [1] Scao and RushHow: “Many Data
   Points is a Prompt Worth?”, NAACL 2021.
   Pattern
   (template)
   タスクに適切な
   prompt 作成
   

   View Slide

4. Prompt は⾮常に有効
   • 特にデータが少ない場合に優位性あり
   2023.6.10
   IRReading2023春 4
   

   View Slide

5. Varbalizer-free prompt
   • 左 (a)：従来の prompt-based learning
   • 右 (b)：提案する CP-Tuning
   2023.6.10
   IRReading2023春 5
   （実際はタスク共通の prompt が⼊る）
   

   View Slide

6. フレームワーク
   2023.6.10
   IRReading2023春 6
   

   View Slide

7. Special token
   2023.6.10
   IRReading2023春 7
   

   View Slide

8. 実際の⼊⼒例
   2023.6.10
   IRReading2023春 8
   masked test token
   （catastrophic forgetting
   防⽌のため）
   prompt
   tokens
   masked
   output
   token
   

   View Slide

9. Contrastive Prompt Tuning (CP-Tuning)
   2023.6.10
   IRReading2023春 9
   Contrastive
   learning:
   正例を近づける
   負例を遠ざける
   各サンプルの
   難易度を考慮
   （簡単なサンプルに
   過学習しない）
   

   View Slide

10. 実験結果
    2023.6.10
    IRReading2023春 10
    

    View Slide