欅 惇志 ⼀橋⼤学 ソーシャル・データサイエンス学部 a.keyaki@r.hit-u.ac.jp Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning (WSDM 2023) *33FBEJOHय़ ※ 図表は論⽂中・Web からの引⽤

概要 • 紹介論⽂ o Making Pre-trained Language Models End-to- end Few-shot Learners with Contrastive Prompt Tuning (WDSM 2023) • Ziyun Xu (CMU), Chengyu Wang, Minghui Qiu, Fuli Luo (Alibaba), Runxin Xu (Peking), Songfang Huang, Jun Huang (Alibaba) • 要約 o Prompt-based learning は有効 • でもタスクごとに prompt (pattern, verbalizer) を作る のは⼤変 o Verbalizer-free な⼿法である CP-Tuning を提案 o サンプルの難易度を考慮した contrastive learning である PCCL も提案 o 提案⼿法は従来⼿法と⽐較して⾼い性能 2023.6.10 2 IRReading2023春

Prompt [1] とは 2023.6.10 IRReading2023春 3 [1] Scao and RushHow: “Many Data Points is a Prompt Worth?”, NAACL 2021. Pattern (template) タスクに適切な prompt 作成

Prompt は⾮常に有効 • 特にデータが少ない場合に優位性あり 2023.6.10 IRReading2023春 4

Varbalizer-free prompt • 左 (a)：従来の prompt-based learning • 右 (b)：提案する CP-Tuning 2023.6.10 IRReading2023春 5 （実際はタスク共通の prompt が⼊る）

フレームワーク 2023.6.10 IRReading2023春 6

Special token 2023.6.10 IRReading2023春 7

実際の⼊⼒例 2023.6.10 IRReading2023春 8 masked test token （catastrophic forgetting 防⽌のため） prompt tokens masked output token

Contrastive Prompt Tuning (CP-Tuning) 2023.6.10 IRReading2023春 9 Contrastive learning: 正例を近づける 負例を遠ざける 各サンプルの 難易度を考慮 （簡単なサンプルに 過学習しない）

実験結果 2023.6.10 IRReading2023春 10