CVにもTransformerの波が・・・ 6 1 Transformerの 躍進 2020/12/23 A Survey on Visual Transformer (2020) https://arxiv.org/abs/2012.12556 2021/01/04 Transformers in Vision: A Survey https://arxiv.org/abs/2101.01169 2021/03/06 Perspectives and Prospects on Transformer Architecture for Cross-Modal Tasks with Language and Vision https://arxiv.org/abs/2103.04037 Computer Vision界隈でもTransformerが流行りだしてる サーベイ論文もここ最近たて続けに出てきた 知っとかないといけない・・・でも分量が多い・・・ 詳しく調べて勘所を提供したい←我々の動機
NLPにおけるTransformerの類型 31 3 Transformerの学習 と推論 大きく分けて2種類のタイプがある • 【Seq2seq】 Attention is all you need [Vaswani+, NIPS2017] • 【BERT】 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Devlin+, ACL2019]