● Attention Is All You Need (Łukasz Kaiser et al., 2017)
○ 文章の単語同士の関連度を測る (Attention) 機構を組み込むことで
自然言語処理モデルの性能が大きく向上
○ GPTなどの文章生成モデル
■ → TransformerモデルのDecoder部分を利用
○ テキストベクトル化用のモデル
■ → TransformerモデルのEncoder部分を利用
Transformerモデル
Slide 4
Slide 4 text
● A Survey of Transformers
(TIANYANG LIN et. al., 2021)
○ Transformer派生についてのサーベイ
○ 膨大な数のTransformer派生について
詳細にまとめられている
○ もっと詳しく知りたい方は
こちらを読まれるのをおすすめします
Transformerから他のモデルへの派生
ベンチマーク上位のモデルたち
● MTEB Leaderboard - a Hugging Face Space by mteb
○ AnglE-optimized Text Embeddings
○ Cohere/Cohere-embed-english-v3.0 · Hugging Face
○ BAAI/bge-large-en-v1.5 · Hugging Face
○ intfloat/e5-large-v2 · Hugging Face
Stable Diffusion (画像生成モデルへの応用)
raw pixel value
VAE
latent
noisy latent
+ noise
input text
Text
Encoder
embedding
UNET
prediction
loss
velocity
生成したい画像についての文章を
ベクトル化して生成モデルに与える