sat on the cat sat on mat 低関連性 中関連性 ⾼関連性 単語同⼠の関連性を計算し、重要度を数値化 ⽂脈を理解し、関連する単語に「注意」を向ける Transformerモデル 「Attention Is All You Need」から⽣まれた⾰新的な構造。⾃⼰注意機構によ り、⽂脈中の関連性を効果的に捉える。GPT、BERT等の基礎となった技術。 ⽂脈理解と⾃然な出⼒ 数百から数千のトークンを遡って⽂脈を把握。⼈間の⾔語習得に近い仕組み で、⾃然で⼀貫性のある⽂章を⽣成する。 The ⾃⼰回帰型予測 cat sat on the mat (62%) floor (21%) chair (9%)