Networkで埋め込むことで単語をベクトル化 一部の単語において演算が可能であることが報告される Efficient Estimation of Word Representations in Vector Space (2013) ✔ Encoder-Decoder: 入力層のモデルと出力層のモデルを分けて考えられるように変化 ✔ Attention: 自動翻訳の研究において,どの単語に注力すべきかをモデルが加味できるような仕組みを開発 Effective Approaches to Attention-based Neural Machine Translation (2015) ✔ Transformer: 現在のBERTやLLMの基礎となっているモデル構造 Attention Is All You Need (2017)