OpenAI Google GPT-4 LaMDA データを増やして計算能力を上げ、パラメータの数(モデルの容量)を増やせば、精度が上がる 言語系AIで何が起こっているか? 深層学習モデル Seq2Seq RNN LSTM Text+派生系 Text to Image DALL-E 2 Stable Diff usion Text to Music Music LM Text to Code Codex サービス Text to Text ChatGPT Bard Bing 約45TB GPT-2 約40GB Transformer Attention Is All You Need 従来のRNNにあった再帰構造ではなく、 Attention(注意機構) を使用することで全 ての入力を同時に並列処理できるようにな り、大規模なデータセットでも高速に処理す ることができるようになった 2 0 1 7