[Bender+’21] − LMはコミュニケーション意図も世界モデルも心の理論も持っていない − ものすごく流暢だからつい人間は勘違いしてしまうけれど、アレは何 もわかっていない • 言語運用能力と思考能力は違う [Mahowald+’24] − これらは認知科学の観点でも神経科学の観点でも別物と考えるべき − LMは前者はかなりうまくやっているけれど後者は全然ダメ • 同じ形式の問題でもコーパス頻度で正解率に差 [McCoy+’23] − 全く同じ形式の問題(e.g. 与えられた数字に定数をかけて足す)でも、 高頻度な問題(e.g. 華氏摂氏変換)ならうまく解けるし、 ちょっと値を変えると失敗する Bender+, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (FAccT 2021) Mahowald+, Dissociating language and thought in large language models (Trends in Cognitive Sciences 2024) McCoy+, Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve (arXiv 2023-09)
the population of Tokyo (Japan) is ..., the popupation of Paris (France) is .... D.C. is the U.S.’s capital ..., Tokyo is the Japan’s capital ... 言語モデルはコーパス中の並列構造を使って 関係知識を学習できているのかも [Hahn&Goyal’23]
... ... ... the population of Tokyo (Japan) is ..., the popupation of Paris (France) is .... D.C. is the U.S.’s capital ..., Tokyo is the Japan’s capital ... Relation 132 Tokyo D.C. Paris Brasília Nairobi … Japan U.S. France Brazil Kenya …
Tokyo, Ghana -> [ ? ] 言語モデルはコーパス中の並列構造を使って 関係知識を学習できているのかも [Hahn&Goyal’23] ... ... ... ... the population of Tokyo (Japan) is ..., the popupation of Paris (France) is .... D.C. is the U.S.’s capital ..., Tokyo is the Japan’s capital ... Relation 132 Tokyo D.C. Paris Brasília Nairobi … Japan U.S. France Brazil Kenya …
Tokyo, Ghana -> [ ? ] ... ... ... ... the population of Tokyo (Japan) is ..., the popupation of Paris (France) is .... D.C. is the U.S.’s capital ..., Tokyo is the Japan’s capital ... Relation 132 Tokyo D.C. Paris Brasília Nairobi … Japan U.S. France Brazil Kenya … 言語モデルはコーパス中の並列構造を使って 関係知識を学習できているのかも [Hahn&Goyal’23] (OK... relation 132) Accra …