Slide 10
Slide 10 text
ただの “パターン認識” なのでは…?
何も “わかって” はいないのでは…?
28
• LMは人の声を真似している に過ぎない [Bender+’21]
− LMはコミュニケーション意図も世界モデルも心の理論も持っていない
− ものすごく流暢だからつい人間は勘違いしてしまうけれど,アレは何
もわかっていない
• 言語運用能力と思考能力は違う [Mahowald+’24]
− これらは認知科学の観点でも神経科学の観点でも別物と考えるべき
− LMは前者はかなりうまくやっているけれど後者は全然ダメ
• 同じ形式の問題でも頻度で正解率に差 [McCoy+’23]
− 全く同じ形式の問題(e.g. 与えられた数字に定数をかけて足す)でも,
高頻度な問題(e.g. 華氏摂氏変換)ならうまく解けるし,
ちょっと値を変えると失敗する
Bender+, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (FAccT 2021)
Mahowald+, Dissociating language and thought in large language models (Trends in Cognitive Sciences 2024)
McCoy+, Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve (arXiv 2023-09)