幼児の言語習得を調べる際には、マッカーサー乳幼児言語発達質問紙 (MacArthur-Bates Communicative Development Inventory; CDI) と いうアンケートが用いられる。 Frank et al., 2017 では、多くの親に CDI に協力してもらい、「いつ 自分の子どもがある単語 を発するようになったか」というデータを 大規模に収集 全体の 50% の子どもが単語 を発するようになった年齢を Age of Acquisition として定義 単語の頻度、長さ、品詞、抽象度が Age of Acquisition に影響を与え ることが分かった 前提: 幼児の単語習得 2 w w 2: Michael Frank, Mika Braginsky, Daniel Yurovsky, and Virginia Marchman. 2017. Wordbank: An open repository for developmental vocabulary data. Journal of Child Language, 44(3):677–694. 6/19
言語モデルが単語 をどの程度習得しているかは、その単語のサプラ イザルで評価する サプライザル: ある単語 の周囲の に対する予測確率の負の対数 のこと。 おおむね、人間が読みやすい(自然)と感じる文においてサプライザルが低 いとされている また、事前学習が完了した言語モデルのサプライザルから前述の Age of Acquisition を予測可能とする研究もある (つまり、モデルにとって予測が 難しい単語は人間も習得が遅い傾向が見られることが分かっている) 前提: モデルの単語習得 w w w , ...w 1 k − log P (w∣w , ..., w ) 2 1 k 3 4 5 3: 「周囲の単語」とはモデル依存であり、BERT や Bi-LSTM のような双方向から単語予測するモデルでは左右両方 の context を指し、GPT-2 や通常のLSTMのような左から単語予測するモデルでは左の context のみを指す
4: 反論もある: Kuribayashi et al., Lower Perplexity is Not Always Human-Like (ACL 2021)
5: Eva Portelance, Judith Degen, andMichael Frank. 2020. Predicting age of acquisition in early word learning using recurrent neural networks. In Proceedings of CogSci 2020. 7/19
各単語 について、以下の5つの因子から の Age of Acquisition を 予測する回帰モデルを考える の(訓練データ中の)頻度 を含む文のトークン長(MLU; mean length of utterances) の文字数 の抽象度 の品詞 そして、それぞれの因子について、それを抜いて予測した場合と尤度比 検定を行い、その因子が予測に寄与しているかどうかを見積もる 実験: 人間と言語モデルの単語習得の比較 w w w w w w w 7 7: 厳密には、頻度の高い単語ほど文字数が少ない事象(Zipf則)などが見られるため、これらの因子が独立とは言 えないが、それを考慮して修正しても、以後示す実験結果に変化はなかったそうである 10/19
頻度: モデルも人間も、頻度が高い単語の方が Age of Acquisition が小 さい(習得が速い) ただし、言語モデルは頻度が Age of Acquisition をほとんどうまく説明する (ほとんど頻度だけに依存している)のに対し、人間はそうではないという 違いがある 結果: 人間と言語モデルの単語習得の比較 12/19
その単語を含むトークン長(MLU): (LSTM を除き)モデルも人間 も、長い方が Age of Acquisition が大きい(習得が遅い)。長い文ほ ど文法的に難しい内容を含むので、モデルにとって予測が難しくなりそ うである(これは、人間についても同じ要因が言えるかもしれない) 文字数: モデルは長い単語ほど Age of Acquisition が小さい(習得が速 い)ことになり、人間と真逆の結果である。
ここまでの結論: MLU が Age of Acquisition に与える影響はモデルと 人間で合致しており、distribution learning が人間の言語習得を説明 できそうなポイントである。一方で、文字数や品詞などが Age of Acquisition に与える影響などは全く異なっており、distribution learning が人間の言語習得を説明できなさそうなポイントである。 結果: 人間と言語モデルの単語習得の比較 14/19