大学院生の時書いた以下の要約です。 Semantics without categorization (Chapter 5) - Formal Approaches in Categorization https://www.cambridge.org/core/books/abs/formal-approaches-in-categorization/semantics-without-categorization/C29EB7152CE564B03FFA339E20A6F26E
Formal Approaches in CategorizationChapter.5 Semantics without categorization@lamrongol
View Slide
Semantic Memory（意味的なつながりを持った記憶）• 人間がバナナを見た時……– 簡単にむける皮を持ち、中には柔らかい身があり、食べることができてどんな味か、ということが即座に想起される• 認知心理学ではこのプロセスを解明することが主要な研究となっている• カテゴリー仮説– カテゴライズすることで関連する情報を想起しやすくしている（例：バナナ→食べ物） Rosch(1978)– 「仮説」だと認識されないほど定番となっている
カテゴリ仮説をめぐる様々な議論
多カテゴリ表現• 大抵のものは多くのカテゴリに属している– 鶏→動物、鳥、家禽– ブルドーザー→車両、建設機材、人工物• これらのカテゴリは相反することも多い– 鶏は動物だが、通常動物は飛べないとみなされる、しかし鳥でもあり、鳥は飛べるとみなされる。だが、鶏というカテゴリで考えるとやはり飛べない• 相矛盾するカテゴリに適切に割り当てられることを可能にする表現構造は何か？
Category coherence• システム（脳）はどうやって有用なカテゴライズと役に立たないカテゴライズを区別しているのか？– 「犬」「猫」「鳥」– 「青かオレンジのもの」「角があるもの」
発達過程におけるカテゴリの認識• 荒い分類→細かい分類に進む例– 子供はまず一番大まかな区分（動物と植物など）から段々細かい区別ができるようになる– Semantic Dementia(SD)の患者は、まず一番細かい区別（例：カナリアとコマドリ）ができなくなり、だんだんとおおまかな区別がつかなくなっていく• 子供は中間のカテゴリの言語から覚える– 例：「コマドリ」「カナリア」や「動物」「車両」などではなく「魚」「鳥」から
Domain依存の推論パターン• 属性の種類により異なる一般化が行われる– 「コマドリは体内に網（器官）を持つ」→鳥全体に一般化される– 「コマドリは巣の中で暮らすのを好む」→小さい、木に巣をつくる鳥にしか一般化されない– 子供はおもちゃを色よりも形で区別するが、食べ物では逆になる• 卵が先か鶏が先か– モノのどの属性を重視すべきかを知らなければカテゴライズできないが、それを知るにはまずカテゴライズしなければいけない
PDP(PARALLEL DISTRIBUTED PROCESSING) MODEL
PDPモデルのユニット• ニューラルネットワークにより学習を行う• 現在の出力と正解出力の誤差から重みを再計算し、学習を行う入力w𝟏w𝟐w𝟑荷重出力
OverviewOakCanaryItemSingRelationCanishasplantgrowmoveSwimHiddenRepresentation Attribute
各部位の詳細(1/2)• 外界の状況で決まるユニット– Item:現実のモノ– Relation:モノのどの属性が対象になっているか• ‘can’ できること• ‘has’ 構成部分• ‘is’ 外見
各部位の詳細(2/2)• 内部ユニット– Input, Relationからの入力で出力が決まる• 非線形で緩やかに変化するため、段階的学習が可能– Representation：文脈（Relation)に依存しないモノの内部表現– Hidden:文脈を考慮した内部表現– Attribute:意味的なつながりとして想起される属性
Overview（再掲）OakCanaryItemSingRelationCanishasplantgrowmoveSwimHiddenRepresentation Attribute
PDPにおけるカテゴリ表現• Representation のそれぞれを一つの次元とみなすと、モノを多次元空間にプロットできる– R1:0.7, R2:0.3 R1→x R2→yとすると、• 直接的にカテゴリに属しているわけではないので、「どこに属しているか」という問題は生じないカナリアコマドリ鮭マンボウデイジーバラ
Category Coherent• 有用なカテゴリではその構成要素が多くの共通した属性を持つ– 「犬」「猫」 → 共通要素大– 「青かオレンジのもの」→共通要素小• 有用なカテゴリは急速に学習が行われるため強化されるが、役に立たないカテゴリは縮小していく
学習例• 「犬」（に対応する内部表現）からの入力は属性を導き出すのに役立つため重みが大きくなるが、「青かオレンジ」は重みが小さくなる入力w𝟏荷重w𝟐犬青かオレンジ四本足ワンワン
発達過程におけるカテゴリの認識• 「カナリア」「コマドリ」のような細かい区別はごく限られた例の場合しか学習されない• 「動物」「植物」のようなおおまかな区別は、多くのケースで学習されるため、急速に学習が進む• また、おおまかな区別は違いが大きいため、失われる速度もゆっくりになる
なぜ名前はbacic levelから覚えるのか• 「動物」「鳥」「カナリア」では「鳥」から覚える• 「鳥」と「動物」では– 「動物」は鳥以外の魚などにも働くが、「鳥」の方は鳥にしか働かないため、より強化されやすい• 「鳥」と「カナリア」では– 「カナリア」はカナリアを強化する一方、コマドリなどそれ以外の似た鳥は弱くする。– だが、コマドリとカナリアが十分に分化されてない場合、干渉し合い、カナリアに対する学習も弱くなる
Domain依存の推論パターン• なぜ生体器官の「網」と実際の「網」では推論パターンが異なるのか• PDPモデルでは、Relation（どのような文脈か）も考慮されるためCan Isデイジーバラコマドリペンギンカナリアひまわりデイジーバラひまわりカナリアコマドリペンギン
その他のモデルに対する優位性• その他のモデル– Examplar theories• 過去の出来事から確率密度関数を推定し、尤度を最大化する一般化を行う– Parametric Approach• 一つ一つがカテゴリを表しているガウス分布の混合で表現– Structured Probabilistic Model• すべての可能なカテゴリ・グラフに対し、確率モデルを生成• PDPではいかなる仮定も莫大な計算も必要ない
まとめ• Semantic Memory(意味的な関連を持った記憶）は認知心理学の主要な研究テーマ• カテゴリ仮説が定説になっている• しかし、カテゴリ仮説では解決できない問題も多い• PDPモデルでは、初期状態などの仮定を必要とせず、諸問題を解決できる
lamrongol
drawsbygba
hide2kano
miyayou
ianozsvald
usamik26
ishiijunpei
tagtag
miura55
nkmr_rl
misawann
shimacos
lcolladotor
notwaldorf
soudai
marcelosomers
rasmusluckow
62gerente
panda_program
cassininazir
holman
kastner
keathley
frogandcode
smashingmag