[輪講] Representation of multiple objects in macaque category-selective areas

論文（ https://www.nature.com/articles/s41467-018-04126-7 ）の輪講で用いた資料です．スライド内の図はすべて論文からの引用です．

Transcript

1. Representation of multiple objects in macaque category-selective areas Pinglei Bao, Doris Y. Tsao Nature communications 2018
2. 概要 • 物体認識は様々な物体がある環境で行われる • ITの細胞は特定の物体にのみ応答できる • 顔や体に選択性がある細胞が複数物体を呈示し たときにどのように応答を統合するのかを調べ た • 結果：細胞の応答は近隣ニューロンで重み付け したnormalizationのフレームワークで説明でき ることがわかった – カテゴリ，空間的な構成，相対的なコントラストに よってルールを切り替えている – “winner-take-all”でclutter不変な顔／体の表現をし ている可能性を示唆 2
3. 背景 • 複数の物体をどのように表現しているのか？ • 腹側経路の最後のステージであるITに着目 – 細胞は“winner-take-all”であるはず • 好きな物体単体での応答と好きな物体＋他での応答が等しい – しかし多くの既存研究ではそうではない – “averaging”で説明できるが物体認識率は低い[10] • 既存の生理実験とヒトのfMRI結果 – 生理実験：ランダムなIT細胞をレコード[4,6,7,13] – ヒトのfMRI：顔／体選択性領域がclutter不変[20,21] • サルとヒトの乖離を埋めるためにfMRIで決定し たカテゴリ選択性領域の単一細胞データが必要 3
4. この研究の目的と結果 • IT細胞の複数物体に対する応答を再調査 • ２つの領域のニューロンを対象 – Middle lateral face patch(ML) – Middle body patch(MB) – この２つは単純なaveragingの振る舞いをしない[4,7] • 単一のML,MB細胞が３つの振る舞いを切り替え ていることを発見 – 振る舞い：winner-take-all, contralateral-take-all, weighted averaging – 条件：カテゴリ，空間的な構成，相対的なコントラ スト 4
5. fMRIによるface patchの特定 • 顔／非顔物体が含まれるface localizer patchを 使ってfMRIのface patchを特定[14,26] • MLを電極でレコーディング • ９０％の細胞がface selectivity index > 0.33 5
6. 呈示刺激の構成 • ３種類の顔と物体の組み合わせ • 水平，垂直に配置（3.2°） • V1はコントラストによって averagingからwinner-take-allに 変わる[8] ためコントラストも変調 • (180(4*9*5)pair+ 120(4*6*5)isolated)*8-10/cell 6
7. 応答の結果（水平） • 顔が対側視野で非顔が同側だとwinner-take-all • weighted averaging( = + 1 − ) に従うとしてを算出 7
8. 応答の結果（水平） • 顔が対側視野で非顔が同側だとwinner-take-all • weighted averaging( = + 1 − ) に従うとしてを算出 8 ML細胞の顔-物体刺激への応答は空間的な 構成と相対的なコントラストに強く依存
9. 本当に対側に顔があることが条件なのか？ • 受容野が対側に大きくあれば自然 な結果 • ITの受容野は大きく両視野にまで 及ぶ • 受容野位置がどの程度関係してい るか解析 – 各細胞の選好性をcontra-ipsi index(CII)で決定 – = − + . • 対側に選好性がある細胞が多い • ３つのグループ毎に統合ルールを 解析 9
10. 本当に対側に顔があることが条件なのか？ • 受容野が対側に大きくあれば自然 な結果 • ITの受容野は大きく両視野にまで 及ぶ • 受容野位置がどの程度関係してい るか解析 – 各細胞の選好性をcontra-ipsi index(CII)で決定 – = − + . • 対側に選好性がある細胞が多い • ３つのグループ毎に統合ルールを 解析 10 ML細胞の複数物体統合の振る舞いは 各ニューロンの空間チューニングに依らない
11. 受容野位置の影響をみる別の手法（垂直） • 水平ではなく垂直に刺激を呈示する – これは既存研究（ほとんどのIT細胞は averaging）[4] の反例になりうる • この条件では配置に関係なく winner-take-all 11
12. 受容野位置の影響をみる別の手法（垂直） • 水平ではなく垂直に刺激を呈示する – これは既存研究（ほとんどのIT細胞は averaging）[4] の反例になりうる • この条件では配置に関係なく winner-take-all 12 細胞の振る舞いは上下のチューニングにも 依存しない
13. 顔選択性や時間の影響 • 複数物体統合の振る舞いを各ニューロンの顔選 択性の関数としてテスト • 既存研究[13] では高い選択性のあるIT細胞は clutterに弱い • 顔の重みを時間の関数としてもテスト – 有意差はでない 13
14. ここまでのまとめ • 顔と物体を呈示したときの顔に選択性のあるIT （ML）細胞の応答を調べた • ML細胞の顔-物体刺激への応答は空間的な構成 と相対的なコントラストに強く依存 – 対側に顔，同側に物体だとwinner-take-all – 対側に物体，同側に顔だとweighted averaging • この振る舞いはニューロンの空間チューニング， 顔選択性の度合い，時間に依らない 14
15. ２つのpref.刺激に対するMLの応答 • ２つの顔が呈示されたときに同じような振る舞 いをするのか？ • １０００個の顔のペアを水平，垂直に呈示 • “active appearance model”で顔刺激作成 1. ２００の顔をデータベースから取得 2. 特徴点を手動で付ける 3. 平均の位置／形状にモーフ（appearance情報） 4. 各200のshape/appearanceでPCA 5. 各３つの主成分を算出 6. 平均からappearance→shapeで変形 15
16. 刺激の生成 • 選択した６次元でランダムに１０００枚の顔を 作成 • 合わせて１０００ペアの刺激を生成 • 単一の顔も含めて３０００刺激*2-4/cell • ６次元に対するチューニングを取るためにSTA 16
17. STAの生成結果（水平） • ４つのコンディションでSTA (1) 対側に単独で顔を呈示 (2) 対側にペアの一部の顔を呈示 (3) 同側に単独で顔を呈示 (4) 同側にペアの一部の顔を呈示 • (1)と(2)が似ている – 対側の顔へのチューニングは別の 顔が呈示されているかどうかに依 存しない • (4)がほぼ０ – 対側に顔が呈示されると同側は見 ていない 17 (1) (2) (3) (4)
18. STAの生成結果（垂直） • 垂直のときは４つのコンディションで似た傾向 • ペアの方がゲインが小さい 18 水平 垂直
19. STAの生成結果（垂直） • 垂直のときは４つのコンディションで似た傾向 • ペアの方がゲインが小さい 19 水平 垂直 [水平] 細胞はcontralateral-take-allに従う [垂直] 細胞はaveragingに従う
20. STAの相関 • ４つのSTAの相関を詳しく見る • １つの細胞から６つ（６次元）プロット • eのSlopeがほぼ1→contralateral-take-all • fはほぼ０ • g，hは0.5に近い→averaging 20
21. STAの相関 • ４つのSTAの相関を詳しく見る • １つの細胞から６つ（６次元）プロット • eのSlopeがほぼ1→contralateral-take-all • fはほぼ０ • g，hは0.5に近い→averaging 21 細胞はcontralateral-take-allとaveragingを 顔の配置（水平／垂直）で切り替えている
22. 応答を正規化した解析 • コンディション毎に正規化した応答の解析 • 顔のペアで正規化した応答は対側に単体で顔が あるときで正規化した応答と有意に相関(a,c) • しかし同側に単体で顔があるときとは無相関 (b,d) 22
23. ここまでのまとめ • ML細胞は複数物体統合ルールを切り替えている – winner-take-all – contralateral-take-all – weighted averaging • 条件 – カテゴリ – 空間的な構成 – 相対的なコントラスト • これらは定式化できるのか？ – normalizationの簡単な神経計算で説明できる 23
24. 統合の振る舞いについての解釈 • Normalization – ニューロンの応答を近隣ニューロンプールの応答の 合計で表現されるfactorで割る • = 11+22 11+22+ . – : 応答 – : 物体のコントラスト – : 2 = 0&1 ≫ のときの(物体1のみ呈示時の応答) – : 1 = 0&2 ≫ のときの(物体2のみ呈示時の応答) – : 物体に対する近隣ニューロンの重み ←norm. • はカテゴリ，空間的な構成に強く依存 – ex.) face patchの細胞なら ≫ 24
25. Normalizationモデルにおける重みの仮定 contralateral faces(1 ), ipsilateral faces(2 ), contralateral objects(3 ), ipsilateral objects(4 ) 1 ≫ 2 ≈ 3 ≫ 4 とするとすべての結果を説明できる 25
26. LFPと重みの関係 • LFP（数百の細胞の応答≈プールされた抑制信 号）と重みの関係が一致 • LFP電圧をnorm.モデルの重みに適用 – 実際の応答と99.4, 98.7%の応答の相関 26
27. 重みの正当性確認：フィッティング • の値を実験結果でフィッティング – LFPの値とよく似た結果に 27
28. 重みの正当性確認：コントラスト • コントラストも考慮したモデル • 実際の応答と高い相関 28
29. 重みの正当性確認：コントラスト • コントラストも考慮したモデル • 実際の応答と高い相関 29 Normalizationのフレームワークを拡張する ことで複数物体呈示も説明できる
30. Normalizationモデルの汎用性 • Normalizationモデルはface patchの細胞だけ が説明できるのか？ • 体に選択性のあるMB細胞でテスト 30
31. MB細胞の統合ルール • 体が対側，顔が同側→winner-take-all • 体が同側，顔が対側→averaging • 体と物体でも同様の結果 31
32. MB細胞の統合ルール • 体が対側，顔が同側→winner-take-all • 体が同側，顔が対側→averaging • 体と物体でも同様の結果 32 Normalizationモデルで説明できる
33. faceとbodyの違い • 対側にnon-pref.同側にpref.のとき – face • averaging • 同側への応答＞対側への応答 – body • winner-take-all • 同側への応答＜対側への応答 • face patchの対側への応答が大きいサブセット を見ても振る舞いは同じ 33 ITの中でも統合ルールは異なる
34. まとめ（1/2） • IT皮質のMLとMBにおいて複数物体に対する応 答をどのように統合しているのかを見てきた • ML,MBがwinner-take-allの振る舞いをする明確 な証拠を見つけた • clutter不変問題においてwinner-take-allが重要 な役割を担っている • 顔が同側にあるときはコントラストによる weighted averagingになる • winner-take-allの振る舞いはヒトのfMRI研究と 一貫している[20,21,24] 34
35. まとめ（2/2） • ２つの顔が呈示されたときの振る舞いは水平， 垂直で異なる – 水平ではcontralateral-take-allに従う – 垂直では単純なaveragingに従う • MBの結果はMLと一貫している • しかし違いもあるのでITの機能的役割の違いに 着目して統合メカニズムを解析することが重要 • normalizationは細胞がwinner-take-allに振る 舞うためのシンプルなモデルであり，clutter不 変な認識の助けになる 35