[輪講] Joint coding of shape and blur in area V4

輪講で用いた資料です．スライド内の図はすべて論文からの引用です．

Transcript

1. Joint coding of shape and blur in area V4 Timothy D. Oleskiw, Amy Nowack & Anitha Pasupathy Department of Biological Structure, University of Washington Nature Communications volume 9, Article number: 466 (2018) https://www.nature.com/articles/s41467-017-02438-8
2. Natural sceneにおけるedge • edge cues → segmentation, recognition • Natural sceneでは blurred edge • blur → depth, shadow 2
3. 視覚システムとblur • blurの識別[15]やblurred境界の検出[14,16,17] • Computationalなモデル[18]はあるが，blurを扱う神経メカ ニズムは不明 • V1レベルでsharp／blur edgeは大きく違う • 中次（V4）はshape-selectiveなcellがいる[19] • 一般に物体輪郭をもとにしている[20-22] 3 Natural sceneに対して腹側経路がどのようにblurを エンコードし，shape情報と統合するのかわかっていない [E. T. Carlson et al., 2011]
4. この研究でなにをするか • 単一V4細胞が形状刺激を見たときの応答解析 • V4細胞が物体形状と境界のblurを共にエンコード （joint encode）しているという仮説を検証 • 単一細胞応答はshapeとblurのjoint modelで説明できる • 自然画像処理では“shape”と“blur”の両方が重要な特徴 4
5. Selectivity for blur in area V4 5
6. 呈示刺激 • c, dの刺激セット[22]を使用 • pref./non-pref.を選定 • pref.刺激セットに対して複数レベルでblurした刺激に対す る応答を計測 6
7. Shape selectiveな細胞 • blurをかけると背景との勾配がなめらかに • 80％のV4細胞はコントラストが上がるとレスポンスが上がる[23] • blurによってレスポンスは減るのでは • 実際多くの細胞はそう • blur factorがある程度（～β=0.16）ぐらいまでは落ちない 細胞もいる • ロバストなshape selectivity 7
8. Shape & blur selectiveな細胞？ • 対照的に他の多くのV4細胞はblurに影響 • pref. shapeでより大きな効果 中ぐらいのblurにおいて強いshape selectivity 8
9. blurの効果の定量的解析 average blur tuning curve n=65 pref. stimuliに対する応答とblurの関係をプロット 9
10. blurの効果の定量的解析 n=65 低いblurと中ぐらいのblurにselectivityを持っているようにみえる 42 7 5 11 10
11. Controlling for stimulus size 11
12. 刺激サイズが違って見えるのでは？ • blurによって背景との輝度境界が変化 • 確かめるために元の刺激サイズを±10%変化 blurの選好性がサイズの影響であれば tuningのピークがシフトするはず 12
13. サイズによる影響 blurとresponseの関係は サイズに依らず一貫 • n=26 • size, blurの2-way ANOVA, p>.14, median~.96 • blurはp<.05, n=23 blurの選択性は刺激サイズ では説明できない 13
14. Controlling for stimulus contrast 14
15. blurでコントラストが低下してるのでは？ • 刺激の平均輝度はblurによって低下する • すなわちF/G間のコントラスト差が小さくなっている • 中ぐらいのblurではなく，そのときのコントラストに選好性が ある細胞なのではないか 15
16. テスト方法 • 平均輝度を合わせたnon-blurred(sharp)バージョンを作成 • 輝度にチューンしているなら応答に相関があるはず 16
17. ２つの細胞の結果 • b26：blurとcontrastは関係ない • b32：blurとcontrastが似ている 17
18. 全細胞の結果比較 • Center-of-Mass(CoM)を比較 • t-test, p<.05, n=31 刺激の輝度ではblur tuningを説明できない 18 n=34
19. Controlling for curvature modification 19
20. blurによって曲率が変わるのでは？ • 輪郭の輝度しきい値やblurの強さによって輪郭が変わる • blurによって新たに現れた輪郭に選択性があるだけでは？ 20
21. モデリング • 各細胞の選好する図（non-blur）を曲率に変換[25-27] • Angular Position and Curvature(APC) modelに フィッティング→細胞のShape selectivityを学習 • blur刺激に対する応答が予測できるか？ 21 [A. Pasupathy & C. E. Connor, 2001]
22. どのようにAPC modelを使うか • non-blur刺激でモデルを学習(2D Gaussian fitting) • blur刺激に対する応答を，輝度しきい値で決めた輪郭を もとに算出 • しきい値は細胞ごとにNormalized Root Mean-Square Error(NRMSE)を最小にするものを選択 22
23. modelの予測比較 • mean model : blurを無視したモデル （同じ形状には同じ応答） • 最適化した輝度しきい値によるモデル の予想は単純な平均応答による予 測よりエラーが大きい 23
24. modelが学習できていることの確認 • Training NRMSEはBootstrapから算 出（non-blurだけで学習→予測） • Shape selectivityが学習できていない わけではない • blur刺激に対する予測誤差＞ non-blur刺激に対する予測誤差 24
25. Joint coding of shape and blur 25
26. blur有り／無しモデル比較 • blurによる応答変調はsize, contrast, curvatureへの tuningでは説明できない • V4細胞がShapeとBlurをコードしているという仮説を支持 • 更に確かめるために， Shape only モデルとShape and blurモデルをblur刺激で学習させ比較 • blur-invariantの仮定のもと，APCモデル • blur-selective項を追加したAPCBモデル（APC×B） 26
27. APC vs. APCB • APCBモデルのほうがblurred stimをよく説明できている 27
28. APCBモデルの汎化性能 • b -> over fittingしているわけではない • d -> blur tuningに依らずによく予測できている • g -> 82%の細胞でAPCBが有意に予測(pair-wise t-test) APCBはAPCの一般化 28 (principle value) p<.05 (53 of 65)
29. APCBの予測例 • h -> 中ぐらいのblurに対して選択性のある細胞 • c,e -> 高いblurで応答が落ちる細胞 29
30. APCBモデルの構成 • APCBモデルのAPC*Bは可能性の一つ • APC+Bではどうなるか（同じ次元数で比較） • ⇒gain model(APC*B)のほうがエラーが小さい傾向 30 V4の細胞はshapeとblurをshape×blurでjoint encodingしている
31. Discussionとまとめ 31
32. Discussion • 各細胞が低中レベルのblurにチューン • blur-tolerantなshapeの表現がpopulation codingされているの かも • blur selectivityと刺激の彩度に相関（sup.） • blur-selective細胞が「影検出器」である可能性 • shapeとblurの両者へのチューニングが自然光景の表現に 有用なのではないか 32
33. まとめ • 自然画像を視覚処理する際の特徴としてblurに着目 • 実際にV4細胞がblurで応答を変化させることを示した • size, contrast, curvatureでは説明できない • shapeとblurのjoint coding modelを作成 • modelはshape×blurの仮説を支持する 33
35. blur selectivityと様々な要因の関係