Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[輪講] Joint coding of shape and blur in area V4
Search
kimny
April 24, 2019
Science
0
68
[輪講] Joint coding of shape and blur in area V4
輪講で用いた資料です.スライド内の図はすべて論文からの引用です.
kimny
April 24, 2019
Tweet
Share
More Decks by kimny
See All by kimny
[輪講] Evolving Images for Visual Neurons Using a Deep Generative Network Reveals Coding Principles and Neuronal Preferences
k1mny
0
18
[輪講] Representation of multiple objects in macaque category-selective areas
k1mny
0
21
[輪講] Foreground-Background Segmentation Revealed during Natural Image Viewing
k1mny
0
52
Other Decks in Science
See All in Science
Onsager代数とその周辺 / Onsager algebra tsudoi
usamik26
0
390
Introduction to Graph Neural Networks
joisino
4
1.5k
Non-Gaussian methods for causal discovery
sshimizu2006
0
190
研究・教育・産学連携の循環の実践
sshimizu2006
0
230
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
0
230
HAS Dark Site Orientation
astronomyhouston
0
5k
Pandas 2 vs Polars vs Dask (PyDataGlobal 2023 December)
ianozsvald
0
470
Pokemon Roughs
shoryuuken
0
380
「国と音楽」 ~spotifyrを用いて~ #muana
bob3bob3
2
340
ABEMAの効果検証事例〜効果の異質性を考える〜
s1ok69oo
3
1.6k
統計的因果探索の方法
sshimizu2006
0
890
ultraArmをモニター提供してもらった話
miura55
0
120
Featured
See All Featured
A Tale of Four Properties
chriscoyier
153
22k
Debugging Ruby Performance
tmm1
70
11k
Web development in the modern age
philhawksworth
203
10k
Ruby is Unlike a Banana
tanoku
96
10k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
9
1.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
Agile that works and the tools we love
rasmusluckow
325
20k
The Cult of Friendly URLs
andyhume
74
5.7k
Visualization
eitanlees
137
14k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Transcript
Joint coding of shape and blur in area V4 Timothy
D. Oleskiw, Amy Nowack & Anitha Pasupathy Department of Biological Structure, University of Washington Nature Communications volume 9, Article number: 466 (2018) https://www.nature.com/articles/s41467-017-02438-8
Natural sceneにおけるedge • edge cues → segmentation, recognition • Natural
sceneでは blurred edge • blur → depth, shadow 2
視覚システムとblur • blurの識別[15]やblurred境界の検出[14,16,17] • Computationalなモデル[18]はあるが,blurを扱う神経メカ ニズムは不明 • V1レベルでsharp/blur edgeは大きく違う •
中次(V4)はshape-selectiveなcellがいる[19] • 一般に物体輪郭をもとにしている[20-22] 3 Natural sceneに対して腹側経路がどのようにblurを エンコードし,shape情報と統合するのかわかっていない [E. T. Carlson et al., 2011]
この研究でなにをするか • 単一V4細胞が形状刺激を見たときの応答解析 • V4細胞が物体形状と境界のblurを共にエンコード (joint encode)しているという仮説を検証 • 単一細胞応答はshapeとblurのjoint modelで説明できる
• 自然画像処理では“shape”と“blur”の両方が重要な特徴 4
Selectivity for blur in area V4 5
呈示刺激 • c, dの刺激セット[22]を使用 • pref./non-pref.を選定 • pref.刺激セットに対して複数レベルでblurした刺激に対す る応答を計測 6
Shape selectiveな細胞 • blurをかけると背景との勾配がなめらかに • 80%のV4細胞はコントラストが上がるとレスポンスが上がる[23] • blurによってレスポンスは減るのでは • 実際多くの細胞はそう
• blur factorがある程度(~β=0.16)ぐらいまでは落ちない 細胞もいる • ロバストなshape selectivity 7
Shape & blur selectiveな細胞? • 対照的に他の多くのV4細胞はblurに影響 • pref. shapeでより大きな効果 中ぐらいのblurにおいて強いshape
selectivity 8
blurの効果の定量的解析 average blur tuning curve n=65 pref. stimuliに対する応答とblurの関係をプロット 9
blurの効果の定量的解析 n=65 低いblurと中ぐらいのblurにselectivityを持っているようにみえる 42 7 5 11 10
Controlling for stimulus size 11
刺激サイズが違って見えるのでは? • blurによって背景との輝度境界が変化 • 確かめるために元の刺激サイズを±10%変化 blurの選好性がサイズの影響であれば tuningのピークがシフトするはず 12
サイズによる影響 blurとresponseの関係は サイズに依らず一貫 • n=26 • size, blurの2-way ANOVA, p>.14,
median~.96 • blurはp<.05, n=23 blurの選択性は刺激サイズ では説明できない 13
Controlling for stimulus contrast 14
blurでコントラストが低下してるのでは? • 刺激の平均輝度はblurによって低下する • すなわちF/G間のコントラスト差が小さくなっている • 中ぐらいのblurではなく,そのときのコントラストに選好性が ある細胞なのではないか 15
テスト方法 • 平均輝度を合わせたnon-blurred(sharp)バージョンを作成 • 輝度にチューンしているなら応答に相関があるはず 16
2つの細胞の結果 • b26:blurとcontrastは関係ない • b32:blurとcontrastが似ている 17
全細胞の結果比較 • Center-of-Mass(CoM)を比較 • t-test, p<.05, n=31 刺激の輝度ではblur tuningを説明できない 18
n=34
Controlling for curvature modification 19
blurによって曲率が変わるのでは? • 輪郭の輝度しきい値やblurの強さによって輪郭が変わる • blurによって新たに現れた輪郭に選択性があるだけでは? 20
モデリング • 各細胞の選好する図(non-blur)を曲率に変換[25-27] • Angular Position and Curvature(APC) modelに フィッティング→細胞のShape
selectivityを学習 • blur刺激に対する応答が予測できるか? 21 [A. Pasupathy & C. E. Connor, 2001]
どのようにAPC modelを使うか • non-blur刺激でモデルを学習(2D Gaussian fitting) • blur刺激に対する応答を,輝度しきい値で決めた輪郭を もとに算出 •
しきい値は細胞ごとにNormalized Root Mean-Square Error(NRMSE)を最小にするものを選択 22
modelの予測比較 • mean model : blurを無視したモデル (同じ形状には同じ応答) • 最適化した輝度しきい値によるモデル の予想は単純な平均応答による予
測よりエラーが大きい 23
modelが学習できていることの確認 • Training NRMSEはBootstrapから算 出(non-blurだけで学習→予測) • Shape selectivityが学習できていない わけではない •
blur刺激に対する予測誤差> non-blur刺激に対する予測誤差 24
Joint coding of shape and blur 25
blur有り/無しモデル比較 • blurによる応答変調はsize, contrast, curvatureへの tuningでは説明できない • V4細胞がShapeとBlurをコードしているという仮説を支持 • 更に確かめるために,
Shape only モデルとShape and blurモデルをblur刺激で学習させ比較 • blur-invariantの仮定のもと,APCモデル • blur-selective項を追加したAPCBモデル(APC×B) 26
APC vs. APCB • APCBモデルのほうがblurred stimをよく説明できている 27
APCBモデルの汎化性能 • b -> over fittingしているわけではない • d -> blur
tuningに依らずによく予測できている • g -> 82%の細胞でAPCBが有意に予測(pair-wise t-test) APCBはAPCの一般化 28 (principle value) p<.05 (53 of 65)
APCBの予測例 • h -> 中ぐらいのblurに対して選択性のある細胞 • c,e -> 高いblurで応答が落ちる細胞 29
APCBモデルの構成 • APCBモデルのAPC*Bは可能性の一つ • APC+Bではどうなるか(同じ次元数で比較) • ⇒gain model(APC*B)のほうがエラーが小さい傾向 30 V4の細胞はshapeとblurをshape×blurでjoint
encodingしている
Discussionとまとめ 31
Discussion • 各細胞が低中レベルのblurにチューン • blur-tolerantなshapeの表現がpopulation codingされているの かも • blur selectivityと刺激の彩度に相関(sup.)
• blur-selective細胞が「影検出器」である可能性 • shapeとblurの両者へのチューニングが自然光景の表現に 有用なのではないか 32
まとめ • 自然画像を視覚処理する際の特徴としてblurに着目 • 実際にV4細胞がblurで応答を変化させることを示した • size, contrast, curvatureでは説明できない •
shapeとblurのjoint coding modelを作成 • modelはshape×blurの仮説を支持する 33
None
blur selectivityと様々な要因の関係