[輪講] Evolving Images for Visual Neurons Using a Deep Generative Network Reveals Coding Principles and Neuronal Preferences

スライド内の画像は全て論文からの引用です．
(https://www.sciencedirect.com/science/article/pii/S0092867419303915)

Transcript

1. Evolving Images for Visual Neurons Using a Deep Generative Network Reveals Coding Principles and Neuronal Preferences Cell, Volume 177, Issue 4, 2 May 2019, Pages 999-1009.e10 https://www.sciencedirect.com/science/article/pii/S0092867419303915
2. Abstract A generative deep neural network and a genetic algorithm evolved images guided by neuronal firing • Evolved images maximized neuronal firing in alert macaque visual cortex • Evolved images activated neurons more than large numbers of natural images • Similarity to evolved images predicts response of neurons to novel images 2 Graphical Abstract
3. INTRODUCTION pp. 999 - 1001 3
4. Elucidating neuronal tuning in visual cortex • 視覚野のニューロンが選好する刺激を知りたい • しかしすべての刺激を提⽰することは不可能（~10$%&） • ⾃然画像に限定してもすべては無理 • →特定の特徴に着⽬してad hocに刺激を選択 4
5. Previous works 真のチューニングを⾒逃しているのでは？ 1. よく反応する刺激をhand-pick → それを変形させる[Chang and Tsao, 2017; Freiwald et al., 2009; Kobatake and Tanaka, 1994] ニューロンは変形verに強く反応[Freiwald et al., 2009; Leopold et al., 2006] 2. Spike-triggered averaging[Gaska et al., 1994; Jones and Palmer, 1987] ⾮線形性がないので⾼次の視覚野では良い結果が得られない 3. Genetic algorithm[Carlson et al., 2011; Yamane et al., 2008] • ニューロン⾃⾝が刺激を選ぶ • → これを拡張してITのtuningを調べる 5
6. Overview of the approach 6 Deep generative network [Dosovitskiy and Brox, 2016] Genetic algorithm + Figure 1. (D) XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)
7. Generative neural network • ImageNetで学習済み • ⾃然画像の特徴のみで構成される空間 • 脳も実世界画像から学習しているので選好する画像も⾃然画像 の特徴を持つのでは？ • Input: 4096 dim. vector (image code) • Output: 256*256 RGB image 7 Figure 1. (A)
8. Genetic algorithm • Macaqueレスポンスを使ってimage codeを最適化 → GNNの⼊⼒に • Initial: 40枚のテクスチャ[Portilla and Simoncelli, 2000] とpixelwise lossが 最⼩となるimage codeを⽣成 • Probabilityがtop10のimage codeは そのまま次の世代へ • 残り30はprobabilityをもとに⽣成 各⼦は¼の確率で突然変異 8 Figure 1. (B) firing rate -> Z-score -> softmax -> probability
9. Neuronal recording • Passive fixation task中のIT野の応答を計測 • (70-200ms from onset) – (0-60ms from onset) • Synthetic / Reference imageを呈⽰ • Synthetic: GNNの出⼒ • Reference: faces, body partsなど • 実験時間：1~3h • 6 monkeys(Ri, Gu, Jo, Y1, Ge, B3) • 1 monkey(Vi)のV1でテスト 9 Figure 1. (C) CIT PIT
10. RESULTS pp. 1001-1007 10
11. Evolution of Preferred Stimuli for Units in CaffeNet • CaffeNet(AlexNetの⼀種)でテスト • Unitのactivationをresponseに (A) 得られた画像はground-truth に近い (B) Activationも⾃然画像より⾼い (C) evolved/best⽐を各レイヤ, 100 random unitで ⾒ても同じ 11 Figure 2
12. Evolution of Preferred Stimuli by One Biological Neuron • PIT single unit • 世代が進むにつれてsyntheticに対して強く応答 (referenceはadaptationで弱くなっている) 12 Figure 4. (A) Video S1: Average of top 5 synthetic images for each gen. −× exp − +
13. Consistent result across days • 同じunitに対して別⽇に実験 • 最終的なSynthetic imageに同じような特徴が現れる • 左側に茶⾊ • 上部にピンク/茶⾊の円と⿊い点 13 Figure 4. (B-E) Largest response → Worst response →
14. Evolution of Preferred Stimuli in Other Neurons 46実験施⾏（single-, multi-unit） 14 Figure 5. (A,B) (A) exp. fittingのamp. Synthetic: 45実験で有意に>0 Reference: ⼀定 or 減少 (B) Max responseも Syntheticの⽅が⼤きい (25実験)
15. Comparison between natural and synthetic images XDREAMで⽣成された画像がNatural刺激（hand- picked）よりもeffective 15 Figure 5. (C,D) 世代が進むとresponse⼤ 毎⽇会っている 飼育員
16. Example results (10 units) 選好性がEvolved imagesに（なんとなく）反映されている 16 Figure 6. Contralateral single eyeに特化 [Issa and DiCarlo, 2012] Face Monkey Face Body Black square Black orange Small dark Scene Familiar person
17. Predicting Neuronal Responses to a Novel Image from Its Similarity to the Evolved Stimuli • Evolved imageが意味のあるものであれば，それを使って 応答推定ができるはず • AlexNet fc6 (4096 unit)の空間で似ているnatural imageを探す • データセット • ラボのデータベース（~60,000 images） • ILSVRC2012（random 100 samples from 1,000 category） • ImageNetのfaces, macaques • Animal care personnel画像（100 images） 17
18. Similar images in fc6 space • AをAlexNetに⼊れて得られ るベクトルとの相関でランキン グ • Aでよくactivateされるunitに 対してactivation maximization → D (preferred shape) • 丸いピンク&⿊い点 18 Figure S5. (A-E)
19. Category of correlated images • すべての実験に対してtop 100を算出(corr. = .30~.61) • WordNet[PrincetonUniversity, 2010] のラベルを可視化 • 選好性ごとに傾向がある 19 Figure S5. (F,G) Natural-image preferences for faces places
20. Predicting neuronal responses using fc6 similarity • Final gen.のsynthetic imageとfc6 spaceでの距離に応じ てグループ分けされた画像を呈⽰ • Syntheticに近いほどresponse⼤ 20 Figure 7. −21.1 −5.9 = −5.7 spikes/
21. Invariance to Evolved versus Natural Images • IT neuronsは transformation invariant [Ito et al., 1995; Kobatake and Tanaka, 1994] • position, size, rotationを変 えてoriginalとの相関を⾒る • Naturalの⽅がoriginalとの相 関が⾼い • テストに使った刺激に依存？ 21 Figure S6.
22. Evolution of Preferred Stimuli for Populations of Neurons • 32 sites on an arrayのすべてのactivityを活性化させる刺 激が作れるか？ • Average population responseでXDREAM • 3 monkeys (Ri, Gu, Y1) • Median population response: 9.4, 30.7, 27.8 spikes/s • Firing rate increased sites: 61%, 93%, 99.5% • Riではmacaquesなどのカテゴリが現れた LFP, fMRIなどのcoarser samplingにも使える 22
23. Testing XDREAM Using the Ground Truth of Primary Visual Cortex • 刺激はRF中⼼に（サイズはITと同じ3 deg.） • ReferenceにGrating刺激を • orientation (0, 45, 90, 135 deg.) • spatial freq. (~0.5, 1, 2 cycles/deg.) • Reference 114.5±1.8, synthetic 184.5±1.8 spikes/s • 中⼼部分のorientationの相関 • grating vs. synthetic • r=0.59±0.09 (shuffled distribution: 0.01±0.26) Syntheticでpreferred orientationを再現 23
24. DISCUSSION pp. 1007-1008 24
25. Summary • 既存のAdaptive samplingを改良したXDREAMを提案 • GNNを使うことで，従来のパラメトリックな⼿法[Yamane et al., 2008; Chang and Tsao, 2017] よりも広い空間を探索 • 細胞は⼀つの特徴だけにチューンしているわけではないので有⽤ • ⾃然画像よりも好きな刺激を合成できた • ⾒てわかる画像（顔）もあったが，わからないものもあった • →いままでの⼿法で取りこぼしてきたtuningを持っている 25
26. What are these powerful stimuli “dreamed of” by the neurons? • fc6の空間で近い画像を⾒る（NNの⾼レイヤはレスポンス を予測できるため[Yamins et al., 2014] ） • face-preferring neurons: ニューロンのselectivityと⼀貫 • place-preferring neurons: 直線の輪郭がある様々な画像 • PITとCITのtuning • PIT: radial grating[Pigarev et al., 2002] , color[Zeki, 1977] , single eye[Issa and DiCarlo, 2012] • CIT: distinct face axes[Chang and Tsao, 2017; Freiwald et al., 2009] • 今回の結果: 両⽅ともcomplex もっとabstractなパラメータ （軸など[Chang and Tsao, 2017; Freiwald et al., 2009; Leopold et al., 2006] ） にチューンしてObjectを区別しているのでは？ 26
27. Effectiveness of this approach • この⼿法がGlobal optimum stimuliを求めたのかわからな い（ニューロンにsingle global optimum stimuliがあるの かもわからない） • 同じunitに対して繰り返し似た特徴が得られる • → invariance i.e., OR gate-like operation • 他の階層でも似たようなことが起きる[Hubel and Livingstone, 1985; Riesenhuber and Poggio, 1999] 少なくとも数百万の⾃然画像より強く応答する 画像を⽣成できる 27