MIRU2020若手の会グループA発表

Transcript

1. 品川 政太朗, 岩本 蘭, ⾼⽥ 雅之, 真殿 航輝, 三好 遼 Mentor : 福井 宏 Retina-like Visual Image Reconstruction via Spiking Neural Model MIRU若⼿の会2020 Group-A 発表 8/1 (⼟) 16:25~16:55 @zoom
2. 背景 リアルタイムで動作するアプリケーションでは，迅速に反応 する vision processing が必要となる． ハイスピードなモーションをブレ・ボケなく取得したい 2
3. センサの⽐較 Spikeカメラは，ハイスピードなシーンの撮影に向いている． Time スパイク列 1 0 センサ 動作速度 データの取得 ⽅法 露光時間の設定 従来のカメラ 数⼗Hz 同期 ピクセル毎の設定不可 Spikeカメラ 40,000Hz ⾮同期 ピクセル毎の設定可 3
4. ⼤きく2つに分類 1. ルールベースによる再構成 (発⽕間隔, Windowベース） 2. 適応的閾値・⽣物の情報処理の仕組みを基にした再構成 Spike data からの画像再構成（従来研究） Texture from Playback (TFP) Texture from ISI (TFI) Texture from Adaptive threshold (TFA) 4
5. 従来研究の課題 コントラストの低下・ノイズ Raw spike TFW（ルールベース） TFI（ルールベース） TFA（適応的閾値） ルールベース⼿法：発⽕の閾値が⼀定，スパイクの統計情報を利⽤していない 適応的閾値を⽤いた⼿法：スパイクの統計情報を利⽤していない 5
6. 提案⼿法の特徴 Spikeカメラを⽤いたハイスピードなシーンの画像再構成を実現 1. Spiking Neural Networksによる画像再構成 2. Dynamic threshold とスパイクの統計情報を活⽤して性能を向上 Method 動画 Dynamic threshold スパイクの 統計情報の利⽤ TFW（ルールベース） TFI（ルールベース） ✔ TFA（適応的閾値） ✔ Ours ✔ ✔ ✔ 6
7. 提案モデル : Spiking Neural Network 3つの層で構成 1. Motion local excitation layer (MLEL) : 発⽕間隔別に分割 - static(発⽕間隔が⼀定) / dynamic(発⽕間隔が⾮⼀定) に分割 2. Spike refining layer (SRL) : Spike列のノイズ除去 3. Visual reconstruction layer (VRL) : Spike列からの画像再構成 MLEL SRL VRL 認識画像 スパイク列 static dynamic static dynamic 7
8. 提案モデル : Spiking Neural Network 3つの層で構成 1. Motion local excitation layer (MLEL) : 発⽕間隔別に分割 - static(発⽕間隔が⼀定) / dynamic(発⽕間隔が⾮⼀定) に分割 2. Spike refining layer (SRL) : Spike列のノイズ除去 3. Visual reconstruction layer (VRL) : Spike列からの画像再構成 MLEL SRL VRL 認識画像 スパイク列 static dynamic static dynamic 8
9. Motion local excitation layer (MLEL) ⼊⼒されたスパイク列をstatic/dynamicに分類する層 Spike plane スパイク列 t y static/dynamicに分割 Motion confidence matrixの⽣成 dynamic static ⼀定間隔 ✖⼀定間隔 static dynamic スパイク列 MLEL t dynamic t t static x 9
10. ポイント : 輝度とスパイクの発⽕間隔が相関 輝度 スパイク列 時間 明るい 輝度が⾼い→スパイクの発⽕間隔が狭い 輝度が低い→スパイクの発⽕間隔が広い 10
11. ポイント : 輝度の変化と発⽕間隔が相関 スパイク間隔は 分散の⼩さい 正規分布に従う 輝度が⼀定 t t 発⽕間隔が ほぼ⼀定 p(t) スパイク間隔は 分散の⼤きい 正規分布に従う 輝度が⾮⼀定 t t 発⽕間隔が ⼀定でない p(t) スパイクの履歴で 分布近似 スパイク 間隔 スパイク 間隔 static dynamic 11
12. ポイント : Spike履歴による近似分布からConfidenceを算出 t 新しく観測した Spike列 なだらかな正規分布 StaticなSpikeの履歴でできた正規分布 →Static / dynamicの判定が可能 スパイク 間隔 スパイク 間隔 Confidence Confidence 分布近似に使った スパイクの履歴 DynamicなSpikeの履歴でできた正規分布 → Static / dynamicの判定が難しい 急峻な正規分布 急峻 or なだらかな分布に ⼀定 0.9 0.2 12
13. ConfidenceからMotion confidence matrixの⽣成 static spikeである確率 (Confidence)の計算 Motion confidence matrixの⽣成 dynamic スパイク間隔 を観測 static dynamic static ある時刻tのスパイク x y x y t y x t y x スパイク列 Motion confidence matrixの⽣成 static/dynamicに分割 13
14. グラフカットにより、各要素をstatic/dynamicに分割 Motion confidence matrix T S グラフカットにより MRFのコストを最⼩化する 境界線を探索 T S 各要素をstatic/dynamicに領域分割 dynamic static スパイク列 static/dynamicに分割 Motion confidence matrixの⽣成 t y x 14
15. 提案モデル : Spiking Neural Network 3つの層で構成 1. Motion local excitation layer (MLEL) : 発⽕間隔別に分割 - static(発⽕間隔が⼀定) / dynamic(発⽕間隔が⾮⼀定) に分割 2. Spike refining layer (SRL) : Spike列のノイズ除去 3. Visual reconstruction layer (VRL) : Spike列からの画像再構成 MLEL SRL VRL 認識画像 スパイク列 static dynamic static dynamic 15
16. LIFニューロンを⽤いたノイズ除去を⾏う層 Spike refining layer (SRL) static SRL noise t V LIFニューロンの膜電位Vは発⽕してから ⼊⼒スパイクの影響を受けない期間 (不応期) が存在 不応期のスパイクをノイズとみなす⽅法 (ノイズを⾃然に除去することが可能) 不応期 発⽕ dynamic t t static dynamic t t 16
17. 提案モデル : Spiking Neural Network 3つの層で構成 1. Motion local excitation layer (MLEL) : 発⽕間隔別に分割 - static(発⽕間隔が⼀定) / dynamic(発⽕間隔が⾮⼀定) に分割 2. Spike refining layer (SRL) : Spike列のノイズ除去 3. Visual reconstruction layer (VRL) : Spike列からの画像再構成 MLEL SRL VRL 認識画像 スパイク列 static dynamic static dynamic 17
18. Visual reconstruction layer スパイクからグレースケール画像を再構成する層 STDPによる 教師なし学習 dynamic thresholdに よる画素値算出 static/dynamic スパイク 18
19. STDP(spike timing dependent plasticity) スパイクからグレースケール画像を再構成する層 STDPによる 教師なし学習 dynamic thresholdに よる画素値算出 • SNNの教師なし学習に⽤いられる⼿法 • 2層間のスパイクの発⽕タイミングで重みを更新する 2層⽬ 3層⽬ (a) 重みを⼤きくする場合 2層⽬が発⽕→3層⽬が発⽕ (b) 重みを⼩さくする場合 3層⽬が発⽕→2層⽬が発⽕ static/dynamic スパイク 2層⽬ 3層⽬ 19
20. STDPによる重みの更新計算 スパイクからグレースケール画像を再構成する STDPによる 教師なし学習 dynamic thresholdに よる画素値算出 ある時間区間ごとに各層の発⽕時刻を全て記録し，逐次的に 更新する スパイク発⽕時刻 • 2層⽬：t!"# = t$, t%, … • 3層⽬：t!&'( = ̂ t$, ̂ t%, … ただし、& A w = A) w > 0, τ = τ) (t!&'( − t!"# > 0) A w = A* w < 0, τ = τ* (t!&'( − t!"# < 0) 重みが増⼤ 重みが減少 時刻の近いスパイクが 更新幅に⼤きく影響する Δw = , !!"# , !!$%& A w exp − t"#$! − t"%& /τ static/dynamic スパイク 20
21. 重みの初期化⽅法 スパイクからグレースケール画像を再構成する STDPによる 教師なし学習 dynamic thresholdに よる画素値算出 同じ位置に近いほど⼤きな重みとなるよう初期化 (正規分布を利⽤) • 位置の近いニューロンほど同じタイミングで発⽕ • 再構成時の近傍画素値をスムージングする役割 重みW 2層⽬ 3層⽬ static/dynamic スパイク 21
22. Dynamic thresholdによる画素値算出 スパイクからグレースケール画像を再構成する STDPによる 教師なし学習 dynamic thresholdに よる画素値算出 Dynamic thresholdとは？ • ニューロンの発⽕閾値を変化させて発⽕頻度を⼀定にする仕組み • 元々は⽣物ニューロンで知られる同期現象を模すために提案された • 著者らは，LIFモデルを⼀般化したspike response model (SRM) [1] 由来の⼿法を採⽤ [1] Mensi S, Naud R, Pozzorini C, Avermann M, Petersen CC, Gerstner W. Parameter extraction and classification of three cortical neuron types reveals two distinct adaptation mechanisms. J Neurophysiol. 2012;107(6):1756-1775. ん？発⽕頻度が⼀定になる？ 発⽕頻度が持っていた輝度情報はどこへ？ 代わりにdynamic thresholdが輝度になるにゃ！ static/dynamic スパイク 22
23. ϑ23(t) Dynamic threshold ϑ!" (t)の仕組み V V%&$! t t t 重み付き⼊⼒スパイクS'( (t) 出⼒スパイクS'( ) (t) お互いに上昇と下降を繰り返す スパイク発⽕時の膜電位が徐々に上 にズレてるところに注⽬だにゃ！ 膜電位V dynamic thresholdと膜電位が同 じ値になるとスパイクが出る 輝度 23
24. 膜電位V ϑ+, t = ϑ- + 2 - . θ+, s S+, / t − s ds ϑ23(t) Dynamic threshold ϑ!" (t)の畳み込み計算 V%&$! t t t 重み付き⼊⼒スパイクS'( (t) 出⼒スパイクS'( ) (t) 時間で単調減少するフィルタθ+, t と 出⼒スパイクS+, / (t)の畳み込みで計算 Wikipedia “畳み込み”より θ+, t は指数関数 ϑ+, t ϑ+,(t)は，スパイクが発⽕すると 急上昇して徐々に減少する V 輝度 24 畳み込み : https://ja.wikipedia.org/wiki/%E7%95%B3%E3%81%BF%E8%BE%BC%E3%81%BF#/media/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Convolucion_de_entrada_con_respuesta_al_impulso.gif
25. フィルタθ+, t は，⼊⼒の総和が ⼤きいほどdynamic thresholdの 下がり具合を⼩さくする →発⽕するまでの閾値が上昇 ϑ23 (t) フィルタによるdynamic thresholdの値の変化 V V%&$! t t t 重み付き⼊⼒スパイクS'( (t) 出⼒スパイクS'( ) (t) θ+, t = η- exp − t − t0 τ ∫ (! ( S+, x dx (b) ⼊⼒がstatic のとき (a) ⼊⼒がdynamic のとき θ+, t = η- exp − t − t1 τ フィルタの形と閾値は⼀定 発⽕閾値が上昇 輝度 25
26. Dynamic threshold ϑ!" t を輝度 G!,",$ として表現 (a) ⼊⼒がdynamic のとき： ϑ+, t は動いてるので短い時間区間で近似 (b) ⼊⼒がstaticのとき： ϑ+, t は⼀定値なのでそのまま G2,3,6 = ϑ23 t G+,,,( = ϑ+, t* ⋅ t − t* t* ⋅ 2 - (" S+, x dx *3 V S+, t t t7 ϑ+, t* 輝度の変化を 抑える調整項 輝度 低めに調整 ⾼めに調整 スパイク たくさん来た あまり来ない フィルタの 収束予定値 26
27. 実験 評価⽅法 1. 画像の⾒た⽬の⽐較( 定性評価 ) 2. 画質評価指標での⽐較 (定量評価 ) ⽐較⼿法 動画 Dynamic threshold スパイクの統計情報 TFW TFI ✓ TFA ✓ ours ✓ ✓ ✓ 27
28. TFW TFI コントラストが低い TFA 明暗をうまく調節不可 Ours コントラストが丁度よい Normal speed (flower) Raw spike TFW TFI TFA Ours 28
29. High speed (car 100km/h) TFI 即時的な輝度のみを考慮 Ours 過去のスパイク列を考慮 Raw spike TFI Ours 29
30. 定量評価 (画質) 画質についての2つの評価指標で⾼精度 30
31. 定量評価 (high speed) 評価指標 STD (standard deviation) : 画像のコントラストの評価指標 CPBD (a noreference image blur metric) : motion blurの評価指標 31
32. まとめ 3層Spiking Neural Networkを⽤いた画像再構成 t スパイク列 ① Motion local excitation layer 画像のstatic/dynamicな部分を分割 ② Spike refining layer ノイズ除去 ③ Visual reconstruction layer グレースケール画像の再構成 過去のspike列と動的閾値を考慮し ハイスピードなシーンでの再構成画像の画質改善 32