Capsule Networkは脳に学んだか

Hinton教授（Google DeepMind）et.al.の論文Dynamic Routing Between Capsules その他で提唱されたCapsule Networkを、人間の脳内のV1視覚野の動作原理（ニューロンのカラム構造など）と比較する視点で捉えてみました。

（Capsule Networkの特徴（一部））
Max-Poolingや誤差逆伝播法を用いない点が特徴的な、
画像データを入力値として受けとるニューラル・ネットワーク・モデル。主な特徴は以下のとおり。

・ある物体を検出する上で有効となる「パーツ部品」をとらえる際に手がかりとなる「いくつかの属性」特徴量（画像中の位置や傾き、光沢感や色合いなど）を捉えることができるニューロン・ノードを、（あるパーツ部品を認識する際に同時に共起して発火するノードとして）同じ「カプセル」に収める。
・個々のカプセルからは、そのカプセルが捉えることができる「あるパーツ部品」の「いくつかの属性」の状態情報（特徴量）を、数値として並べた「ベクトル表現」を出力する。
・ベクトルどうしは、コサイン類似度等で、互いの（意味の）関連性を数学的に演算できるので、下位レイヤ内の複数のカプセルから出力される複数のベクトルどうしで、互いに関連のあるベクトルどうしを「Dynamic routing」とよばれる一種のHebb則の原理で選別して、上位レイヤのベクトルに連結（結合）させる。
・これにより、「入力画像中の各パーツの座標位置関係」や、各パーツの「傾き」や「光沢感」、「色合い」といった、複数の参照軸で、低次の意味レイヤから高次の意味レイヤに向かって、Parser tree（構文木）構造のように、階層的に意味構造を組みててていくことができる。

Transcript

1. Capsule Networkは脳に学んだか 初稿 2017/12/3 (Sun.) 修正版 2017/12/09 Neuromorphic-A.I.
2. Capsule Networkは脳に学んだか このスライドは、Hinton et.al.によるNIPS2017論文 Dynamic Routing between Capsules で提案された Capsule network モデル が、 人間の大脳新皮質における視覚野の動作メカニズムを、 どれだけ取り入れているのかを、 主題的に取り上げるものです。
3. Capsule Network論文 Sabour, S., Frosst, N. & Hinton G. （NIPS 2017） Dynamic Routing between Capsules. http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf
4. 【2017/12/9 事後追記】  以下の論考も、「脳に学ぶAIモデル」という視点から、Capsule Networkを、Numenta社のHTM理論やVicarious社のRecursive Cortical Networkモデルほかと並べて論じている。 Gideon Kowadlo （December 1, 2017） agi.io by Project AGI https://agi.io/2017/12/01/new-approaches-to-deep-networks/  しかし、複数のモデルを列挙して並べてはいるものの、個々 のモデルを個別に取り上げて、解説している段階に留まって いる。  何らかの比較軸を設定して、これらのモデルを互いに比較す るところまでには、筆が及んでいない。
5. 【2017/12/9 事後追記】 Gideon Kowadlo （December 1, 2017） agi.io by Project AGI https://agi.io/2017/12/01/new-approaches-to-deep-networks/
6. 【2017/12/9 事後追記】 Gideon Kowadlo （December 1, 2017） agi.io by Project AGI https://agi.io/2017/12/01/new-approaches-to-deep-networks/
7. その前に・・・ Capsule Networkが注目されている 最大の理由である “パフォーマンスの高さ” についておさえます。
8. Capsule Networkの優れた点 Max-Poolingと誤差逆伝播法（BP法）を採用した 従来のCNN（ConvNet）に比べて、 実用的な機能面におけるパフォーマンスとして、 いくつかの点で勝っている点が、注目を集めている。
9. 検出された特定パーツ（目や鼻、タイヤやドアな ど）が、元の入力画像中のどの位置にあったのか、 各パーツどうしがどの角度で、どれくらい離れてい たか、という位置情報が消失せずに、保存される。 目と鼻があっても、その位置関係がおかしければ、 「人の顔」クラスに誤分類する誤りを犯さない利口 さがある。 Capsule Networkの優れた点（1）
10. 学習データ・セットにはなかったアングル角度から 撮影された物体も、物体を構成するパーツ間の位 置関係が学習済みの物体と同じであれば、特定 の物体として、同定可能。 パーツ間の位置関係を、物体を捉えたアングルか ら離れて、抽象的・一般的に理解している。 （位相幾何（トポロジー）上の関係情報を保存して いる？） Capsule Networkの優れた点（2）
11. 複数の異なる物体が部分的に重なり合っていても、 複数の物体を認識（同定）できる。 Capsule Networkの優れた点（3） （出典） 原論文 Sara Sabour ,Nicholas Frosst & Geoffrey E. Hinton Dynamic Routing Between Capsules https://arxiv.org/pdf/1710.09829.pdf
12. Capsule Networkのアルゴリズム と脳のメカニズムの類似点 に戻ります。
13. （１） カプセルの形成 ・・・ 特定物体（の一連の特徴）を捉える際に、 同時 に（共起して）活性化するニューロン・ノード【Hebb則】を、 同一のカプセル（＝同一のベクトル）の内部に、収納する。 （＝同一のベクトルを構成する（各次元の）数値として、配置する） （２）カプセル間の神経接続ネットワークの形成 ・・・ Dynamic routing アルゴリズム Capsule Network でも、 脳と同じHebb則を用いたアルゴリズムによって、 「カプセルの形成」と「カプセル間神経接続の形成」 を動的に行っている。
14. Capsule Network と 人間脳（V1視覚野） との類似点 （１） Capsule と 人間の脳内におけるコラム構造 （＝複数の視覚ニューロンの束） との類似性
15. 人間の脳のV1視覚野 網膜の「同じ座標位置」の「同じ画像特徴量」を捉える ニューロン細胞は、「同じ位置に集結」している （コラム構造） （出典） 倉田 耕治 （大阪大学基礎工学部） 「トポグラフィック・マッピング形成の数理」 https://www.jstage.jst.go.jp/article/biophys1961/31/5/31_5_32/_pdf/-char/ja （出典） 三上 章允（中部学院大学短期大学部 総合研究ｾﾝﾀｰ所長） 「コラムの話、視覚野の規則的構造」 http://web2.chubu-gu.ac.jp/web_labo/mikami/brain/28/index-28.html
16. 人間の脳のV1視覚野 コラム構造の中のある位置（＝3次元座標）を指定すると、 （右眼球or左眼球由来, 特定の傾きのエッジ, 特定の色調） を検出しているニューロンを指定できる 【 色 調 】 ３つの属性でみたとき、類似属性を捉えるニューロンが、 コラム構造体の中で、隣り合って近接配置されている - 赤軸（左右どちらの眼球由来の画像情報か？） - 青軸（捉えられた色調は何か？） - 橙軸（捉えられた線分（エッジ）の傾きは何度か？） カラム構造の中の「ここの位置」にあるニューロンは、 （右眼球（R）由来の, 網膜内のある座標位置に届いた, ある色調の, 縦垂直方向のエッジ（┃）） を捉えるニューロンである。
17. Capsule Network Capsule Network の 各カプセルも、 「複数の画像属性」の「ある組み合わせ」 の物体を検出するニューロンを、 次元数が２以上のベクトル値の形式で指定している、と見なすことができる。 （画像内の特定の座標位置, 特定の傾き方向, 特定の色調, ・・・） 【 色 調 】 カラム構造の中の「ここの位置」にあるニューロンは、 （右眼球（R）由来の, 網膜内のある座標位置に届いた, ある色調の, 縦垂直方向のエッジ（┃）） を捉えるニューロンである。 Capusule Network
18. Capsule Network このあたりは、以下のスライドが注目してわかりやすく解説している。 Fujimoto Keisuke氏 SlideShareスライド 「機械学習論文読み会 2017.11.25 @peisuke」 https://www.slideshare.net/FujimotoKeisuke/dynamic-routing-between-capsules
19. Capsule Network このあたりは、以下のスライドが注目してわかりやすく解説している。 （物体の姿勢角度, 大きさスケール, 色合い, ・・・） ＝次元数と同じ数の属性データが収められたベクトル Fujimoto Keisuke氏 SlideShareスライド 「機械学習論文読み会 2017.11.25 @peisuke」 https://www.slideshare.net/FujimotoKeisuke/dynamic-routing-between-capsules
20. Capsule Network と 人間脳（V1視覚野） との類似点 （２） Capsule間の結合アルゴリズム と （人間の脳内にある）コラム構造内の各ニューロン間 の神経接続 の接続重みの増幅・抑制メカニズムの類似性 【 どちらもHebb則を採用している 】
21. （Hebb則については、以下を参照） 浅川 伸一 （東京女子大学情報処理センター） 「学習について」 http://www.cis.twcu.ac.jp/~asakawa/waseda2002/learning.pdf
22. Capsule Network このあたりも、Fujimoto氏のスライドがわかりやすい。 Fujimoto Keisuke氏 SlideShareスライド 「機械学習論文読み会 2017.11.25 @peisuke」 https://www.slideshare.net/FujimotoKeisuke/dynamic-routing-between-capsules
23. Capsule Network このあたりも、Fujimoto氏のスライドがわかりやすい。 Fujimoto Keisuke氏 SlideShareスライド 「機械学習論文読み会 2017.11.25 @peisuke」 https://www.slideshare.net/FujimotoKeisuke/dynamic-routing-between-capsules
24. Capsule Network このあたりも、Fujimoto氏のスライドがわかりやすい。 Fujimoto Keisuke氏 SlideShareスライド 「機械学習論文読み会 2017.11.25 @peisuke」 https://www.slideshare.net/FujimotoKeisuke/dynamic-routing-between-capsules
25. なお、金子氏（東京大学）のスライドは、 「構文木」（Parser tree）のイメージを用いて、 Capsule Network において、以下のプロセスが進行する様 子を解説している。 1.ベクトル表現で表現された、（Semantic levelが）低次の意味 情報（物体の特徴集合）どうしが、 2. Dynamic routingによって、構文木の木構造のように合流 しあうことで、 3. より高次（のSemantic level）の意味情報（物体輪郭） が、生成されていく
26. 金子 真也 氏 SlideShareスライド 「Dynamic Routing Between Capsules（NIPS2017）」 https://www.slideshare.net/MasayaKaneko/dynamic-routing-betweencapsules?from_action=save
27. 金子 真也 氏 SlideShareスライド 「Dynamic Routing Between Capsules（NIPS2017）」 https://www.slideshare.net/MasayaKaneko/dynamic-routing-betweencapsules?from_action=save
28. （その他の比較すべき論点）
29. （コラム構造は、自己組織化プロセスを経て、 内発的に形成された可能性が高い） （参考） 浅川 伸一 （東京女子大学情報処理センター） 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
30. （参考） 浅川 伸一 （東京女子大学情報処理センター） 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
31. （参考） 浅川 伸一 （東京女子大学情報処理センター） 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
32. （参考） 浅川 伸一 （東京女子大学情報処理センター） 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
33. （その他、参考）
34. （その他、参考） Capsule Network以外の深層ニューラルネットワークモデルについて、 人間の脳のメカニズムを部分的に、いろいろな角度から取り入れた各種のモデル については、五木田氏の以下のスライドによくまとまっている。 Kazuya Gokita氏 「脳は誤差逆伝播しているか？」 https://www.slideshare.net/kazoo04/ss-69947926
35. （その他、参考） 人間の大脳新皮質における「６層の階層」のモデル化を試みている人工知能モデル として、Jeff Hawkins氏のHTM（Hierarchical Temporal Memory、階層的時間的記憶） モデルがある。
36. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
37. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
38. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
39. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
40. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
41. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
42. （その他、参考） 以下がわかりやすい。 松田卓也 （神戸大学名誉教授） 「大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal memory (HTM)」 全脳アーキテクチャー勉強会 パナソニックセンター東京 https://wba-initiative.org/wp-content/uploads/2015/05/20160518-wba14-matuda.pdf
43. （その他、参考） 以下のブログ記事も、わかりやすい。 BrainHacker 「謎のアメリカ人工知能ベンチャー、Vicariousの正体に迫る」 http://brainhacker.hatenablog.com/entry/2016/06/04/164428
44. （その他、参考） 以下のブログ記事も、わかりやすい。 BrainHacker 「謎のアメリカ人工知能ベンチャー、Vicariousの正体に迫る」 http://brainhacker.hatenablog.com/entry/2016/06/04/164428