NeuralConceptNetwork v0.3 (ja)

このスライドは現在開発中の「概念を表現、検索、分析、学習、形成するための有向ネットワーク」である Neural Concept Network (NCN) の説明です。（作成中）

Transcript

1. Neural Concept Network Ver 0.3 1
2. Index 1. Introduction 2. Overview 3. Conception 4. Concept Network function 5. Neural Network function 6. Neural Concept Network function 7. Reference materials 2
3. 1. Introduction 3
4. Precaution • 本ドキュメントは作成中のものです。 • 次のスライドは開発途中のメモであり、正式版で削除する可能 性があります。 • 本ドキュメントは一部アニメーションを使用しています。以下 のアイコンがあるスライドにはアニメーションがあります。 PDF 版はアニメーションが再生できないので、PowerPoint 版 を使用してください。 animation 4
5. Self-introduction • Name – Akihiro Yamamoto • Twitter – A_Ym • Focus on – AI, Artificial Consciousness (AC), Neural Network, Concept theory, Brain, Quantum Info, OpenCL, C#, MS Azure.. – And BOOM BOOM SATELLITES!! • https://booklog.jp/users/a-ym (lang:ja) 5
6. 2. Overview 6
7. What’s Neural Concept Network • 概念を表現、検索、分析、学習、形成するための有向ネット ワークである。 • 以下の2機能からなる。 – Concept Network: 概念を表現するための機能 – Neural Network: 概念を検索、分析、学習、形成するための機能 以降必要に応じて NCN と略す。 7
8. Features of Neural Concept Network • 従来の概念表現では複雑になる、「相対的、階層的、文脈依 存」の概念を、数学的知識やニューラル ネットワークに関す る知識がない人にも分かる形式で表現できる。 • この表現形式は自己内包、自己言及表現もできる。 • 簡易的なスパイキング ニューラル ネットワーク (SNN: Spiking Neural Network) の機能を持ち、概念の検索、 （トップダウン、ボトムアップ）分析、学習、形成に使用する。 8
9. 3. Conception 9
10. Conception-1 • 人間並みの思考能力を持つ人工知能 (HLAI: Human Level Artificial Intelligence) 実現の一環である。 • 現状では HLAI 実現のための トップダウン アプローチ ボトムアップ アプローチ の距離が大きすぎるので、ミドルアウト アプローチが必要と 考えた。 • 「概念 (concept)」の表現、処理を実装することが中間点の 機能として必要になると考えた。 10
11. HLAI Roadmap Human Intelligence Artificial Intelligence Artificial Neural Network Human Neural Network Concept Semantics Language Thought Planning Recognition Perception Sense Cognition 11
12. HLAI Roadmap のポイント • Concept が 言語 (Language), 意味 (Semantics) より下に位 置しているのがポイント。 • 現在、言語処理を実現してから（高次）概念の処理に取り掛か るという流れが多いが、先に概念処理、次いで意味の処理を実 現しなければ言語処理が実現できないと考える。 12
13. Conception-2 • 概念表現のための有向ネットワーク構造を考えたところ、 ニューラルネットワークに似たものができた。 • 試しに SNN の機能を組み込んで動かしたところ概念の分析に 有用な結果が得られた。 13
14. 4. Concept Network function 14
15. 概念の定義 • 「概念とはどういう概念か」を定義するのは難しい。 • そこで、 概念とは「ある概念」を「他の概念」との関係で表すもの という循環表現で定義する。 • 以降で NCN での概念の関係表現 (relation-representation: RR) を説明する。 15
16. RR1 – basic-relation (基本関係) • 概念「A」は概念「B」に対し関係があるということをノード と有向エッジで表現する。 • ノードを「概念 (concept)」、有向エッジを「関係 (relation)」と呼ぶ。 A B concept concept relation 16
17. • relation の始点/終点となる概念をそれぞれ 「元概念 (source concept)」 「先概念 (destination concept)」 と呼ぶ。 A B (source) concept (destination) concept relation (origin) 17
18. 概念が扱う対象 • ここで概念「A」と概念「B」としているが、この A, B は分か りやすくするためのラベルであり、実際にはテキストデータ、 音声、画像データや他のニューラルネットワークでも構わない。 • 内部的には UUID で識別する。 18
19. • 自己関係や相互関係、循環関係は以下のように表現する。 A B A B C A 19
20. 基本関係の例： 人は手に対し関係がある。 人 手 20
21. RR2 – multiple-relations (複数関係) • 複数の関係は以下のように表現する。 A B C C B A C A B C A B 21
22. 複数関係の例： 人は手と足に対し関係がある。 人 手 足 足 手 人 22
23. RR3 – sub-relation (サブ関係) • 関係をさらに他の概念で修飾することをサブ関係と呼ぶ。 • 概念 A は B に対し C という関係がある、ということを以下 のように表現する。 • relation1 を起点とした場合、relation2 がサブ関係となる。 A B C relation2 (sub-relation) relation1 (origin) 23
24. • 逆に relation2 を起点とした場合、relation1 を上位関係 (super-relation) と呼ぶ。 A B C relation2 (origin) relation1 (super-relation) 24
25. サブ関係の例： 人は手に対し有るという関係がある。 → 「人には手が有る」 人 手 有る 25
26. 文型と関係の順序 (1/2) • ここの例では日本語の文型順序で関係を定義しているが NCN では関係の順序は文法的な意味は持たないため、英語の文型順 序で関係を定義してもよい。 • これらの概念構造からどのような意味を見出すかは解釈する側 に依存する。 人 手 有る 人 有する 手 日本語文型 英語文型 26
27. 文型と関係の順序 (2/2) • 能動態、受動態を優先する場合は英語の文型順序の方が後に述 べる相対表現がし易い。 • 自動詞の場合は日本語の文型順序の方が相対表現がし易い。 27
28. RR4 – nested-relation (入れ子関係) • サブ関係をさらにサブ関係で修飾する入れ子関係を以下のよう に表現する。 A B C D 28
29. A B C D • relation3 を起点とした場合の最上位の関係を「owner- relation」 と呼ぶ。 relation3 (origin) relation2 (super-relation) relation1 (owner-relation) 29
30. 入れ子関係の例1： 人は手に対し2つ（で修飾される) 有るという関係がある → 「人には手が2つ 有る」 人 手 有る 2つ 30
31. 入れ子関係の例2： 人は手と足に対し2つ（で修飾される) 有るという関係がある。 → 「人には手と足が2つ 有る」 人 手 有る 2つ 足 31
32. 入れ子関係の例3： 例2のネットワークは以下のように簡略化できる。 人 手 有する 2つ 足 32
33. 3項表現の限界 • 「関係の概念表現」は RDF (Resource Description Framework) やグラフデータベースの3項表現が近い。 – 例: RDF は主語 (subject), 述語 (predict), 目的語 (object) のトリ プルによって表現する。 • 現実の情報を扱う場合、3項表現だけでは足りない。 • NCN では RDF の述語に相当する関係自体も概念として表現 し、サブ関係と組み合わせてより現実に近い概念表現ができる。 33
34. RR5 – relativity (関係度) • サブ関係の関係度 (relativity) を 0.0 < relativity < 1.0 で 表す。 • 0.0 に近いほど「元概念」に近い関係、1.0 に近いほど「先概 念」に近い関係を表す。 A B C D relativity = 0.25 relativity = 0.5 E relativity = 0.75 34
35. 関係度の例： 「人には指が5つ 有る 手が2つ 有る」 人 手 有る 2つ 指 5つ 35
36. • 関係度、サブ関係の順序は文法的な意味を持たせるものではな い。 • 以下のように同じ事実を表していても強調したい事柄の順序が 異なる場合もある。 Mr. Smith yesterday this road passed through yesterday Mr. Smith this road passed through yesterday this road Mr. Smith passed through Mr. Smith passed through this road on yesterday. Yesterday, Mr. Smith passed through this road. Yesterday and this road, Mr. smith passed through. Mr. Smith が昨日この道を通った。 昨日 Mr. Smith がこの道を通った。 昨日この道を Mr. Smith が通った。 36
37. • 英文法も日本語文法も概念の強調順序をそのまま再現できない 場合があるので、実際の会話では抑揚やジェスチャー等で、文 章の場合は文字の装飾で補う必要がある。 • 逆に詩のように制約のある文の方が複雑な概念構造を想起させ るということもある。 Mr. Smith yesterday this road passed through Mr. Smith passed through this road on yesterday. Mr. Smith が昨日この道を ”通った” 。 37
38. 概念ネットワークの滑りベクトル表現 • 概念ネットワークを滑りベクトル (sliding vector, linear vector) と解釈すれば、計算グラフNNでも扱えるのでは？ co1 co3 co4 co2 Ԧ Ԧ Ԧ = 2 − 1 = 3 − Ԧ ∗ 0.5 Ԧ = 4 − ∗ 0.5 38
39. 文法表現案 • 文法的な情報は別途明示的に情報を付加するという案。 Mr. Smith 通った 昨日 この道 文法 S V O M 39
40. • サブ関係は以下のように相対的に表現できる。 • 「(A の文脈では) B は C に対し関係がある」という概念を表 す。 A RR6 - relative-representation (相対表現) A C C B B 40
41. A C B D • 入れ子関係を相対表現すると以下のようになる。 • 「(A の文脈では) B は C に対し D という関係がある。」 A C B D 41
42. • 相対表現内のサブ関係をさらに相対表現すると以下のような階 層表現になる。 • (A.B の文脈では) C は D に対して関係がある。 A C B D A B C D 42
43. 相対表現時の関係度の表現 • 相対表現では関係度の情報が消えてしまうので、表現を考える 必要がある。 A A C C B B D E D E 案1. 色表現 A C B D E 案2. 3D表現 43
44. 相対表現の例: 「人には指が5つ 有る 足が2つ 有る」 「昆虫には指が有る 足が 6つ 有る」 人 足 有る 2つ 指 5つ 昆虫 6つ 人 足 有る ２つ 指 5つ 昆虫 足 有る 6つ 指 44
45. 複雑な相対表現の例1:自己言及、自己内包表現 （わたしの中では）あのひとはわたしをおおらかだと思っている だろうがわたし自身は繊細だ。 わたし あのひと 繊細 おおらか わたし あのひと わたし おおらか 繊細 45
46. 複雑な相対表現の例2: 自己内包表現+時間表現 WIP 46
47. 複雑な相対表現の例3: 三角関係 WIP 47
48. 複雑な相対表現の例4: NCN でラブレターを書く WIP 48
49. 例外表現 WIP • 一般的にカラスは黒い。白鳥は白い。 • が、アルビノやメラニズムといった例外があり、白いカラスや 黒い白鳥もいるということを表現するには? • カタストロフィック干渉を避ける。 49
50. 従来の論理表現方法の例 • NCN では以下のような既存の論理表現方法に対応できる。 – トップダウン分析 • 魚骨図 (特性要因図) • マインドマップ – ボトムアップ分析 • KJ 法 – 意味記述 • RDF/OWL – 構造記述 • UML • ER図 • グラフデータベース 50
51. UML での関連 (association) 表現との比較 UML (Class Diagram) NCN ParentClass ChildClass ParentChildfood 1 0..* Parent Child ParentChildfood 1 0..* 51
52. チョムスキーの文法木表現 • 概念の入れ子関係表現に文法情報を付加すれば文法構造を表現 できる。 WIP 52
53. 概念の関係表現まとめ • フレーム表現をネットワーク構造自体に組み込んでおり、従来 の論理表現では難しかった概念の再帰的な相対表現ができる。 53
54. 5. Neural Network function 54
55. Neural Network function • SNN は、ニューロンの電位の時間変化を情報の表現と処理に 使用し、従来の計算グラフ ニューラル ネットワークより生体 ニューロンに近く、より柔軟な情報表現と処理ができる。 • NCN ではさらに軸索 (axon), 樹状突起 (dendrite) といった 神経突起 (neurite)※ に相当する分岐構造に情報処理能力を持 たせる。 ※ あるいは神経線維 (nerve) 55
56. Pros ＆ Cons of Neural Network function • Pros – 動的なネットワークを形成できる。 – 信号、処理を重ね合わせられる。 • Cons – 計算コストがかかる。 – 人間と同様の制約がある可能性がある。 56
57. スパイキング ニューラルネットワーク機能 • NCN では従来の計算グラフ ニューロンのパラメーターに加え スパイキング ニューラル ネットワークのパラメーターを持つ。 – 従来の計算グラフ ニューロンの機能 • シナプスの重み (weight)：正負の実数 • 電位 (potential)：正負の実数 (mV) • 閾値 (threshold)：正の実数 (mV) – スパイキング ニューロンの機能 • 電位の時間減衰率 (attenuation rate)：正の実数 (mV/msec) • 不応期 (refractory period)：正の実数 (msec) 57
58. • Neural Network 機能では Concept Network 機能で使用した 構造の名称が以下のように変わる。 neuron neurite synapse 58
59. 発火機能 • NCN では入力層、出力層は存在せず、任意のニューロンを入 力、出力ニューロンとして扱うことができる。 • 入出力に使用する有向エッジと relation を分けて表現する。 input/output relation animation 59
60. 他の NN との組み合わせ。 • 入力、出力を DNN 等、他の種類のニューラル ネットワーク と結合することも想定している。 60
61. 13.0 pps 13.0 pps firing rate 1/1 6.5 pps firing rate 1/2 0.0 pps 電位の減衰特性によってはこれ 以上発火しない • 信号の入力頻度と量が電位の減衰量を上回る場合、発火周波数 は入力周波数の整数分の1で発火する。 • これは1回の入力量が閾値未満でも2回、3回と入力されたとき に閾値を超えて発火可能だからである。 pps: pulse per second threshold = 1.0 weight = 1.0 weight = 0.9 weight = 0.9 input 13.0 pps animation 61
62. • 電位の時間減衰特性によっては入力ニューロンからの距離 (段 数) が遠くなると反応しなくなる。 • これは循環ネットワークが可能な NCN では無限発火ループを 防ぐために重要な特性である。 • 信号の入力頻度が高ければ信号の到達範囲も広くなり、低けれ ば狭くなる。 62
63. 調和音 (harmony) • 周波数成分が基音の整数倍、あるいは整数分の 1 となる調和 音の仕組みと関連があるかもしれない。 63
64. 周波数コーディング (frequency coding) • 脳内での情報表現には様々な説があるが、ここでは2つ挙げる。 – 発火頻度コーディング (rate coding) 説 – 発火タイミング コーディング (temporal coding) 説 • NCN ではこれらの特徴を組み合わせた周波数コーディング (frequency coding) を使用する。 • 入力信号の周波数とどれだけ同期して発火するかを関係の度合 いとして検出する。 • 入力に最小公倍数が十分に大きい互いに素な周波数を使うこと でネットワークがどのような経路で発火しても、どの入力周波 数にどれだけ反応しているかを判別できる。 64
65. 周波数を使用した情報表現 • 周波数を使用した情報表現には以下のようなものがある。 – 位相変調 (PM) – 周波数変調 (FM) – 振幅変調 (AM) • この内、振幅変調はニューラル ネットワークの発火特性 (all or nothing) から単一ニューロンではなく、複数ニューロンに よる集団表現が必要と思われる。 65
66. 発火周期のイメージ (13.0pps) 時間 13.00 pps → 13/1 6.50 pps → 13/2 4.33 pps → 13/3 3.25 pps → 13/4 2.60 pps → 13/5 2.16 pps → 13/6 1.0s animation 66
67. 発火周期のイメージ (11.0pps) 時間 11.0 pps → 11/1 5.5 pps → 11/2 3.66 pps → 11/3 2.75 pps → 11/4 2.2 pps → 11/5 1.83 pps → 11/6 1.0s animation 67
68. 発火周期のイメージ (7.0pps) 時間 7.0 pps → 7/1 3.5 pps → 7/2 2.33 pps → 7/3 1.75 pps → 7/4 1.4 pps → 7/5 1.6 pps → 7/6 1.0s animation 68
69. 3つの周波数を使用した場合の発火周期のイメージ 時間 1.0s animation 69
70. 3つの周波数を使用した場合の発火周期のイメージ（モノクロ版） 時間 1.0s animation 70
71. • 互いに素な周波数をチャネル (channel) として RGB で色付 けし、それぞれ別のニューロンから入力した場合の反応の例を 以下に示す。 71 Input 13.0 pps channel A Input 11.0 pps channel B Input 7.0 pps channel C 6.5 pps channel A 50% 3.25 pps channel A 25% channel A 25% channel B 25% channel B 25% channel C 25% 5.5 pps channel B 50% 3.5 pps channel C 50% 1.75 pps channel C 25% channel A 12.5% channel B 12.5% channel C 12.5% channel A 25% channel C 25% 3.25 pps channel B 25%
72. 周波数コーディングのまとめ • 入力の周波数チャネルに互いに素な周波数を用いることにより、 単位時間でそれぞれの周波数が干渉する可能性は非常に低い。 • この特性を利用し、入出力情報や途中の処理で複数チャネル重 ね合わせたり分離することができる。 • 出力信号を周波数チャネルごとに解析することによりどの ニューロンがどの入力周波数チャネルにどれだけ反応している かが経路に依らず分かる。 • そのため、計算グラフ NN に比べて、ブラックボックスにな り難い。 72
73. 周波数を重ねたときの実際の動作 • 実際には、周波数を重ねたときに別の周波数で上昇した電位の 影響うけるのでこんなにうまくいかない。 • 影響を消す方法はあるが、そのままにして何らかの情報表現に できる可能性もあり、どちらが良いかは検証が必要である。 73
74. 周波数チャネルの組み合わせ • 周波数チャネルの組み合わせ要件は「互いに素で、各周波数の 差の割合が少ない」ことである。 • 任意の奇数から始まる連続した３つの数が互いに素となる。 • 例: (1, 2, 3), (3, 4, 5), (5, 6, 7), (7, 8, 9), (9, 10, 11), (11, 12, 13), (13, 14, 15), …, (41, 42, 43), (43, 44, 45) • 周波数が高いほうが周波数差の割合が小さくなるが、0.1ms の時間解像度だと (43, 44, 45) 以上周波数を上げると混信が 発生する場合があった。 74
75. ゲーデル数との関連 • 互いに素な整数とその 1/n, あるいは n倍の周波数の組み合わ せを概念構造の表現に用いるのは「ゲーデルの不完全性定理」 における「ゲーデル数」の考え方と似ている。 75
76. 周期発火と意識、集中 • 周波数チャネルの制御が意識や選択、集中に関わるのでは。 • ガンマ律動、バースト発火に関係するのでは。 • 短期記憶の容量 4±1 チャンク※に関係するのでは。 • 結びつけ (binding) 問題には関係ないという意見もある。 • 意識と無意識の境界は意外と音のように単純なのかもしれない。 人間は一定の音圧変化のパターンが一定以上、一定以下の周期 で繰り返されたら１つの音と感じるが、意識も同じかもしれな い。 ※ 以前は 7±2 チャンクとされ、マジックナンバーと呼ばれていた。 76
77. 周波数表現と並列性 • 周波数による情報表現、影響範囲制御は、信号にチャネル、影 響範囲情報を付加すれば同等の処理を実現できるが、並列処理 がしにくくなり、大規模な場合に性能が落ちる可能性がある。 • 量子力学のように「波の重ね合わせと時間」ですべてを表して 処理し、情報の取得時のみ粒子への変換処理をしたほうが良い のではと思う。 77
78. 逆発火 • NCN では Concept Network 機能で表現される概念のトップ ダウン、ボトムアップ分析に使用するためにリレーションの順 方向に信号が（順）伝播する（順）発火、に加えてリレーショ ンの逆方向に信号が伝播する逆発火機能がある。 • 続くスライドで順発火、逆発火のプロセスの順序を示す。 78
79. • (順)発火 (forward firing) animation 1. Input signal 2. Increase/decrease in potential 3. propagate potential 4. increase/decrease in potential by weight 79
80. • 逆発火 (back-firing) animation 1. Input backward signal 2. Increase/decrease in potential 3. back propagate potential 4. increase/decrease in potential 80
81. イオンの種類 • 順発火と逆発火を実現するために仮想的なイオンとイオン チャネルを使用する。 • これに３つの周波数チャネル、位相 (phase), 入力量を組み合 わせて入力信号とする。 順行性 (forward) 逆行性 (backward) 興奮性 (excitatory) fo-ex (+1eV) ba-ex (+1eV) 抑制性 (inhibitory ) fo-in (-1eV) ba-in (-1eV) 81
82. イオンの種類と量子色力学 • 周波数チャネル、順行/逆行性、興奮/抑制性の組み合わせは、 クォークの性質である色荷とトップ/ボトム、ストレンジ/ チャーム、アップ/ダウンとつながるところがあるかもしれな い。 82
83. 逆発火機能の生体ニューロンでの再現 • 電気シナプスによる逆伝播 – 化学シナプスでは逆流しない。 – 電気シナプスでは逆流する。 – 電気シナプスは海馬と大脳皮質の抑制性ニューロンに存在する。 • 樹状突起上の逆伝播 – 樹状突起では電位変化が逆流することがある。 → 単純なネットワークでは再現が難しそう。 83
84. より生体ニューロンに近づける • 軸索、樹状突起上の伝播速度を再現するために、太さ width (thickness?) というパラメータを導入する。 width = 0.5 width = 1.0 width = 2.0 animation 84
85. 軸索と樹状突起 • 軸索 (有軸) の伝播速度は速い。 • 樹状突起の伝播速度は遅い。 • 樹状突起上でも活動電位が発生することがあり、樹状突起スパ イク (dendritic-spike) と呼ばれる。 85
86. 生体神経突起での伝播速度 • 生体ニューロンでは太い軸索のほうが活動電位の伝播速度が速 い。 • ただし閾値未満の電位変化は減衰しながら伝播する。 (閾値未満だと太いと逆に遅くなることもある) 86
87. 順伝播信号と逆伝播信号の衝突 • NCN では逆伝播を誤差逆伝播による学習だけではなく概念の 分析にも使用する。 • 概念のトップから順行性信号を、概念のボトムから逆行性信号 を同一周波数（またはその n/1）で入力し、位相を変更すると neurite 上の衝突ポイントが変化するので各ニューロンの反応 解析すれば概念の構造を推定できる。 87
88. • 概念のトップから順行性信号を、概念のボトムから逆行性信号 を同一周波数（またはその n/1）で入力し、位相を変更すると neurite 上の衝突ポイントが変化するのでそれを解析する。 Input forward signal Input backward signal animation 88
89. 閾値未満の信号の衝突 • 閾値未満の順伝播信号と逆伝播信号が衝突し、電位が閾値を越 えた場合は neurite の途中で活動電位が発生する。 • この状態も概念構造の分析に活用できる。 89
90. 位相制御による概念の相対表現 • 順行性信号と逆行性信号の位相制御により信号の衝突ポイント を制御するというのは、概念ネットワークでの相対表現の位置 を変更するのに相当する。 90
91. 反応タイミングによる構造表現 • トップダウン信号、ボトムアップ信号の周波数、位相を変化さ せることによる発火反応の変化を解析することにより、ネット ワークの構造を推測することができる。 • これはネットワーク構造を発火タイミング、レートでコーディ ングできることを意味する。 • もちろん、事前に定義したネットワークの構造を推測して知る ことに意味はない。 • この信号をニューラル ネットワークで処理することができれ ば、動的に仮想的なニューラル ネットワークを表現、処理す るメタ ニューラルネットワークが実現できることを意味する。 91
92. 周期発火とその検知による情報の統合 • WIP 92
93. 6. Neural Concept Network function 93
94. 6-1. Searching 94
95. WIP 95
96. 意識、集中とレーダー • 意識、集中とレーダーの機能の類似性を生かせる可能性がある。 • レーダー走査モード – ロックオンモード • TWS（索敵中追尾）：複数の目標を同時に追尾可能。 • STT（単一目標追尾） – フェイズドアレイレーダー • 多数のレーダーアレイの発振タイミングをずらすことにより合成波に指向性を持 たせることができる。 • 脳内でも同様の仕組みにより指向性をもった信号伝達が可能なのではないか。 96
97. 6-2. Analyzing 97
98. WIP 98
99. 6-3. Learning 99
100. WIP 100
101. 6-4. Formation 101
102. 概念のループからの新しい概念の形成 WIP 102 A B C D F E G H A B C D F E G H “I”
103. 概念と超弦理論 • WIP • Concept は大きさを持つ。 • Concept と Relation は変換可能である。 • Relation は丸めると Concept になる。 • Concept を小さくして引き延ばすと Relation になる。 103
104. 7. Reference materials 104
105. Reference materials No. Title １ シリーズ脳科学3 言語と思考を生む脳 2 ピッチと和声の神経コード 心は脳の音楽 3 不完全性定理とは何か 4 わたしは不思議の環 105