Share
Embed
NeuralConceptNetwork v0.3 (ja)
このスライドは現在開発中の「概念を表現、検索、分析、学習、形成するための有向ネットワーク」である Neural Concept Network (NCN) の説明です。(作成中)
(A_Y)m
October 28, 2019
Transcript
105 slides
-
Index 1. Introduction 2. Overview 3. Conception 4. Concept Network
function 5. Neural Network function 6. Neural Concept Network function 7. Reference materials 2 -
Precaution • 本ドキュメントは作成中のものです。 • 次のスライドは開発途中のメモであり、正式版で削除する可能 性があります。 • 本ドキュメントは一部アニメーションを使用しています。以下 のアイコンがあるスライドにはアニメーションがあります。 PDF
版はアニメーションが再生できないので、PowerPoint 版 を使用してください。 animation 4 -
Self-introduction • Name – Akihiro Yamamoto • Twitter – A_Ym
• Focus on – AI, Artificial Consciousness (AC), Neural Network, Concept theory, Brain, Quantum Info, OpenCL, C#, MS Azure.. – And BOOM BOOM SATELLITES!! • https://booklog.jp/users/a-ym (lang:ja) 5 -
What’s Neural Concept Network • 概念を表現、検索、分析、学習、形成するための有向ネット ワークである。 • 以下の2機能からなる。 –
Concept Network: 概念を表現するための機能 – Neural Network: 概念を検索、分析、学習、形成するための機能 以降必要に応じて NCN と略す。 7 -
Features of Neural Concept Network • 従来の概念表現では複雑になる、「相対的、階層的、文脈依 存」の概念を、数学的知識やニューラル ネットワークに関す る知識がない人にも分かる形式で表現できる。
• この表現形式は自己内包、自己言及表現もできる。 • 簡易的なスパイキング ニューラル ネットワーク (SNN: Spiking Neural Network) の機能を持ち、概念の検索、 (トップダウン、ボトムアップ)分析、学習、形成に使用する。 8 -
Conception-1 • 人間並みの思考能力を持つ人工知能 (HLAI: Human Level Artificial Intelligence) 実現の一環である。 •
現状では HLAI 実現のための トップダウン アプローチ ボトムアップ アプローチ の距離が大きすぎるので、ミドルアウト アプローチが必要と 考えた。 • 「概念 (concept)」の表現、処理を実装することが中間点の 機能として必要になると考えた。 10 -
HLAI Roadmap Human Intelligence Artificial Intelligence Artificial Neural Network Human
Neural Network Concept Semantics Language Thought Planning Recognition Perception Sense Cognition 11 -
HLAI Roadmap のポイント • Concept が 言語 (Language), 意味 (Semantics)
より下に位 置しているのがポイント。 • 現在、言語処理を実現してから(高次)概念の処理に取り掛か るという流れが多いが、先に概念処理、次いで意味の処理を実 現しなければ言語処理が実現できないと考える。 12 -
概念の定義 • 「概念とはどういう概念か」を定義するのは難しい。 • そこで、 概念とは「ある概念」を「他の概念」との関係で表すもの という循環表現で定義する。 • 以降で NCN
での概念の関係表現 (relation-representation: RR) を説明する。 15 -
RR1 – basic-relation (基本関係) • 概念「A」は概念「B」に対し関係があるということをノード と有向エッジで表現する。 • ノードを「概念 (concept)」、有向エッジを「関係
(relation)」と呼ぶ。 A B concept concept relation 16 -
• relation の始点/終点となる概念をそれぞれ 「元概念 (source concept)」 「先概念 (destination concept)」 と呼ぶ。
A B (source) concept (destination) concept relation (origin) 17 -
RR2 – multiple-relations (複数関係) • 複数の関係は以下のように表現する。 A B C C
B A C A B C A B 21 -
RR3 – sub-relation (サブ関係) • 関係をさらに他の概念で修飾することをサブ関係と呼ぶ。 • 概念 A は
B に対し C という関係がある、ということを以下 のように表現する。 • relation1 を起点とした場合、relation2 がサブ関係となる。 A B C relation2 (sub-relation) relation1 (origin) 23 -
• 逆に relation2 を起点とした場合、relation1 を上位関係 (super-relation) と呼ぶ。 A B C
relation2 (origin) relation1 (super-relation) 24 -
A B C D • relation3 を起点とした場合の最上位の関係を「owner- relation」 と呼ぶ。 relation3
(origin) relation2 (super-relation) relation1 (owner-relation) 29 -
3項表現の限界 • 「関係の概念表現」は RDF (Resource Description Framework) やグラフデータベースの3項表現が近い。 – 例:
RDF は主語 (subject), 述語 (predict), 目的語 (object) のトリ プルによって表現する。 • 現実の情報を扱う場合、3項表現だけでは足りない。 • NCN では RDF の述語に相当する関係自体も概念として表現 し、サブ関係と組み合わせてより現実に近い概念表現ができる。 33 -
RR5 – relativity (関係度) • サブ関係の関係度 (relativity) を 0.0 <
relativity < 1.0 で 表す。 • 0.0 に近いほど「元概念」に近い関係、1.0 に近いほど「先概 念」に近い関係を表す。 A B C D relativity = 0.25 relativity = 0.5 E relativity = 0.75 34 -
• 関係度、サブ関係の順序は文法的な意味を持たせるものではな い。 • 以下のように同じ事実を表していても強調したい事柄の順序が 異なる場合もある。 Mr. Smith yesterday this
road passed through yesterday Mr. Smith this road passed through yesterday this road Mr. Smith passed through Mr. Smith passed through this road on yesterday. Yesterday, Mr. Smith passed through this road. Yesterday and this road, Mr. smith passed through. Mr. Smith が昨日この道を通った。 昨日 Mr. Smith がこの道を通った。 昨日この道を Mr. Smith が通った。 36 -
• 英文法も日本語文法も概念の強調順序をそのまま再現できない 場合があるので、実際の会話では抑揚やジェスチャー等で、文 章の場合は文字の装飾で補う必要がある。 • 逆に詩のように制約のある文の方が複雑な概念構造を想起させ るということもある。 Mr. Smith yesterday
this road passed through Mr. Smith passed through this road on yesterday. Mr. Smith が昨日この道を ”通った” 。 37 -
概念ネットワークの滑りベクトル表現 • 概念ネットワークを滑りベクトル (sliding vector, linear vector) と解釈すれば、計算グラフNNでも扱えるのでは? co1 co3
co4 co2 Ԧ Ԧ Ԧ = 2 − 1 = 3 − Ԧ ∗ 0.5 Ԧ = 4 − ∗ 0.5 38 -
• サブ関係は以下のように相対的に表現できる。 • 「(A の文脈では) B は C に対し関係がある」という概念を表 す。
A RR6 - relative-representation (相対表現) A C C B B 40 -
A C B D • 入れ子関係を相対表現すると以下のようになる。 • 「(A の文脈では) B
は C に対し D という関係がある。」 A C B D 41 -
• 相対表現内のサブ関係をさらに相対表現すると以下のような階 層表現になる。 • (A.B の文脈では) C は D に対して関係がある。
A C B D A B C D 42 -
相対表現時の関係度の表現 • 相対表現では関係度の情報が消えてしまうので、表現を考える 必要がある。 A A C C B B
D E D E 案1. 色表現 A C B D E 案2. 3D表現 43 -
相対表現の例: 「人には指が5つ 有る 足が2つ 有る」 「昆虫には指が有る 足が 6つ 有る」 人
足 有る 2つ 指 5つ 昆虫 6つ 人 足 有る 2つ 指 5つ 昆虫 足 有る 6つ 指 44 -
従来の論理表現方法の例 • NCN では以下のような既存の論理表現方法に対応できる。 – トップダウン分析 • 魚骨図 (特性要因図) •
マインドマップ – ボトムアップ分析 • KJ 法 – 意味記述 • RDF/OWL – 構造記述 • UML • ER図 • グラフデータベース 50 -
UML での関連 (association) 表現との比較 UML (Class Diagram) NCN ParentClass ChildClass
ParentChildfood 1 0..* Parent Child ParentChildfood 1 0..* 51 -
Neural Network function • SNN は、ニューロンの電位の時間変化を情報の表現と処理に 使用し、従来の計算グラフ ニューラル ネットワークより生体 ニューロンに近く、より柔軟な情報表現と処理ができる。
• NCN ではさらに軸索 (axon), 樹状突起 (dendrite) といった 神経突起 (neurite)※ に相当する分岐構造に情報処理能力を持 たせる。 ※ あるいは神経線維 (nerve) 55 -
Pros & Cons of Neural Network function • Pros –
動的なネットワークを形成できる。 – 信号、処理を重ね合わせられる。 • Cons – 計算コストがかかる。 – 人間と同様の制約がある可能性がある。 56 -
スパイキング ニューラルネットワーク機能 • NCN では従来の計算グラフ ニューロンのパラメーターに加え スパイキング ニューラル ネットワークのパラメーターを持つ。 –
従来の計算グラフ ニューロンの機能 • シナプスの重み (weight):正負の実数 • 電位 (potential):正負の実数 (mV) • 閾値 (threshold):正の実数 (mV) – スパイキング ニューロンの機能 • 電位の時間減衰率 (attenuation rate):正の実数 (mV/msec) • 不応期 (refractory period):正の実数 (msec) 57 -
13.0 pps 13.0 pps firing rate 1/1 6.5 pps firing
rate 1/2 0.0 pps 電位の減衰特性によってはこれ 以上発火しない • 信号の入力頻度と量が電位の減衰量を上回る場合、発火周波数 は入力周波数の整数分の1で発火する。 • これは1回の入力量が閾値未満でも2回、3回と入力されたとき に閾値を超えて発火可能だからである。 pps: pulse per second threshold = 1.0 weight = 1.0 weight = 0.9 weight = 0.9 input 13.0 pps animation 61 -
• 電位の時間減衰特性によっては入力ニューロンからの距離 (段 数) が遠くなると反応しなくなる。 • これは循環ネットワークが可能な NCN では無限発火ループを 防ぐために重要な特性である。
• 信号の入力頻度が高ければ信号の到達範囲も広くなり、低けれ ば狭くなる。 62 -
周波数コーディング (frequency coding) • 脳内での情報表現には様々な説があるが、ここでは2つ挙げる。 – 発火頻度コーディング (rate coding) 説
– 発火タイミング コーディング (temporal coding) 説 • NCN ではこれらの特徴を組み合わせた周波数コーディング (frequency coding) を使用する。 • 入力信号の周波数とどれだけ同期して発火するかを関係の度合 いとして検出する。 • 入力に最小公倍数が十分に大きい互いに素な周波数を使うこと でネットワークがどのような経路で発火しても、どの入力周波 数にどれだけ反応しているかを判別できる。 64 -
周波数を使用した情報表現 • 周波数を使用した情報表現には以下のようなものがある。 – 位相変調 (PM) – 周波数変調 (FM) –
振幅変調 (AM) • この内、振幅変調はニューラル ネットワークの発火特性 (all or nothing) から単一ニューロンではなく、複数ニューロンに よる集団表現が必要と思われる。 65 -
発火周期のイメージ (13.0pps) 時間 13.00 pps → 13/1 6.50 pps →
13/2 4.33 pps → 13/3 3.25 pps → 13/4 2.60 pps → 13/5 2.16 pps → 13/6 1.0s animation 66 -
発火周期のイメージ (11.0pps) 時間 11.0 pps → 11/1 5.5 pps →
11/2 3.66 pps → 11/3 2.75 pps → 11/4 2.2 pps → 11/5 1.83 pps → 11/6 1.0s animation 67 -
発火周期のイメージ (7.0pps) 時間 7.0 pps → 7/1 3.5 pps →
7/2 2.33 pps → 7/3 1.75 pps → 7/4 1.4 pps → 7/5 1.6 pps → 7/6 1.0s animation 68 -
• 互いに素な周波数をチャネル (channel) として RGB で色付 けし、それぞれ別のニューロンから入力した場合の反応の例を 以下に示す。 71 Input
13.0 pps channel A Input 11.0 pps channel B Input 7.0 pps channel C 6.5 pps channel A 50% 3.25 pps channel A 25% channel A 25% channel B 25% channel B 25% channel C 25% 5.5 pps channel B 50% 3.5 pps channel C 50% 1.75 pps channel C 25% channel A 12.5% channel B 12.5% channel C 12.5% channel A 25% channel C 25% 3.25 pps channel B 25% -
周波数コーディングのまとめ • 入力の周波数チャネルに互いに素な周波数を用いることにより、 単位時間でそれぞれの周波数が干渉する可能性は非常に低い。 • この特性を利用し、入出力情報や途中の処理で複数チャネル重 ね合わせたり分離することができる。 • 出力信号を周波数チャネルごとに解析することによりどの ニューロンがどの入力周波数チャネルにどれだけ反応している
かが経路に依らず分かる。 • そのため、計算グラフ NN に比べて、ブラックボックスにな り難い。 72 -
周波数チャネルの組み合わせ • 周波数チャネルの組み合わせ要件は「互いに素で、各周波数の 差の割合が少ない」ことである。 • 任意の奇数から始まる連続した3つの数が互いに素となる。 • 例: (1, 2,
3), (3, 4, 5), (5, 6, 7), (7, 8, 9), (9, 10, 11), (11, 12, 13), (13, 14, 15), …, (41, 42, 43), (43, 44, 45) • 周波数が高いほうが周波数差の割合が小さくなるが、0.1ms の時間解像度だと (43, 44, 45) 以上周波数を上げると混信が 発生する場合があった。 74 -
周期発火と意識、集中 • 周波数チャネルの制御が意識や選択、集中に関わるのでは。 • ガンマ律動、バースト発火に関係するのでは。 • 短期記憶の容量 4±1 チャンク※に関係するのでは。 •
結びつけ (binding) 問題には関係ないという意見もある。 • 意識と無意識の境界は意外と音のように単純なのかもしれない。 人間は一定の音圧変化のパターンが一定以上、一定以下の周期 で繰り返されたら1つの音と感じるが、意識も同じかもしれな い。 ※ 以前は 7±2 チャンクとされ、マジックナンバーと呼ばれていた。 76 -
逆発火 • NCN では Concept Network 機能で表現される概念のトップ ダウン、ボトムアップ分析に使用するためにリレーションの順 方向に信号が(順)伝播する(順)発火、に加えてリレーショ ンの逆方向に信号が伝播する逆発火機能がある。
• 続くスライドで順発火、逆発火のプロセスの順序を示す。 78 -
• (順)発火 (forward firing) animation 1. Input signal 2. Increase/decrease
in potential 3. propagate potential 4. increase/decrease in potential by weight 79 -
• 逆発火 (back-firing) animation 1. Input backward signal 2. Increase/decrease
in potential 3. back propagate potential 4. increase/decrease in potential 80 -
イオンの種類 • 順発火と逆発火を実現するために仮想的なイオンとイオン チャネルを使用する。 • これに3つの周波数チャネル、位相 (phase), 入力量を組み合 わせて入力信号とする。 順行性
(forward) 逆行性 (backward) 興奮性 (excitatory) fo-ex (+1eV) ba-ex (+1eV) 抑制性 (inhibitory ) fo-in (-1eV) ba-in (-1eV) 81 -
逆発火機能の生体ニューロンでの再現 • 電気シナプスによる逆伝播 – 化学シナプスでは逆流しない。 – 電気シナプスでは逆流する。 – 電気シナプスは海馬と大脳皮質の抑制性ニューロンに存在する。 •
樹状突起上の逆伝播 – 樹状突起では電位変化が逆流することがある。 → 単純なネットワークでは再現が難しそう。 83 -
より生体ニューロンに近づける • 軸索、樹状突起上の伝播速度を再現するために、太さ width (thickness?) というパラメータを導入する。 width = 0.5 width
= 1.0 width = 2.0 animation 84 -
軸索と樹状突起 • 軸索 (有軸) の伝播速度は速い。 • 樹状突起の伝播速度は遅い。 • 樹状突起上でも活動電位が発生することがあり、樹状突起スパ イク
(dendritic-spike) と呼ばれる。 85 -
順伝播信号と逆伝播信号の衝突 • NCN では逆伝播を誤差逆伝播による学習だけではなく概念の 分析にも使用する。 • 概念のトップから順行性信号を、概念のボトムから逆行性信号 を同一周波数(またはその n/1)で入力し、位相を変更すると neurite
上の衝突ポイントが変化するので各ニューロンの反応 解析すれば概念の構造を推定できる。 87 -
反応タイミングによる構造表現 • トップダウン信号、ボトムアップ信号の周波数、位相を変化さ せることによる発火反応の変化を解析することにより、ネット ワークの構造を推測することができる。 • これはネットワーク構造を発火タイミング、レートでコーディ ングできることを意味する。 • もちろん、事前に定義したネットワークの構造を推測して知る
ことに意味はない。 • この信号をニューラル ネットワークで処理することができれ ば、動的に仮想的なニューラル ネットワークを表現、処理す るメタ ニューラルネットワークが実現できることを意味する。 91 -
意識、集中とレーダー • 意識、集中とレーダーの機能の類似性を生かせる可能性がある。 • レーダー走査モード – ロックオンモード • TWS(索敵中追尾):複数の目標を同時に追尾可能。 •
STT(単一目標追尾) – フェイズドアレイレーダー • 多数のレーダーアレイの発振タイミングをずらすことにより合成波に指向性を持 たせることができる。 • 脳内でも同様の仕組みにより指向性をもった信号伝達が可能なのではないか。 96 -
概念のループからの新しい概念の形成 WIP 102 A B C D F E G
H A B C D F E G H “I” -
概念と超弦理論 • WIP • Concept は大きさを持つ。 • Concept と Relation
は変換可能である。 • Relation は丸めると Concept になる。 • Concept を小さくして引き延ばすと Relation になる。 103 -
Reference materials No. Title 1 シリーズ脳科学3 言語と思考を生む脳 2 ピッチと和声の神経コード 心は脳の音楽
3 不完全性定理とは何か 4 わたしは不思議の環 105