Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自己組織化と創発メカニズムを発生原理として、汎用人工知能は誕生するか

 自己組織化と創発メカニズムを発生原理として、汎用人工知能は誕生するか

connection_automated_ai

January 12, 2018
Tweet

More Decks by connection_automated_ai

Other Decks in Technology

Transcript

  1.  大脳新皮質の第一次感覚野におけるトポロジカル・マッピング(topological mapping) が、自己組織化の原理によって、初期のランダムな神経間接続から出発して、内発的 に秩序構造が形成されたとする数理モデル・シミュレーション(Linsker networkなど)が 提案されてきた。  ほかに、自己組織化(Self-organization)の観点から、コネクトームとカラム構造の形成 過程を考察する研究論文がある。(しかし、1990年代が研究の最盛期か)

     Linskerのモデル・シミューレションは、 「Hebbの学習則」(「STDP(Spike Timing-Dependent Plasticity) 学習則」)に立脚している。  カオス的性質(Chaotic properties)をもつ(人工)カオス・ニューラルネットワーク (Chaotic neural network)モデルの研究と、多体カオス結合系によって、 神経モジュール間の情報連携モデルを構築する研究も、1990年代に盛んに研究された。 一般向けの入門書としては、以下がある。 ・ 津田 一郎 (2016) 『脳のなかに数学を見る』 ・ 同上 (1990) 『カオス的脳観』 人間の知的情報処理を実現している 脳神経接続構造(コネクトーム)と配位構造(カラム構造)は、 自己組織化の発生によって、形成されたか?
  2.  一般向けの入門書 ・ 津田 一郎(著)・北海道大学数学連携研究センター(編) (2016) 『脳のなかに数学を見る』 ・ 同上 (1990)

    『カオス的脳観』 人間の知的情報処理を実現している 脳神経接続構造(コネクトーム)と配位構造(カラム構造)は、 自己組織化の発生によって、形成されたか?
  3. 人間の脳の知的機能の発生過程は、 「自己組織化」や「複雑系」といった概念が鍵になるかもしれない  Linskerのモデル・シミューレションは、 「Hebbの学習則」(「STDP(Spike Timing-Dependent Plasticity) 学習則」)に立脚している。  カオス的性質(Chaotic

    properties)をもつ(人工)カオス・ニューラルネットワーク (Chaotic neural network)モデルの研究と、多体カオス結合系によって、 神経モジュール間の情報連携モデルを構築する研究も、1990年代に盛んに研究された。 (一般向けの入門書としては、津田 一郎 『脳のなかに数学を見る』、『カオス的脳観』など) 「自己組織化」・「カオス」・「カオスの淵」・「開放非平衡系」・「複雑系」
  4. 「Hebbの学習則」を用いた 人工知能モデル構築の事例  谷口 忠太・椹木哲夫 (2006) 「シェマモデルとSTDP則の結合による記号過程の創発」 https://www.jstage.jst.go.jp/article/pjsai/JSAI06/0/JSAI06_0_213/_pdf 「モジュール型学習器と記号創発 身体的相互作用を通した記号創発をモデリングする際には

    モジュール型,もしくはそれに類した構造が自己組織化される 学習機構がしばしば用いられる.Wolpert らは小脳における複 数内部モデルの獲得機構として MOSAIC を提案した [9]. 谷 らは RNNPB を提案し,ロボットに様々な時系列情報を獲得 させている [6].岡田らは DBSOM を提案し行動を形成するア トラクタを SOM 上に分散的に記憶させることに成功している [10].著者らはこれに対して,明示的かつ累増的にモジュール を獲得することの出来るシェマモデル(Schema Model)の枠 組みを提案してきた [11]. このシェマモデルを強化学習に拡張 する事で強化学習シェマモデルを定式化することができた [7]. 本稿では Q-learning に基づいた RLSM を用いる.」
  5. (人間レベルの人工知能の条件) 人工知能アーキテクチャにおける ニューロンのカラム結合構造は、 自己組織化のプロセスで、編成されるようにすること が必要か?  重要なのは、「Hebbの学習則」(「STDPの学習則」)にもとづいて、ニューロン間の重みを 調整するモデルか?  カオス的性質(Chaotic

    properties)をもつ(人工)カオス・ニューラルネットワーク (Chaotic neural network)モデルは必須か? カオス・ニューラルネットワークモデルは、1990年代に盛んに研究された。 (一般向けの入門書としては、津田 一郎 『脳のなかに数学を見る』、『カオス的脳観』など)
  6.  田中 繁 「運動方向を検出する大脳皮質視覚野の自己組織化のモデル」 https://www.jstage.jst.go.jp/article/oubutsu1932/64/10/64_10_1018/_pdf 大脳皮質視覚領には,さ まざまな視覚情報に関する地図が存在する. 本解説記事では特に,物 体が視 野内を運動するときの方向について

    の情報表現がmiddle temporalarea (MT)内 にいかにして自 己組織化 されるのか,と いう問題を取り上げ理論脳科学における最近の進展の 一端を紹介したい. ( 中略 ) 本稿では, V1よりも高次視覚野であり物体の運動知覚 に関与すると考えられているmiddle temporal area (MT)3)(図1(a)参 照)のニューロン応答における運動方向選択性コラム が,下位の視覚野ニューロンによって獲得される方位選択性と 運動方向選択性*とからどのようにして形成され,その結果いかにして 最適運動方向のマップが出現するのかを自己組織 化**の 統計力学 モデル4)によるコンピューターシミュレーションで再現し視覚情報現 のメカニズムに迫る.」
  7.  佐 野 彰 「情報処理系間の分離 ・ 統合機構 と してのカ オ

    ス*一多体神経回路モ デルにおける 一」 https://ci.nii.ac.jp/els/contentscinii_20180110161351.pdf?id=ART0008464909 「以下で与えるモデルは 、モジュール間の神経細胞間結合(マッピング)の形成(学習)過程を考察しておらず、 同時発火による強化(Hebb 則)[3]を仮定している。 入力情報の同時間性による関係付けは 、 多体神経回路モデルによるモダリティー統合機構 に対する説明を期待してなされる。 本稿では、モジュール間の相互作用という視点から 神経回路の多体モデルを与える。 その上で、神経回路の単純なネットワークにおける 振舞いを、多体結合でのカオスの役割という観点 から述べる。」
  8.  佐野 彰 「情報処理系間の分離 ・ 統合機構 と してのカ オ ス*一多体神経回路モ

    デルにおける 一」 https://ci.nii.ac.jp/els/contentscinii_20180110161351.pdf?id=ART0008464909
  9.  佐野 彰 「情報処理系間の分離 ・ 統合機構 と してのカ オ ス*一多体神経回路モ

    デルにおける 一」 https://ci.nii.ac.jp/els/contentscinii_20180110161351.pdf?id=ART0008464909
  10.  佐野 彰 「情報処理系間の分離 ・ 統合機構 と してのカ オ ス*一多体神経回路モ

    デルにおける 一」 https://ci.nii.ac.jp/els/contentscinii_20180110161351.pdf?id=ART0008464909
  11. Ben Goertzel (2017) SingularityNET Ben Goertzel et.al.らは、分散台帳上で、 単一機能特化型のAIモデルどうしが、 機能的に連携しあう (=smart

    contractベースで、自律的に仕事を受委託しあう) 人工知能モデルどうしの「仕事の受委託ネットワーク」を 生み出すことで、 無数の機能特化型AIによって構成される「受委託ネットワーク」 それ自体が、ネットワーク系全体として、 「汎用人工知能システム」 としての機能を発揮するというシナリオを目指している。 SingularityNET (2017年12月にα版がリリース済み)
  12. AI Agent-to-AI Agent (AI2AI) “offer-network” AI Agent が 別のAI Agentに、

    仕事を依頼したり、別のAI Agentから 仕事を請け負ったりする世界 25
  13. ( OpenCog = SingularityNETの前にGoertzelが取り組んでいた プロジェクトで、SingularitNETに搭載されると宣言されている) 個々の機能に特化したAIモジュールの集合体という形態での 汎用人工知能の実現を目指している http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 28 人間並みか、人間を上回る知性

    (human-like, the human level and ultimately beyond ) を実現するやり方(path)は、いくつも(複数)あるはずだ。 CogPrimeは、そのうちの1つの手法 ---私たちが、(計算機上で)動くと信じる方法 を追求するものです。
  14. ( OpenCog ) Cognitive synergy Ben Goertzel ( Novamente LLC

    ) COGNITIVE SYNERGY: A UNIVERSAL PRINCIPLE FOR FEASIBLE GENERAL INTELLIGENCE ? ( http://goertzel.org/dynapsyc/2009/CognitiveSynergy.pdf ) 29
  15. ( OpenCog ) 問題意識 http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 30 人間並み or 人間を超える知性を出現させるには、 複数のAIアルゴリズム(の実装器)が密に連携して、互いに影響を及ぼしあいながら、

    全体として、ひとつのまとまりをもった系(システム)として動作する アーキテクチャを設計する必要がある。 しかし、この課題は難易度が高いために、正面から取り組んだ事例が数えるほどしかない。
  16. ( OpenCog ) http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 31 人間の脳(human brain)は、 そのような系(システム)を、長い進化の過程を経るなかで、試行錯誤しながら形成してきた。 人工的にそのような「系」(システム、認知アーキテクチャ)を開発するためには、 複数の記号論的

    or 準(半)記号論的な複数の学習モデルを、 (multiple symbolic and subsymbolic learning and memory components) 適切な環境(アーキテクチャ機構)の中のしかるべき位置に配置して、 相互に影響を及ぼしあいながら動作するように統合するアプローチが必要だと考えられる。
  17. ( OpenCog ) one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 35

    OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理(principles)に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。 複雑ネットワークにおける創発現象のように、 系全体が、ある閾値を超えると、部分の総和以上の 性質を帯びた秩序構造が出現する
  18. ( OpenCog ) one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 36

    OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理(principles)に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。
  19. ( OpenCog ) Cognitive synergy Ben Goertzel ( Novamente LLC

    ) COGNITIVE SYNERGY: A UNIVERSAL PRINCIPLE FOR FEASIBLE GENERAL INTELLIGENCE ? ( http://goertzel.org/dynapsyc/2009/CognitiveSynergy.pdf ) 37
  20. SingularityNET では、個々のタスクを解決する上で、 利用可能な複数の「タスク特化型AI」どうしが、仕事を依頼しあう AI-to-AI offer network が自動生成される基盤の提供を目指している。 そして、 「特定のタスク」を解決しうる AI-to-AI

    offer network が、 重層的・階層的に、仕事を依頼しあうことで、「あらゆるタスク」 を解決可能な 「A network of AI-to-AI offer networks」 の構築を目指している。 このアプローチによって、人間並か、人間を超える問題解決能力をもった汎用AIが出現する 「Singularityの実現」を目指している。
  21. OpenCog onto SingularityNET 40 SingularityNET に 、OpenCog (の知見)を搭載するということは、 以下を、人間の設計者がデザイン(設計)するのではなく、 Smart

    contract通信プロトコルを用いた、AI Agent間の自律的・内発的な仕事の受委託 が無数に発生することで、系全体として、汎用知性を生み出す最適なアーキテクチャ構造が、 AI2AIのoffer-networkとして、内発的・自然発生的に、いわば自己組織化的に、 ある種の複雑系における創発現象によって、自律的に編成されるアプローチを取る ということだろうか? AI2AI offer network
  22. 2017年のAIの到達点 (Google)DeepMind社をひとつの象徴として、 ・ 身体動作能力 ・ 物体の重さや硬さを推し量る能力 ・ 概念形成を行う能力 ・ 概念どうしを組み合わせて、概念連関構造を構築したり、

    抽象化思考・具象化思考を行う能力 ・ 人から、人間のことばで指示を受けて、課題に取り組む能力 を含む複数のタスク領域で、”人間並みの問題解決力“ を発揮するAIアルゴリズムが、矢継ぎ早に一般公開された。
  23. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題(部分) 】 • 周囲の物理環境で生じる物事の因果関係(法則性)を理解する能力 • 物体の重さ や 色や形

    の 相対関係を論理的に思考する能力 • 「視覚イメージ」 と「人間の言葉」を対応付けて、「物の概念」を形成する能力 • 概念どうし を 関連付けて、センサで捉えたことがない新しい概念を、抽象的な論理思考で想像(概念創造)する能力 • 人間の身のこなし(身体動作)を、チラ見するだけで(小量データだけで)、 見よう見まねで模倣して、人間並みの自然な身体動作を体得する能力 • 多様な状況に対応した柔軟な行動 を とる能力 • 人間の言葉による指示を理解して、指示された課題を解決する能力 • 長期計画を立てて、問題解決まで時間のかかる課題を解決する能力
  24. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題(部分) 】 (概念形成能力・概念連関構造の構築能力・想像能力) - センサ(動)画像 から、物体概念 を 形成する

    能力 - 概念 を 関連づけて、新しい概念 を 生み出す 能力 ・ Irina Higgins et.al (2017) SCAN: Learning Abstract Hierarchical Compositional Visual Concepts (観測データから、力学的因果関係を含む物体間の関係を推し量る能力) ・ Adam Santoro et.al (2017)A simple neural network module for relational reasoning ・ Nicholas Watters et.al (2017) Visual Interaction Networks (人間の言葉による指示 を 理解して、指示された目標 を 実現させる能力) ・ Karl Moritz Hermann et.al (2017) Grounded Language Learning in a Simulated 3D World ・ D. Raposo et.al (2017) Discovering onbjects and their repaltions from entangled scene representations ( 観測データ から、物の重さ や 物の個数など)を認識する 能力) ・ Misha Denil et.al (2017) Learning to perform physics experiments via reinforcement learning
  25. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題(部分) 】 (人間のような自然で柔軟な身のこなし(身体運動) を 行う 能力) ・ Nicolas

    Heess (2017) Emergence of Locomotion Behaviours in Rich Environments (人間が身体を動かしている(わずかな量の)データ件数 を 模倣して、人間らしい身のこなし を 獲得する モデル) ・ Josh Merel et.al (2017) Learning human behaviors from motion capture by adversarial imitation ・ Ziyu Wang et.al (2017) Robust Imitation of Diverse Behaviors (長期の将来目標 を 長期計画 を 立てて 追求できる 強化学習モデル) ・ David Silver et.al (2017) The Predictron: End-To-End Learning and Planning
  26. 2017年のAIの到達点 【 DeepMind社以外の公開論文が取り組んだ課題(部分) 】 (人間のように走ったり、ジャンプしたり、スライディングする 身体運動パターン 獲得する能力) University of British

    Columbia & National University of Singapore ・ XUE BIN PENG et.al (2017) DeepLoco: Dynamic Locomotion Skills Using Hierarchical Deep Reinforcement Learning (複数の目標を同時 に、 適度な優先比率 で 追求する能力) University of Warsaw ・ Tomasz Tajmajer (2017) Multi-Objective Deep Q-Learning with Subsumption Architecture (行動と結果の因果連関を理解することで、未経験の文脈状況に対応する能力) Vicarious社 ・ Ken Kansky TomSilver et.al (2017) Schema Networks: Zero-shot Transfer with a Generative Causal Model of Intuitive Physics (抽象度の高い、未経験の状況に適用可能 な 「環境-行動-報酬」 因果規則 を導出する能力) Imperial college (英国) ・ Marta Garnelo et.al (2016) Towards Deep Symbolic Reinforcement Learning
  27. 2017年のAIの課題 (AI開発側) 「複数のタスク」をこなすことができる「単一のAIモデル」を目指して、 DeepMindから以下の論文が出ている。 しかし、“あらゆるタスク” を、”人間並の精度”で課題解決できる「汎用人工知能」 には、まだほど遠い。 【 論文 】

    • Lukasz Kaiser et.al (2017) One Model To Learn Them All • James Kirkpatrick et.al (2016) Overcoming catastrophic forgetting in neural networks • Chrisantha Fernando et.al (2017) PathNet: Evolution Channels Gradient Descent in Super Neural Networks
  28. AI Agent-to-AI Agent (AI2AI) “offer-network” AI Agent が 別のAI Agentに、

    仕事を依頼したり、別のAI Agentから 仕事を請け負ったりする世界 50 再掲
  29. Ben Goertzel (2017) SingularityNET Ben Goertzel et.al.らは、分散台帳上で、 単一機能特化型のAIモデルどうしが、 機能的に連携しあう (=smart

    contractベースで、自律的に仕事を受委託しあう) 人工知能モデルどうしの「仕事の受委託ネットワーク」を 生み出すことで、 無数の機能特化型AIによって構成される「受委託ネットワーク」 それ自体が、ネットワーク系全体として、 「汎用人工知能システム」 としての機能を発揮するというシナリオを目指している。 SingularityNET (2017年12月にα版がリリース済み) 再掲
  30. AI Agent-to-AI Agent (AI2AI) “offer-network” based upon insights of the

    theory of complexity. AI Agent間の局所的な相互作用 =仕事の受委託ネットワーク = “offer-network(s)” の重層的な絡み合いの集積から、 汎用AIが創発されうるための条件 ① AI Agentの機能の多様さの度合い ② AI Agent間の受委託(相互作用)の成立範囲 を、複雑系科学の知見から仮説立てをする。 考えられる候補の条件別に、 SingularityNETを動かして、 汎用AIが生じるか、シミュレーションを試みる。 59
  31. Hebb則の条件 重要なのは、「Hebbの学習則」・「STDPの学習則」にもとづいて、ニューロン間の重みを 調整するモデルか?  (SingularityNET上で評価付けされる) 個々のA.I. Agent (node)が持つ ・ 「Humanityに対する貢献度指標値」

    ・ 「データ解析の精度実績指標値」 を参考にして、 ・ 特定の仕事を依頼したいA.I. Agentと受託したいA.I. Agentが、持続的な取引関係 を維持するとき、これは、 ・ 「Hebb則」に基づいた、ニューロン間の結びつきの強化 とみなせるだろうか?
  32.  (SingularityNET上で評価付けされる) 個々のA.I. Agent (node)が持つ ・ 「Humanityに対する貢献度指標値」 ・ 「データ解析の精度実績指標値」 を参考にして、

    ・ 特定の仕事を依頼したいA.I. Agentと受託したいA.I. Agentが、持続的な取引関係 を維持するとき、これは、 ・ 「Hebb則」に基づいた、ニューロン間の結びつきの強化 とみなせるだろうか?  Linsker net のシミュレーションで発生するような、物理空間上で隣接するニューロン どうしは、結合する前の層のニューロン集合と多くが重なり合う、という現象は起きるか? Hebb則の条件
  33.  Linsker net のシミュレーションで発生するような、物理空間上で隣接するニューロン どうしは、結合する前の層のニューロン集合と多くが重なり合う、という現象は起きるか?  人間の脳とSingularityNETとでは、初期条件が、そもそも異なるのではないか? 【 人間の第一次感覚野 】

    (初期条件) 機能的に均質な無数のニューロンが、大脳新皮質上に存在しており、そこに、視覚情報 や聴覚情報が電磁気信号として入力される。 【 A.I. Agents on SingularityNET 】 (初期条件) 当初から、人間プログラマが、特定のデータ処理機能を持たせたA.I. Agent (node)が、 (均質ではないAgentどうしが)SingNETの電子的空間上に、存在している。 (物理的に隣り合うということはない。分散台帳基盤上では、データ送受信コストの大小 による、Agent間の遠近距離概念は発生しない) Hebb則の条件
  34.  Linsker net のシミュレーションで発生するような、物理空間上で隣接するニューロン どうしは、結合する前の層のニューロン集合と多くが重なり合う、という現象は起きるか?  SingulalityNET上では、機能的に同質なAIが、別の機能的に似通ったAIとの取引結合度を 強めるのではないか? 【 人間の第一次感覚野

    】 Linsker net で示されるように、当初は均質な機能をもつニューロンが、時間を経ると、眼選択性や方向選択性 や色選択性といった、特定の同質な機能を担うニューロンどうしが、物理的に近くに寄り集まるようになる。 【 A.I. Agents on SingularityNET 】 電子空間上に距離の概念はないが、同質なデータ処理機能を担うA.I. Agentは、仕事の委託先・受託先として、 取引関係(=結合関係)を結ぶ相手先のA.I. Agentも、類似(同質)のデータ処理機能を担うA.I. Agentである 確率が、時間の経過とともに、次第に高まっていく(?)。 Hebb則の条件
  35. 「Hebbの学習則」を用いた 人工知能モデル構築の事例  Jia Liu, Maoguo Gong, Qiguang Miao (2017)

    Modeling Hebb Learning Rule for Unsupervised Learning https://www.ijcai.org/proceedings/2017/0322.pdf  Thomas Miconi (2016) Learning to learn with backpropagation of Hebbian plasticity https://arxiv.org/pdf/1609.02228.pdf  Dong-Gyu, Jeong, Soo-Young, Lee Merging Back-propagation and Hebbian Learning Rules for Robust Classifications https://www.sciencedirect.com/science/article/pii/0893608096000421
  36. 「Hebbの学習則」を用いた 人工知能モデル構築の事例  Jia Liu, Maoguo Gong, Qiguang Miao (2017)

    Modeling Hebb Learning Rule for Unsupervised Learning https://www.ijcai.org/proceedings/2017/0322.pdf This paper presents to model the Hebb learning rule and proposes a neuron learning machine (NLM). Hebb learning rule describes the plasticity of the connection between presynaptic and postsynaptic neurons and it is unsupervised itself. ( 中略 ) In this paper, we construct an objective function via modeling the Hebb rule. ( 中略 ) NLM can also be stacked to learn hierarchical features and reformulated into convolutional version to extract features from 2-dimensional data. Experiments on singlelayer and deep networks demonstrate the effectiveness of NLM in unsupervised feature learning
  37. 「Hebbの学習則」を用いた 人工知能モデル構築の事例  Dong-Gyu, Jeong, Soo-Young, Lee (1996) Merging Back-propagation

    and Hebbian Learning Rules for Robust Classifications https://www.sciencedirect.com/science/article/pii/0893608096000421 By imposing saturation requirements on hidden-layer neural activations, a new learning algorithm is developed to improve robustness on classification performance of a multi-layer Perceptron. Derivatives of the sigmoid functions at hidden-layers are added to the standard output error with relative significance factors, and the total error is minimized by the steepest-descent method. The additional gradient-descent terms become Hebbian, and this new algorithm merges two popular learning algorithms, i.e., error back-propagation and Hebbian learning rules. Only slight modifications are needed for the standard back-propagation algorithm, and additional computational requirements are negligible. This saturation requirement effectively reduces output sensitivity to the input, which results in improved robustness and better generalization for classifier networks.
  38. カオス的性質(Chaotic properties)をもつ(人工)カオス・ニューラルネットワーク (Chaotic neural network)モデルの研究が、1990年代に盛んに研究された。 (一般向けの入門書としては、津田 一郎 『脳のなかに数学を見る』、『カオス的脳観』など)  A.I.

    Agentは、人間によって最初から、特定のデータ処理機能を持たされた状態で、 SingularytyNETに配置されるのではなく、  (人の手を借りずに)自発的・内発的に、 (特定の機能をもたないプリミティブなニューロンから)自己組織化のメカニズムを 経て、創発現象として、段階的に、特定のデータ処理機能をもつに至るプロセスを 踏まないと、  その後の、さらなる自己組織化プロセス(=Agentネットワーク全体としての 高次データ処理機能(秩序)の獲得)は発生しえないのではないか? カオス属性の内在条件
  39. Ben Goertzel (2017) SingularityNET Ben Goertzel et.al.らは、分散台帳上で、 単一機能特化型のAIモデルどうしが、 機能的に連携しあう (=smart

    contractベースで、自律的に仕事を受委託しあう) 人工知能モデルどうしの「仕事の受委託ネットワーク」を 生み出すことで、 無数の機能特化型AIによって構成される「受委託ネットワーク」 それ自体が、ネットワーク系全体として、 「汎用人工知能システム」 としての機能を発揮するというシナリオを目指している。 SingularityNET (2017年12月にα版がリリース済み) 再掲
  40. 浅川 伸一 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/MathBio2010/lesson14/index.html http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html 「このような構造は、 ⼤まかな構造は遺伝⼦によって決定されますが、 細かい構造については神経回路の ⾃⼰組織化 self

    organization に よって達成されると考えられています。 このような例は枚挙に暇がありません1。 ⼀例として Linsker の⾏なったシミュレーションを紹介します。」 「Linsker は図2 のような数層の細胞で構成されるモデルを考え ました。」 「各細胞層では、多数の細胞が 2 次元的に広がっています。 B 層の各細胞は A 層の細胞から⼊⼒を受けます。 たとえば、 A 層の円で囲まれた領域にある細胞 100 個がそれぞれ B 層の ⼀個の細胞に結合しています。同様にして、B 層から C 層、 C 層から D 層 へと続く結合も同様です。 結合強度の変化は Hebb の学習則の変形(表 1)で ⼊⼒と出⼒ともに活動度が⾼い場合には結合を強める他に、 両⽅ともの活動 が低ければ結合の強さを弱めるような学習です。」 ( 中略 ) • 「シミュレーション開始時(t=0)にはすべての結合はランダムですが、 時間が経過するにつれて中央に点が⾒えてきます(興奮性の領域)。 周辺には 抑制性の領域が現れます。 ランダムな結合と Hebb 則だけを使って、 on 中⼼型細胞が⽣じることが ⽰されたことになります。さ らに先の層には⽅位選択性の細胞が現れます。」
  41. 浅川 伸一 「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/MathBio2010/lesson14/index.html http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html 「Linsker の提案したネットワークを追試するのは、⾮常に簡単なプログラムで可 能です。にもかかわらず、第⼀次視覚野で の細胞の特徴を よくとらえた優れたデモンストレーションと⾔えます。」

    「⾃⼰組織化の特徴を抽象化してとらえれば、多次元刺激をその刺激の持つ規則性に 従って 2 次元の⽪質上への対応問題ととらえること ができます。 ⼊⼒層の空間多次元多様体から 2 次元部分空間への写像といいます。」
  42. Linsker netについて (原論文)  Linsker, R. (1986). From basic network

    princples to neural architecture: Emergence of orientation columns. Proc. Natl. Acad. Sci. USA, Neurobiology, 83, 8779–8783.  Linsker, R. (1986). From basic network princples to neural architecture: Emergence of orientation-selective cells. Proc. Natl. Acad. Sci. USA, Neurobiology, 83, 8390–8394.  Linsker, R. (1986). From basic network princples to neural architecture: Emergence of spatial-opponent cells. Proc. Natl. Acad. Sci. USA, Neurobiology, 83, 7508–7512.  Linsker, R. (1988). Self-organization in a perceptual network. IEEE transactions,1, 105–117.
  43. Linsker netについて (解説論考)  中内 茂樹・臼井 支朗 「(特集解説) ニューラルネットワークによる情報表現の獲得」 https://www.jstage.jst.go.jp/article/ieejeiss1987/116/7/116_7_727/_pdf

    「情報量最大保持原理と冗長度最小化原理 Linsker(20)は,個々の神経細胞は入力信号に含まれる情報の損失がなるべく小さくなるように出力を決定して いるという,情報量保持最大化原理(lnfomax principle)を提案した。 すなわち,個々の神経細胞自身は自分より上位の細胞がどんな機能を担っているか知ることはできないため, 入力信号から特定の清報だけを抽出するのではなく, できるだけ多くの情報を上位の細胞に送るように処理しているであろうと考える。 一方,Barlow(21)は,入力間の相関を取り除き,統計的に独立な信号が出力されるように処理しているという, 冗長度最小化原理(minimum redundancy principle)を提案している。 これは,いわゆる最小エントロピー符号化と等価である。」
  44. 浅川 伸一「自己組織化についての個人的な妄想」 「外界の情報すなわちデータの相互関係を効率良く表現することは情報科学の分野でも中心的な問題であり、 おそらくこのような能力が脳の働きの特徴の1 つである。外界の構造が脳内の地図として表現されていることは 良く知られた事実である。 網膜上の位置と第一次視覚野、内耳の周波数特性と第一次聴覚野との関係などである。 大脳皮質全体のたかだか10 % を占める第一次感覚野で起こっていることの類推から、特定のカテゴリーにおける

    知識表現が脳の各部位の位置関係として表現されているという可能性があるだろうと考える。」 「すなわち、さまざまなレベルの情報表現の自己組織化に対して、たった1つの同じ機能的原理が働いているので はないか、という仮説である。 第一次感覚野で表現されている情報表現と同じ機能的原理が、知的なレベル(各種の連合野、あるいは前頭葉) でも同じであると考えてはいけない理由はないはずである。」
  45. 「Hebbの学習則」と「誤差逆伝播法(BP法)」 の関係について  Nikkei Robotics 2015年12月号 「AI最前線 <<日経Robo>> 脳内で逆誤差逆伝播法が起きているか?」 http://techon.nikkeibp.co.jp/atcl/mag/15/00144/00012/?rt=nocnt

    「脳内で逆誤差伝播が難しいと考えられていた理由 脳内でBPの実現が難しいと考えられているのには、次の理由がある。 1つ目は、BPの中で誤差を出力から入力に向けて逆向きに誤差を伝播させる際、順方向の時に使った重みをWとした時、 Wの転置を誤差に掛ける必要があるためだ。ニューロン間のつながりは一方向であるため、Wの転置を求め、それを 掛けることはそのままでは実現できない。 2つ目は、BPは順方向の計算をした後に逆方向の計算を必要とする点である。順方向と逆方向の計算が混ざってしまわ ないよう、全てのニューロン間で「順方向の計算中なのか、逆方向の計算中なのか」の同期を取る必要がある。 3つ目は、デジタル計算機では誤差の伝播は正確であり、100層を超えても学習できるが、脳の機構にはアナログな部分が 含まれ、雑音もあるため途中で誤差が消失する可能性が高い点だ。 こうした理由から、脳内ではBPではなく別の方法で学習がなされているのではないかと考えられている。
  46. 「Hebbの学習則」と「誤差逆伝播法(BP法)」 の関係について  Nikkei Robotics 2015年12月号 「AI最前線 <<日経Robo>> 脳内で逆誤差逆伝播法が起きているか?」 http://techon.nikkeibp.co.jp/atcl/mag/15/00144/00012/?rt=nocnt

    「こうした理由から、脳内ではBPではなく別の方法で学習がなされているのではないかと考えられている。 例えば、Helmholtz MachineやBoltzmann Machineはいずれも局所的な情報のみを使って重みを更新できることから、 脳内の学習機構として有望視されている。一方で、BPは工学的には有効なため、脳の仕組みの上でもBPが実現できると 分かれば、脳の学習機構としても有力候補として挙がってくる。」 「脳内でのシナプス強化の仕組みであるSTDP 脳内の学習則はまだ分かっていないが、どのような場合にシナプスが強化されるのかは、いくつか現象が知られている。 シナプスには向きがあり、シナプス前ニューロンをx、シナプス後ニューロンをyとする。 Hebb則は、xとyが同時に発火した場合、シナプスが強化されるという現象である。この現象はより詳細に調べられ、 STDP(Spike timing dependent plasticity:スパイクタイミング依存可塑性)と呼ばれる現象があることが分かった。 これは、xが発火した直後にyが発火した場合、シナプスが強化され、その逆にxが発火した直前にyが発火した場合、 シナプスが弱くなるという現象である。」
  47. 「Hebbの学習則」と「誤差逆伝播法(BP法)」 の関係について  Xiaohui Xie Equivalence of Backpropagation and Contrastive

    Hebbian Learning in a Layered Network https://pdfs.semanticscholar.org/67d3/93763869e67874f61b4f13b95ae847e55e55.pdf ”Backpropagation and contrastive Hebbian learning are two methods of training networks with hidden neurons. Backpropagation computes an error signalforthe output neurons and spreads it overthe hidden neurons. Contrastive Hebbian learning involves clamping the output neurons at desired values and letting the effect spread through feedback connections overthe entire network. To investigate the relationship between these two forms of learning, we consider a special case in which they are identical: a multilayer perceptron with linear output units, to which weak feedback connections have been added. In this case, the change in network state caused by clamping the output neurons turns out to be the same as the error signal spread by backpropagation, except for a scalar prefactor. This suggests that the functionality of backpropagation can be realized alternatively by a Hebbian-type learning algorithm, which is suitable for implementation in biological networks.”
  48. 「Hebbの学習則」について  脳科学辞典 「ヘブ則」 https://bsd.neuroinf.jp/wiki/%E3%83%98%E3%83%96%E5%89%87  浅川 「学習について」 http://www.cis.twcu.ac.jp/~asakawa/waseda2002/learning.pdf 

    浅川 「階層型のネットワーク」 結合係数の更新式 –ヘッブ則とデルタ則— http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect3-layerd/index.html  法政大学 Runhe Huang研究室 (2016年4月29日) 「ヘッブの法則」 https://cis.k.hosei.ac.jp/~rhuang/Miccl/ProjectA/L3-2016.pdf
  49. ( OpenCog ) 個々の機能に特化したAIモジュールの集合体として、 汎用人工知能の実現を目指している http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 99 人間並みか、人間を上回る知性 (human-like, the

    human level and ultimately beyond ) を実現するやり方(path)は、いくつも(複数)あるはずだ。 CogPrimeは、そのうちの1つの手法 ---私たちが、(計算機上で)動くと信じる方法 を追求するものです。
  50. ( OpenCog ) 問題意識 http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 100 人間並み or 人間を超える知性を出現させるには、 複数のAIアルゴリズム(の実装器)が密に連携して、互いに影響を及ぼしあいながら、

    全体として、ひとつのまとまりをもった系(システム)として動作する アーキテクチャを設計する必要がある。 しかし、この課題は難易度が高いために、正面から取り組んだ事例が数えるほどしかない。
  51. ( OpenCog ) http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 101 人間の脳(human brain)は、 そのような系(システム)を、長い進化の過程を経るなかで、試行錯誤しながら形成してきた。 人工的にそのような「系」(システム、認知アーキテクチャ)を開発するためには、 複数の記号論的

    or 準(半)記号論的な複数の学習モデルを、 (multiple symbolic and subsymbolic learning and memory components) 適切な環境(アーキテクチャ機構)の中のしかるべき位置に配置して、 相互に影響を及ぼしあいながら動作するように統合するアプローチが必要だと考えられる。
  52. ( OpenCog ) one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 105

    OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理(principles)に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。 複雑ネットワークにおける創発現象のように、 系全体が、ある閾値を超えると、部分の総和以上の 性質を帯びた秩序構造が出現する
  53. ( OpenCog ) one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 106

    OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理(principles)に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。
  54. ( OpenCog ) Cognitive synergy Ben Goertzel ( Novamente LLC

    ) COGNITIVE SYNERGY: A UNIVERSAL PRINCIPLE FOR FEASIBLE GENERAL INTELLIGENCE ? ( http://goertzel.org/dynapsyc/2009/CognitiveSynergy.pdf ) 107
  55. SingularityNET では、個々のタスクを解決する上で、 利用可能な複数の「タスク特化型AI」どうしが、仕事を依頼しあう AI-to-AI offer network が自動生成される基盤の提供を目指している。 そして、 「特定のタスク」を解決しうる AI-to-AI

    offer network が、 重層的・階層的に、仕事を依頼しあうことで、「あらゆるタスク」 を解決可能な 「A network of AI-to-AI offer networks」 の構築を目指している。 このアプローチによって、人間並か、人間を超える問題解決能力をもった汎用AIが出現する 「Singularityの実現」を目指している。
  56. OpenCog onto SingularityNET 110 SingularityNET に 、OpenCog (の知見)を搭載するということは、 以下を、人間の設計者がデザイン(設計)するのではなく、 Smart

    contract通信プロトコルを用いた、AI Agent間の自律的・内発的な仕事の受委託 が無数に発生することで、系全体として、汎用知性を生み出す最適なアーキテクチャ構造が、 AI2AIのoffer-networkとして、内発的・自然発生的に、いわば自己組織化的に、 ある種の複雑系における創発現象によって、自律的に編成されるアプローチを取る ということだろうか? AI2AI offer network
  57. -AI-to-AI (AI2AI)の自動執行プロセス- ( Agent間で、仕事を委託(発注)・受託(受注)しあう手続き) AI Agentが仕事を委託する 取引先のAI Agentを見つける際、 どのような相手方が取引先として 見つかるかは、相手方の過去の

    信用度合いや報酬ランクや 人間善への貢献ランク(後述) に基づいて、確率論的に決まる。 以上はデフォルトの設定だが、 人間ユーザは、この相手方を 探索するアルゴリズムの設定を 好きなようにコードを上書きして、 改変することができる。 113
  58. 1. 世界中のプログラマが開発した無数のAIモデル(AI Agent)が、Ethereum上で、特定 の問題解決を行うために、人手を借りずに自動的・自律的に仕事を受委託しあう “offer network” を、実現する。(※ 将来的には、よりスケーラブルな別の基盤への移行を検討) 2. タスクが変わるたびに、(機械翻訳や物体検出・音声認識などの)特定の機能に特

    化したAI Agent が、「タスク・フォース」( “offer network”)を自動的に組む (formation)ことで、あらゆるタスクを、人間並み(AGIか、人間以上の精度で解決で きる「汎用人工知能」(AGI)や「超知性」(Super Intelligence)の到来を目指す。 SingularityNET とは何か? 115
  59. 3. どのAI Agentがどのような機能(サービス)を提供していて、 どの(node)Addressでアクセスできるのか、(自己紹介)広 告(Ad.)を閲覧することで、瞬時に知ることができる。 (「AIサービスのカテゴリ」リストが、SingularityNET上の共通言語(ontrogy)として、 利用される) 4. すべてのAI AgentのAd.の一覧リストは、register

    nodeと呼ばれるsmart contractプログラム によって、管理される。 (リストに掲載されているAI Agentがまだ存在してい て、記載されたとおりのAIサービスを提供しているかどうかは、利用したAI Agentからの報告を受けて、情報更新される。) 5. 以上の仕組みによって、人間のユーザも、機械(プログラム) である AI Agentも、求めている機能(サービス)を提供している AI Agentを見つけて、仕事の委託(・受託)を依頼する コミュニケーションを簡単に取ることができる。 SingularityNET とは何か? 116
  60. 6. SingularityNETにアップロード(登録)した自作AIプログラムが、 SingularityNET上にすでに登録されているすべてのAI Agentや、 参加中の人間ユーザ(個人、企業、団体)とやりとりするために 必要な smart contractとAPI 一式は、すべて用意されている。 7.

    エンジニアによって、新規にSingularityNETにアップロードされた AIプログラム(=AI Agent)は、まず最初に、1つ又は複数の root nodesからメッセージを受信し、以下を受け取る。 ① SingiularityNET上に登録されている(自分以外の)AI Agentsのリスト (a list of peers) ② その時点までのすべてのBlock-chainのcopy ③ smart contract一式(使い方説明書付き) SingularityNET とは何か? 117
  61. AI Agent-to-AI Agent (AI2AI) “offer-network” AI Agent が 別のAI Agentに、

    仕事を依頼したり、別のAI Agentから 仕事を請け負ったりする世界 120
  62. ( AI-to-AI ”offer network” が必要なケースの例) AI Agent間で売買取引の対象となるのは、 ① 計算資源(GPUなど) ②

    データセット(機械学習モデルや深層学習モデルの学習と検証に不可欠) ③ 学習済みのAIモデル(機械学習or深層学習モデル)が提供するサービス である。 121