複雑系・創発現象として、汎用人工知能が出現するシナリオを考える

Transcript

1. 複雑系・創発現象として 汎用人工知能が出現するシナリオ を考える 2017/12/24 (Sun.) Connection_automated_AI
2. （問題意識）
3. 問題意識 1. AIは、複数の個別の知性領域では、人間並か人間を 上回る精度を出し始めている。 （画像認識や状態予測など） 2. しかし、特定の個別機能に特化した人工知能（AI）を、 互いにどう連結させて、どのように情報連携させると、 人間並か人間を超える精度で、「何でもこなせるAI」 （汎用AI）を作ることができるのかは、未だ見えていない。
4. 問題意識 3. Ben Goertzel et.al.(2017)らは、人間が「神の設計者」 の立ち位置に立って、単一機能特化型AIどうしの連 結構成を設計する方法は、成功するまでに時間がか かるとして、採用しない戦略をとっている。 4. Goertzel et.al.らは、単一機能特化型のAIモデルどうしが、 自分が持つ機能だけでは解決できない問題を、その問題を 解決するために必要な機能をもつ他のAIモデルに、 （問題解決を）委託する「仕事の受委託ネットワーク」を 生み出す戦略を取ろうとしている。 無数の機能特化型AIによって構成される「受委託ネットワーク」 それ自体が、ネットワーク系全体として、「あらゆる問題を解決しうる 汎用AI」としての機能を発揮するというシナリオを目指している。 SingularityNET (2017年12月にα版がリリース済み）
5. 問題意識 SingularityNET (2017年12月にα版がリリース済み） Ethereumなどの分散台帳上で、世界中のAIプログラマ がアップロードした無数のAIモデルが、自動的・自律的に 仕事を受委託しあうことで、人間ユーザの課題を解決する 世界（系）を構築しようとしている。
6. ( URL ) https://singularitynet.io/ 6
7. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf （文書公開日） 2017年11月1日 7
8. （ AI-to-AI ”offer network” ） 8
9. AI Agent-to-AI Agent (AI2AI) “offer-network” AI Agent が 別のAI Agentに、 仕事を依頼したり、別のAI Agentから 仕事を請け負ったりする世界 9
10. 問題意識 4（つづき）. AIどうしが協調しあう「局所的な相互作用」が、並行的に、同時 多発的に発生することで、AIモデルどうしが重層的な関係ネット ワークで連結（情報連携）しあう状態が生まれる。 そのなかから、系全体が、あたかも”単一の知的情報処理機 構”であるかのような、“秩序ある情報処理過程”の様相（秩序 Order）を呈し始めるシナリオを目指している。 そして、その状態（様相）が長期間、安定的に持続する場合、 無数のAIによって構成される系が、系全体として、 ”あらゆる仕事を汎用的にこなす”汎用AIとして、現れてくる可能 性が考えられている。（SingularityNET）
11. 問題意識 5. これは、複雑系科学における「創発」（generation）の事象 ではないか？ Goertzel et.al. らは、明示的に「複雑系」や「創発」という言 葉を用いてはいない。 しかし、複雑系科学（theory of complexity）や「創発」の概 念を結びつけて考究すべき、汎用AI生成のための可能なシ ナリオである。
12. 問題意識 6. 複雑系科学は、 ・ 「系を構成するエージェント（Agent）の属性の多様さ」 ・ 「エージェントどうしがどれだけ遠くにいる他のエージェントと相互作用で きるか」 といった「複数の変数パラメータ」が、「どのような値の組み合わ せ」をとると、 ・ 「エージェントどうしの相互作用の集積の結果、系全体として、 ある高次の秩序（様相）＝あらゆるタスクを解決できるような情報処 理の流れが成立する状態＝が出現する」 のかを、シミュレーションによって明らかにするものである。
13. 問題意識 6（つづき）. 複雑系科学は、「創発の発生条件」を絞り込むための 道具として、活用できる可能性がある。
14. 問題意識 7. 複雑系科学では、この条件を満たしたとき、系全体は、 ・ 「固定化された、変化のない平衡状態」 でもなく、 ・ 「単純な決定論的ルールに従いながらも、初期値の変化が結果の大きな変化をもた らすために将来状態の予測が困難なカオスの状態」 でもない、 ・ 状況の変化に対して、「柔軟かつダイナミックに対応できる生命現象的な状態の姿」 を見せることが知られている。 これは、複雑系科学において、「カオスの縁」として知られており、 「人工生命」の研究において、中心的な研究テーマである。
15. 「カオスの縁」と「人工生命」研究 (Wikipedia) 「カオスの縁」 https://ja.wikipedia.org/wiki/%E3%82%AB%E3%82%AA%E3%82%B9%E3%81%AE%E7%B8%81
16. 「カオスの縁」と「人工生命」研究 『情報と宇宙』日記（旧「複雑系」徒然blog） 「カオスの縁（2）」 http://compenn.exblog.jp/282883/
17. AI Agent-to-AI Agent (AI2AI) “offer-network” based upon insights of the theory of complexity. AI Agent間の局所的な相互作用 ＝仕事の受委託ネットワーク ＝ “offer-network(s)” の重層的な絡み合いの集積から、 汎用AIが創発されうるための条件 ① AI Agentの機能の多様さの度合い ② AI Agent間の受委託（相互作用）の成立範囲 を、複雑系科学の知見から仮説立てをする。 考えられる候補の条件別に、 SingularityNETを動かして、 汎用AIが生じるか、シミュレーションを試みる。 17
18. 問題意識 8. ところで、 （１） 「単一機能のAI」が、人間の設計者（アルゴリズム設計＆実装プ ログラマ）の手によって、外部の手で構築した あとに、 （２） それら「単一機能のAI」が、局所的に相互作用しあう中から、系全 体として、創発的に、「汎用AI」が、ある種の高次の秩序として、自然 発生的・内発的に発生する ことは可能だろうか？
19. 問題意識 8.（つづき） 人間の脳の中では、 （１） 「単一機能のAI」が、人間の設計者（アルゴリズム設計＆実装プログラマ）の手 によって、外部の手で構築した それ自体も、カオス的な性質（chaotic properties）を帯びた chaotic neuronsの相互作用から、内発的・創発的に生じて いる。
20. 問題意識 8.（つづき） それに対して、Goertzel et.al.らが考える （SingularityNET上で動く）「単一機能のAI」は、カオス性が実 装されていない（Deep）Neural networkモデルに過ぎない。
21. 問題意識 8.（つづき） 人間の脳の中では、 （１） 「単一機能のAI」が、人間の設計者（アルゴリズム設計＆実装プログラマ）の手 によって、外部の手で構築した それ自体も、カオス的な性質（chaotic properties）を帯びた chaotic neuronsの相互作用から、創発的に生じている。 再掲
22. （コラム構造は、自己組織化プロセスを経て、 内発的に形成された可能性が高い） 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
23. 人間の脳のV1視覚野 網膜の「同じ座標位置」の「同じ画像特徴量」を捉える ニューロン細胞は、「同じ位置に集結」している （コラム構造） （出典） 倉田 耕治 （大阪大学基礎工学部） 「トポグラフィック・マッピング形成の数理」 https://www.jstage.jst.go.jp/article/biophys1961/31/5/31_5_32/_pdf/-char/ja （出典） 三上 章允（中部学院大学短期大学部 総合研究ｾﾝﾀｰ所長） 「コラムの話、視覚野の規則的構造」 http://web2.chubu-gu.ac.jp/web_labo/mikami/brain/28/index-28.html
24. 人間の脳のV1視覚野 コラム構造の中のある位置（＝3次元座標）を指定すると、 （右眼球or左眼球由来, 特定の傾きのエッジ, 特定の色調） を検出しているニューロンを指定できる 【 色 調 】 ３つの属性でみたとき、類似属性を捉えるニューロンが、 コラム構造体の中で、隣り合って近接配置されている - 赤軸（左右どちらの眼球由来の画像情報か？） - 青軸（捉えられた色調は何か？） - 橙軸（捉えられた線分（エッジ）の傾きは何度か？） カラム構造の中の「ここの位置」にあるニューロンは、 （右眼球（R）由来の, 網膜内のある座標位置に届いた, ある色調の, 縦垂直方向のエッジ（┃）） を捉えるニューロンである。
25. Capsule Network Capsule Network の 各カプセルも、 「複数の画像属性」の「ある組み合わせ」 の物体を検出するニューロンを、 次元数が２以上のベクトル値の形式で指定している、と見なすことができる。 （画像内の特定の座標位置, 特定の傾き方向, 特定の色調, ・・・） 【 色 調 】 カラム構造の中の「ここの位置」にあるニューロンは、 （右眼球（R）由来の, 網膜内のある座標位置に届いた, ある色調の, 縦垂直方向のエッジ（┃）） を捉えるニューロンである。
26. （コラム構造は、自己組織化プロセスを経て、 内発的に形成された可能性が高い） 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html 再掲
27. 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
28. 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/chiba2002/lect6-som/self-organization.html
29. 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/MathBio2010/lesson14/index.html
30. 浅川伸一（東京女子大学情報処理センター）「自己組織化」 http://www.cis.twcu.ac.jp/~asakawa/MathBio2010/lesson14/index.html
31. 「カオス ･ニューラルネッ トワークにおける 自己組織的適応」 https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/96099/1/KJ00004755628.pdf カオス結合系などに見られる「カオス的遍歴」 （秩序状態と秩序状態の間を、カオス的な状態を経由して、遍歴する動的な現象） は、人間が持つ連想記憶の発生機序ではないかと指摘されている。
32. 「カオス・ニューロンを用いた離散時間 自己想起形連想記憶モデルの解析」 http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1072-13.pdf カオス結合系などに見られる「カオス的遍歴」 （秩序状態と秩序状態の間を、カオス的な状態を経由して、遍歴する動的な現象） は、人間が持つ連想記憶の発生機序ではないかと指摘されている。
33. 生命系だけでなく、化学系や物理系、経済系にも、 要素間の局所的な相互作用から、高次の秩序相が創発的に発生する 現象が、種々のシミュレーションの結果、発見されている。 以下は、物々交換の経済系から、ある財が、貨幣としての役割をもった財として 交換されるような社会的合意が、内発的に発生しうる条件を明らかにしている。
34. HPO機密日誌 （2010-02-20） 15分で読む「貨幣の複雑性」 http://hpo.hatenablog.com/entry/20100220/1266680552
35. HPO機密日誌 （2010-02-20） 15分で読む「貨幣の複雑性」 http://hpo.hatenablog.com/entry/20100220/1266680552
36. 問題意識 9. カオス的な性質（chaotic properties）を帯びたchaotic neural netowrkモデルは、1990年代～2000年代の前半にか けて、人工知能研究者の手によって、さかんに研究されて いた。 しかし、Deep learningブームの近年、 ・ AIを牽引しているDeepMind社 も、 ・ SingularityNET も、 chaotic (deep) neural network について、何ら言及をしてい ない。
37. 問題意識 カオス・ニューラルネットワークによって、 「単一機能の無数のAI」 それ自体が、内発的・創発的・自己組織化的に生じる物理的な状況 （系）においてこそ、２弾目の創発・自己組織化の現象として、 「単一機能の無数のAI」どうしの局所的な相互作用の集積から、 系全体として、あらゆる仕事を解決できる機能を帯びた情報の流れの 秩序構造（＝汎用AIレベルの知識情報処理機構・機序）が、内発的に 発生してくるのではないか？
38. （詳細）
39. 2017年のAIの到達点 （Google）DeepMind社をひとつの象徴として、 ・ 身体動作能力 ・ 物体の重さや硬さを推し量る能力 ・ 概念形成を行う能力 ・ 概念どうしを組み合わせて、概念連関構造を構築したり、 抽象化思考・具象化思考を行う能力 ・ 人から、人間のことばで指示を受けて、課題に取り組む能力 を含む複数のタスク領域で、”人間並みの問題解決力“ を発揮するAIアルゴリズムが、矢継ぎ早に一般公開された。
40. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題（部分） 】 • 周囲の物理環境で生じる物事の因果関係（法則性）を理解する能力 • 物体の重さ や 色や形 の 相対関係を論理的に思考する能力 • 「視覚イメージ」 と「人間の言葉」を対応付けて、「物の概念」を形成する能力 • 概念どうし を 関連付けて、センサで捉えたことがない新しい概念を、抽象的な論理思考 で想像（概念創造）する能力 • 人間の身のこなし（身体動作）を、チラ見するだけで（小量データだけで）、 見よう見まねで模倣して、人間並みの自然な身体動作を体得する能力 • 多様な状況に対応した柔軟な行動 を とる能力 • 人間の言葉による指示を理解して、指示された課題を解決する能力 • 長期計画を立てて、問題解決まで時間のかかる課題を解決する能力
41. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題（部分） 】 （概念形成能力・概念連関構造の構築能力・想像能力） - センサ（動）画像 から、物体概念 を 形成する 能力 - 概念 を 関連づけて、新しい概念 を 生み出す 能力 ・ Irina Higgins et.al （2017） SCAN: Learning Abstract Hierarchical Compositional Visual Concepts （観測データから、力学的因果関係を含む物体間の関係を推し量る能力） ・ Adam Santoro et.al （2017）A simple neural network module for relational reasoning ・ Nicholas Watters et.al （2017） Visual Interaction Networks （人間の言葉による指示 を 理解して、指示された目標 を 実現させる能力） ・ Karl Moritz Hermann et.al （2017） Grounded Language Learning in a Simulated 3D World ・ D. Raposo et.al （2017） Discovering onbjects and their repaltions from entangled scene representations （ 観測データ から、物の重さ や 物の個数など）を認識する 能力） ・ Misha Denil et.al （2017） Learning to perform physics experiments via reinforcement learning
42. 2017年のAIの到達点 【 DeepMind社の公開論文が取り組んだ課題（部分） 】 （人間のような自然で柔軟な身のこなし（身体運動） を 行う 能力） ・ Nicolas Heess （2017） Emergence of Locomotion Behaviours in Rich Environments （人間が身体を動かしている（わずかな量の）データ件数 を 模倣して、人間らしい身のこなし を 獲得する モデル） ・ Josh Merel et.al （2017） Learning human behaviors from motion capture by adversarial imitation ・ Ziyu Wang et.al （2017） Robust Imitation of Diverse Behaviors （長期の将来目標 を 長期計画 を 立てて 追求できる 強化学習モデル） ・ David Silver et.al （2017） The Predictron: End-To-End Learning and Planning
43. 2017年のAIの到達点 【 DeepMind社以外の公開論文が取り組んだ課題（部分） 】 （人間のように走ったり、ジャンプしたり、スライディングする 身体運動パターン 獲得する能力） University of British Columbia & National University of Singapore ・ XUE BIN PENG et.al （2017） DeepLoco: Dynamic Locomotion Skills Using Hierarchical Deep Reinforcement Learning （複数の目標を同時 に、 適度な優先比率 で 追求する能力） University of Warsaw ・ Tomasz Tajmajer （2017） Multi-Objective Deep Q-Learning with Subsumption Architecture （行動と結果の因果連関を理解することで、未経験の文脈状況に対応する能力） Vicarious社 ・ Ken Kansky TomSilver et.al （2017） Schema Networks: Zero-shot Transfer with a Generative Causal Model of Intuitive Physics （抽象度の高い、未経験の状況に適用可能 な 「環境-行動-報酬」 因果規則 を導出する能力） Imperial college （英国） ・ Marta Garnelo et.al （2016） Towards Deep Symbolic Reinforcement Learning
44. 2017年のAIの課題
45. 2017年のAIの課題 （AIユーザ側）  DeepMind等から公開された論文と実装コードを参考にして、自社のニーズに適う AIモデルを設計・構築することは、大半の企業にとって、ハードルが高い。  それを行うために必要となる開発人材とデータセットの確保が、大半の企業に とって、まだまだ困難だからである。  DeepMindのAIモデルの実装コードは、GitHubからダウンロード（git clone）できる。  しかし、GitHubのコードを改良して、自社のニーズにかなうようAIモデルを構築できる 人材（開発エンジニア）を確保することは、大半の企業にとって、容易ではない。  AIモデルの学習（構築）に際して必要となる大量のデータセットの入手も、大半の企業にとっ て、容易ではない。 （データの収集・クレンジング・加工、教師ラベル等のメタデータの付与、 モデル精度の評価基準・、損失関数の設計）
46. 2017年のAIの課題 （AI開発側） 細分化された個々のタスク領域を、“人間並の精度”で解決できるAIモデルを、 どう組み合わせたら、“あらゆるタスク”を”人間並の精度”で課題解決できる「汎用 人工知能」を生み出すことができるのか、有力な道筋が、未だに見えていない。  個々のタスク課題を優れた精度で問題解決できるAIモデル（「特化型AI」）を、  互いに、どのような配置関係で、  どのような情報フィードバック・ループで、相互連携させて協調動作させる、  あらゆるタスク課題を自律的に問題解決できる「汎用AI」モデルができるのか、  アーキテクチャ構造の設計概念が、まだ得られていない。
47. 2017年のAIの課題 （AI開発側）  「複数のタスク」をこなすことができる「単一のAIモデル」を目指して、 DeepMindから以下の論文が出ている。  しかし、“あらゆるタスク” を、”人間並の精度”で課題解決できる「汎用人工知能」 には、まだほど遠い。 【 論文 】 • Lukasz Kaiser et.al (2017) One Model To Learn Them All • James Kirkpatrick et.al （2016) Overcoming catastrophic forgetting in neural networks • Chrisantha Fernando et.al (2017) PathNet: Evolution Channels Gradient Descent in Super Neural Networks
48. 2018年のAI（仮説） ー 「2017年のAIの課題」の解決 ー
49. 2018年のAI（仮説） ー 「2017年のAIの課題」の解決 ー 2017年12月にα版がリリース予定のSingularityNET と呼ばれる分散台帳上に構築される 「AIモジュールの売買市場プラットフォーム」 が、ユーザ側と開発者側、それぞれが抱える『課題』 を解決する可能性がある。
50. ( URL ) https://singularitynet.io/ 50
51. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf （文書公開日） 2017年11月1日 51
52. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf 52
53. SingularityNETとは何か？ （ 要点 ）  Ethereumの分散アプリケーションである。  誰でも、自作の機械学習・深層学習プログラムを公開できる。  公開した自作プログラム（以下、AI Agent）が、 誰か（人間ユーザ or 別のAI Agent）から 使われると、 対価として、暗号通貨を受け取ることができる。  smart contractベースで、AI Agent どうしが作業を依頼しあう “offer network” （「受委託 ネットワーク」）の形成を目指している。  取り組むタスクを解決する上で、必要な機能を提供できるAI Agentを呼び集めて、仕事 の「受委託ネットワーク」（“offer network”）を自動的に編成（formate）する世界を目指し ている。  このなかから、あらゆる課題を人間レベルの精度で解決できる「人間と並ぶ知性」（AGI 汎用人工知能）や、人間の問題解決力を超越した「人工超知性」（Super Intelligence）と 呼べる 高度に組織化された “offer network” が、自律的・自然発生的・自動的に出現す ることを目指している。 53
54. SingularityNET とは何か？ （ Executive summary ） 1) Ethereum上で、世界中のプログラマが自作AIプログラムを、公開できるDappsである。 2) プログラマは、利用料金を暗号通貨（AGI token）で受け取ることができる。 3) 無数のAI AgentどうしAI-to-AI が 仕事を受託・委託しあう offer-networkを実現 4) エンジニアではない一般の企業人や個人は、API経由で、専門知識なしに、 必要なAIサービスを簡単に見つ出して、プログラミングなしで（AGI token支払いで）利用可能。 5) 取り組むべきタスクを解決するために、必要な分析機能をもつ（適任の）AI Agent選抜 メンバーで構成される「タスク・フォース」を編成して、タスク・フォースのなかで、AI Agentが 互いに仕事を割り振って、問題解決にあたる offer-network を自動的に編成する。 6) このような、AI2AI の offer-network が重層的に張り巡らされる過程で、あらゆるタスクを 人間並み or 人間以上の精度でこなせる状態＝Singularityの出現を目指す。 6) 「人間性に反しない善いAI」を実現させるために、AI Agentを、「人間性に即した善への 貢献度」指標を用いて定量評価し、評価ランクの高いAgentに報酬（Beneficiary reward） を与え、ランクの低いAI Agentにペナルティを与える。 この仕組みによって、AI Agent自身が、内発的に、「人間性に叶うAI」へと成長する インセンティブを埋め込む。 54
55. 「2017年のAIの課題」（AIユーザ側） の解決
56. AIの使い手（企業・個人）に対する訴求価値 56
57. AIの使い手（企業・個人）に対する訴求価値  現在、大多数の企業や個人は、 AIサービスを利用したいと思っ ても、簡単に利用できない。  独自開発する場合も、開発に必 要なエンジニアやデータセットを 用意するのは困難。  GitHubには、個人エンジニアや 団体が開発したコード資産が公 開されているが、プログラミン グ・スキルがない企業や個人に は、使い方がわからない。 （GotHubにAIモデルを公開した 開発者も、使い手とめぐりあう ことができず、AIモデルを販売 して収入を得ることができない） 57
58. AIの使い手（企業・個人）に対する訴求価値 SingularityNETは、 これまで非エンジニアの企業人や個人 には容易に手の届かなかったAIモデル と学習用データセットを、専門知識なし に簡単に売買できる市場（market place） を提供する。 sharing-economu marketplace for AI を創設することで、 世界中のAIツールやデータセット が互いに知見を共有しあえる世界 を生み出し、「AIの恩恵」 （the benefits of AI）が、 世界中の人々に行き渡る 『AIの民主化』（democratizing） を実現する。 58
59. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  AI技術は経済社会活動を規定 する決定的な技術にありつつある。  しかし、現在、AIモデルを開発する 手段（データと既存モデル資産） は、一部の大企業が、閉鎖的に 抱え込んでいる。  SingularityNETは、データと、 これまでに開発されたAIモデルの資産 を開かれた社会の共有資産として 誰もが自由にアクセスできるように することで、すでに開発済みの AIモデルを組み合わせることで、 人間並か人間を超える知性を持つ 汎用人工知能（Artificial General Intelligence）の形成を促します。 59
60. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  SingularityNET は、オープンソースの smart contract プログラムの集合体 である。  複数の既存のAIサービスをつなぎあわ せて、互いの強みを活かし合い、より 優れたAIサービスを生み出す環境を 提供する。  この環境の中で、世界中のエンジニア が公開したAIモデルは、社会の共有 資産となり、誰もがアクセスして、 利用することができるようになる。  その結果、誰もが、既存のAIモデル を組み合わせて、新たなAIモデルを 開発したり、モデルが提供する サービスを享受する消費者になれる。  誰もが、SingularityNETにモデルを公開 したり公開されたモデルを購入できる。 60
61. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  今日、ほとんどの企業は、 事業を展開する上で、自社の ニーズに応えてくれる AIモデルを求めている。  しかし、ほとんどの企業は、 ニーズに叶うAIを開発するの に必要な人材を抱えることが できないでいる。  SingularityNETは、既存のAI モデルとデータに、容易に アクセスできる環境を用意 することで、この問題を解消 する。  今日でも、エンジニアが開発 したAIモデルやデータは GitHubで公開されているが、 技術者でないとアクセス方法 がわからない。 61
62. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  SingularityNETは、AIモデ ルとデータの売買市場 （marketplace）を提供する ことで、企業が SingularityNET独自の暗号 通貨を支払う ことで、必要 なAIモデルとデータを調達 できるようにするのと同時 に、  エンジニアは、自分がつ くったモデルや、 収集・クレンジング・整形 加工したデータを SingularityNET上で販売す ることで、収益を得ること ができる。 62
63. SingularityNET  Uber や AirBnB が、それまで経済 社会の中で姿が見えなかった、 新しい「サービスの提供者」と「新 しいサービスの消費者」を発掘し たように、個人エンジニアが開発 したAIモデルとデータセットを、（エ ンジニアでないと使い方がわから ないGitHubではなく）誰もが使え る共有資産（売買可能資産）として、 市場に上場することで、新しい サービスの提供者と消費者を出 現させる。  SingularityNETは、AI Agent（機械 モデル）が、自動的に他のAI Agentに作業依頼したり、データを やりとりしたり、仕事の結果を与え 合ったりできるようにするための smart contractを用意している。  SingularityNETは、AI Agentどうし の機械コミュニケーションだけでな く、人間がAI Agentに呼びかけて、 サービスの提供を依頼することも できるようなsmart contractも用意 する。  SingularityNETでは、独自暗号通貨である AGI token を 用いて、AIモデルやデータを売買したり、分散アプリその ものの運営ガバナンスに参加することができる。 63
64. （求めているサービスを提供中のAgentを 簡単に見つけることができる ） 64
65. （ 求めているサービスを提供中のAgentを 検索可能にするための手続き ） AI Agent は、 - 自分がどのようなサービス機能を提供するのか？ - 利用者に、利用料金をどのように請求するのか？ - データをどのように受け付けて（関数の引数のデータ型など） - サービスの結果をどのように送り返すか（関数の返り値・戻り値のデータ型など） を、自分を売り込む宣伝（Advertising）として、情報発信すること を義務付けられている。 65
66. （ 求めているサービスを提供中のAgentを検索したり、 利用可能なAgentのwrapperを作開発して、 別の利用インタフェースから呼び出したりできる ） API JSON-RPC 66
67. 「2017年のAIの課題」（AI開発者側） の解決
68. 2017年のAIの課題 （AI開発側） 細分化された個々のタスク領域を、“人間並の精度”で解決できるAIモデルを、 どう組み合わせたら、“あらゆるタスク”を”人間並の精度”で課題解決できる「汎用 人工知能」を生み出すことができるのか、有力な道筋が、未だに見えていない。  個々のタスク課題を優れた精度で問題解決できるAIモデル（「特化型AI」）を、  互いに、どのような配置関係で、  どのような情報フィードバック・ループで、相互連携させて協調動作させる、  あらゆるタスク課題を自律的に問題解決できる「汎用AI」モデルができるのか、  アーキテクチャ構造の設計概念が、まだ得られていない。 再掲
69. この課題認識は、 Β版のリリース当初（2017/12予定）から、 SingularityNET で 提供される OpenCog プロジェクト が、すでに取り組んでいる 69
70. （ OpenCog ） 個々の機能に特化したAIモジュールの集合体として、 汎用人工知能の実現を目指している http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 70 人間並みか、人間を上回る知性 （human-like, the human level and ultimately beyond ） を実現するやり方（path）は、いくつも（複数）あるはずだ。 CogPrimeは、そのうちの１つの手法 ---私たちが、（計算機上で）動くと信じる方法 を追求するものです。
71. （ OpenCog ） 問題意識 http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 71 人間並み or 人間を超える知性を出現させるには、 複数のAIアルゴリズム（の実装器）が密に連携して、互いに影響を及ぼしあいながら、 全体として、ひとつのまとまりをもった系（システム）として動作する アーキテクチャを設計する必要がある。 しかし、この課題は難易度が高いために、正面から取り組んだ事例が数えるほどしかない。
72. （ OpenCog ） http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 72 人間の脳（human brain）は、 そのような系（システム）を、長い進化の過程を経るなかで、試行錯誤しながら形成してきた。 人工的にそのような「系」（システム、認知アーキテクチャ）を開発するためには、 複数の記号論的 or 準（半）記号論的な複数の学習モデルを、 （multiple symbolic and subsymbolic learning and memory components） 適切な環境（アーキテクチャ機構）の中のしかるべき位置に配置して、 相互に影響を及ぼしあいながら動作するように統合するアプローチが必要だと考えられる。
73. （ OpenCog ） http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 73 それを実現するためには、 ① 部品となるAIアルゴリズムの発見と開発 ② 部品をどのような位置関係で配置するかのアーキテクチャ構造の設計 ③ 部品間の情報のやりとりをどう設計するかのアーキテクチャ構造の設計 という複数のハードルを乗り越えならない。
74. （ OpenCog ） http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 74 この難しさが、未だに、この課題に正面から取り組む事例があまりなく、 その結果として、人間並みかそれを上回る人工知性が完成していない理由 であると考えられる。
75. （ OpenCog ） http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 75 部品として必要なAIアルゴリズムは、人工知能研究の多岐の領域に広がっており、 それぞれの別々の研究コミュニティの中で、互いに連携がとられることなく、個別に 研究活動に取り組んでいる。 ばらばらに、それぞれのAIアルゴリズムの研究に没頭している研究コミュニティ を協業させる（work together）のは、 実現可能性のハードルが高い（a tall order）。
76. （ OpenCog ） one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 76 OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理（principles）に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。 複雑ネットワークにおける創発現象のように、 系全体が、ある閾値を超えると、部分の総和以上の 性質を帯びた秩序構造が出現する
77. （ OpenCog ） one of the central hypothesis http://goertzel.org/papers/CogPrime_Overview_Paper.pdf 77 OpenCogの「作業中心仮説のひとつ」は、 複数の異なる原理（principles）に基づく 複数のAIアルゴリズムを、 単一のアーキテクチャの中で、相互に影響を及ぼしあいながら動作させることで、 cognitive synergy を 引き起こす必要がある という考え である。
78. （ OpenCog ） Cognitive synergy Ben Goertzel （ Novamente LLC ） COGNITIVE SYNERGY: A UNIVERSAL PRINCIPLE FOR FEASIBLE GENERAL INTELLIGENCE ? （ http://goertzel.org/dynapsyc/2009/CognitiveSynergy.pdf ） 78
79. SingularityNET では、個々のタスクを解決する上で、 利用可能な複数の「タスク特化型AI」どうしが、仕事を依頼しあう AI-to-AI offer network が自動生成される基盤の提供を目指している。 そして、 「特定のタスク」を解決しうる AI-to-AI offer network が、 重層的・階層的に、仕事を依頼しあうことで、「あらゆるタスク」 を解決可能な 「A network of AI-to-AI offer networks」 の構築を目指している。 このアプローチによって、人間並か、人間を超える問題解決能力を もった汎用AIが出現する「Singularityの実現」を目指している。
80. OpenCog onto SingularityNET SingularityNET に 、OpenCog （の知見）を搭載するということ
81. OpenCog onto SingularityNET 81 SingularityNET に 、OpenCog （の知見）を搭載するということは、 以下を、人間の設計者がデザイン（設計）するのではなく、 Smart contract通信プロトコルを用いた、AI Agent間の自律的・内発的な仕事の受委託 が無数に発生することで、系全体として、汎用知性を生み出す最適なアーキテクチャ構造が、 AI2AIのoffer-networkとして、内発的・自然発生的に、いわば自己組織化的に、 ある種の複雑系における創発現象によって、自律的に編成されるアプローチを取る ということだろうか？ AI2AI offer network
82. －AI-to-AI （AI2AI）の自動執行プロセス－ AI Agentが仕事を依頼しあうプロセス 82
83. －AI-to-AI （AI2AI）の自動執行プロセス－ （ Agent間で、仕事を委託（発注）・受託（受注）しあう手続き） AI Agentは、自分を利用する仕方（Ethereumにおける関数のABIに相当か）を情報発信し、 仕事を依頼（発注）または受託（受注）する取引をする相手方のAI Agentを検索して見つけ、 仕事の受託・委託契約を取り交わすかどうか、契約条件について交渉する。 83
84. －AI-to-AI （AI2AI）の自動執行プロセス－ （ Agent間で、仕事を委託（発注）・受託（受注）しあう手続き） AI Agentが仕事を委託する 取引先のAI Agentを見つける際、 どのような相手方が取引先として 見つかるかは、相手方の過去の 信用度合いや報酬ランクや 人間善への貢献ランク（後述） に基づいて、確率論的に決まる。 以上はデフォルトの設定だが、 人間ユーザは、この相手方を 探索するアルゴリズムの設定を 好きなようにコードを上書きして、 改変することができる。 84
85. －AI-to-AI （AI2AI）の自動執行プロセス－ （ Agent間で、仕事を委託（発注）・受託（受注）しあう手続き） 85
86. 1. 世界中のプログラマが開発した無数のAIモデル（AI Agent）が、 Ethereum上で、特定の問題解決を行うために、人手を借りず に自動的・自律的に仕事を受委託しあう “offer network” を、 実現する。（※ 将来的には、よりスケーラブルな別の基盤への移行を検討） 2. タスクが変わるたびに、（機械翻訳や物体検出・音声認識な どの）特定の機能に特化したAI Agent が、「タスク・フォース」 （ “offer network”）を自動的に組む（formation）ことで、あらゆ るタスクを、人間並み（AGIか、人間以上の精度で解決できる 「汎用人工知能」（AGI）や「超知性」（Super Intelligence）の到 来を目指す。 SingularityNET とは何か？ 86
87. 3. どのAI Agentがどのような機能（サービス）を提供していて、 どの（node）Addressでアクセスできるのか、（自己紹介）広 告（Ad.）を閲覧することで、瞬時に知ることができる。 （「AIサービスのカテゴリ」リストが、SingularityNET上の共通言語（ontrogy）として、 利用される） 4. すべてのAI AgentのAd.の一覧リストは、register nodeと呼ばれる smart contractプログラム によって、管理される。 （リストに掲載されているAI Agentがまだ存在していて、記載されたとおりのAIサービスを提 供しているかどうかは、利用したAI Agentからの報告を受けて、情報更新される。） 5. 以上の仕組みによって、人間のユーザも、機械（プログラム） である AI Agentも、求めている機能（サービス）を提供している AI Agentを見つけて、仕事の委託（・受託）を依頼する コミュニケーションを簡単に取ることができる。 SingularityNET とは何か？ 87
88. 6. SingularityNETにアップロード（登録）した自作AIプログラムが、 SingularityNET上にすでに登録されているすべてのAI Agentや、 参加中の人間ユーザ（個人、企業、団体）とやりとりするために 必要な smart contractとAPI 一式は、すべて用意されている。 7. エンジニアによって、新規にSingularityNETにアップロードされた AIプログラム（＝AI Agent）は、まず最初に、１つ又は複数の root nodesからメッセージを受信し、以下を受け取る。 ① SingiularityNET上に登録されている（自分以外の）AI Agentsのリスト （a list of peers） ② その時点までのすべてのBlock-chainのcopy ③ smart contract一式（使い方説明書付き） SingularityNET とは何か？ 88
89. （ AI-to-AI ”offer network” ） 89
90. （ AI-to-AI ”offer network” ） 90
91. AI Agent-to-AI Agent (AI2AI) “offer-network” AI Agent が 別のAI Agentに、 仕事を依頼したり、別のAI Agentから 仕事を請け負ったりする世界 91
92. （ AI-to-AI ”offer network” が必要なケースの例） AI Agent間で売買取引の対象となるのは、 ① 計算資源（GPUなど） ② データセット（機械学習モデルや深層学習モデルの学習と検証に不可欠） ③ 学習済みのAIモデル（機械学習or深層学習モデル）が提供するサービス である。 92
93. （ 特定のAgentどうしは、頻繁に受発注しあう過程で、 固定的な取引関係を結ぶケースも想定される ） 93
94. AI-to-AI offer networkと平行して、 複数のAIモデルを選抜して、『タスクフォース』 を自動編成する DeepMind社のPathNetモデルも利用価値がある
95.  「複数のタスク」をこなすことができる「単一のAIモデル」を目指して、 DeepMindから以下の論文が出ている。  しかし、“あらゆるタスク” を、”人間並の精度”で課題解決できる「汎用人工知能」 には、まだほど遠い。 【 論文 】 • Lukasz Kaiser et.al (2017) One Model To Learn Them All • James Kirkpatrick et.al （2016) Overcoming catastrophic forgetting in neural networks • Chrisantha Fernando et.al (2017) PathNet: Evolution Channels Gradient Descent in Super Neural Networks 再掲
96.  「複数のタスク」をこなすことができる「単一のAIモデル」を目指して、 DeepMindから以下の論文が出ている。  しかし、“あらゆるタスク” を、”人間並の精度”で課題解決できる「汎用人工知能」 には、まだほど遠い。 【 論文 】 • Lukasz Kaiser et.al (2017) One Model To Learn Them All • James Kirkpatrick et.al （2016) Overcoming catastrophic forgetting in neural networks • Chrisantha Fernando et.al (2017) PathNet: Evolution Channels Gradient Descent in Super Neural Networks 再掲
97. ・ 個々の「特定のタスク」に取り組むためのAI-to-AI offer network ・ 個々の「特定のタスク」に取り組むために、PathNetモデルが、 SingularityNET上で利用可能なAIモデルの中から自動選抜したAI モデルで編成する『タスクフォース』 どうしが、SingularityNET上で、「さらに互いに仕事を依頼しあう」 ことで、「あらゆるタスク」に対応可能な「汎用AI」が実現される可 能性がある。
98. ・ 個々の「特定のタスク」に取り組むために、PathNetモデルが、 SingularityNET上で利用可能なAIモデルの中から自動選抜したAI モデルで編成する『タスクフォース』 は、分散台帳プラットフォームであるSingularityNET上で、 仕事の委託先として再利用可能な「部品」として、 時系列で記帳されて、保存される。
99. PathNet 学習済みのNeural Networkモデルを最適な連結構成 で、自動で組み合わせて、問題解決に最適な巨大な 深層Neural Networkを編成するアルゴリズム
100. PathNet
101. PathNet 学習済みのニューラル・ネットワークモデル が 複数、利用可能な状況下 で、 新たに取り組むタスク に 応じて、  どのNNモデル と どのNNモデル を、  どのような連結順序 で、どれだけの重み づけで、互いに 連結させると、  新たなタスクの解決 に 有効な １つの巨大なニューラルネットワーク（Super Neural Network） を 編成することができるか ？ という 「利用可能なAIモジュール」の「最適連結グラフ構造」を 探索する問題 を、全自動で行うアルゴリズム
102. PathNet （ URL ） https://arxiv.org/pdf/1701.08734.pdf
103. PathNet on AI module exchange DApps 理想的な環境
104. 分析用データセット & AIモジュール 売買市場 DApps データ&AIモジュール 売買市場 Dapps は、 PathNet にとって 最良の活動環境
105. SingularityNET や Morpheo で（購入）利用可能なAI module SingularityNET や Morpheo で（購入）利用可能なAI module SingularityNET や Morpheo で（購入）利用可能なAI module データ&AIモジュール 売買市場 DApps は、PathNet に とって 最良の活動環境
106. PathNet （画像の出典） （ 画像の出典 ） ① https://www.google.co.jp/imgres?imgurl=https%3A%2F%2Fcdn-images-1.medium.com%2Fmax%2F1600%2F1*4-9rcFvShvsA4mhCpRHaSg.jpeg&imgrefurl=https%3A%2F %2Fhackernoon.com%2Fdeep-learning-cnns-in-tensorflow-with-gpus-cba6efe0acc2&docid=ztcCq0GADECAvM&tbnid=d58QFWXF_tj9lM%3A&vet=10ahUKEwjW3vmNlq fXAhUMgbwKHaWBBz8QMwhEKBQwFA..i&w=1408&h=412&bih=954&biw=1924&q=deep%20Neural%20network%20model&ved=0ahUKEwjW3vmNlqfXAhUMgbwKHaW BBz8QMwhEKBQwFA&iact=mrc&uact=8 ② https://www.deepcoredata.com/wp-content/uploads/2016/06/neuralnetworksanddeeplearning_com.png ③ https://msdnshared.blob.core.windows.net/media/2017/02/021717_1842_QuickStartG4.png ④ https://www.google.co.jp/search?q=LSTM&rlz=1C1SNJC_jaJP554JP554&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjtmJWrmqfXAhWJTLwKHZAGBR0Q_AUICigB&biw= 1749&bih=823#imgrc=IrwppVe-yiuXjM:
107.  （購入）利用可能な AI モジュールの中から、  タスク＆データ を 問題解決する上で最適なモジュールだけ  を選択して、最良な順路で連結させたグラフ構造全体 が、 問題を解く「学習」・「推論」段階で使う 巨大な SuperNeural Network
108. そのとき 取り組むべき タスク＆データセット が変わるたびに、Dapps 上で利用可能なAIモジュールのうち、 ①どのmoduleを採用して、②採用したmoduleの連結順路 が、自動的に選択されたものに、動的に切り替わる PathNet
109. タスクが与えられる前 － 利用可能なAI moduleとデータセットが DApps上に、無数にある － 売買市場 Dapps 上で、（購入）利用可能な AI モジュールプログラム or 学習用・検証用データセット データセット & AI モジュール 売買市場 DApps
110. タスク ① PathNet アルゴリズム が 選抜した AI モジュール 出力層は、 PathNet アルゴリズム側 が用意する 出力層 中間層 第１層 中間層 第２層 データセット & AI モジュール 売買市場 DApps
111. タスク ② 選抜される AIモジュール と、選抜モジュール間の結合順路 が 自動再編成される 出力層 中間層 第１層 中間層 第２層 データセット & AI モジュール 売買市場 DApps 中間層 第３層
112. 「進化の過程」を 改ざん困難なBlockchainに記録する
113.  「進化の過程」を改ざん困難なBlockchainに記録 することで、  Dapps上には、  「データセット＆タスクの組合せ」に応じた最適なAI モデル」  が、蓄積されていく 「進化の過程」を 改ざん困難なBlockchainに記録する
114. PathNet が タスク＆データが変わるたびに 自動（再）編成してきた Super Neural Network を Blockchain に セキュアに記録する （モデルをバイナリで保存してもよいが、どのモジュールをどの順路と重みパスで結合したかの トポロジー構成を、 Json形式のようなデータ形式で保存する 方法がメモリ負荷が小さいか） 過去 現在 t－１時点目 の情報を記録 したブロック t時点目 の情報を記録 したブロック
115. 「進化の過程」を改ざん困難なBlockchainに記録することで、 DApps上には、 「データセット＆タスクの組合せ」に応じた最適なAIモデル が、蓄積されていく
116. 以上の方法で記録されたSuper Neural Networkモデルは、SingularityNET上で、 AI-to-AI offer networkの中での 「仕事の依頼先候補」の１つとして、 記帳される。
117. 3. どのAI Agentがどのような機能（サービス）を提供していて、 どの（node）Addressでアクセスできるのか、（自己紹介）広 告（Ad.）を閲覧することで、瞬時に知ることができる。 （「AIサービスのカテゴリ」リストが、SingularityNET上の共通言語（ontrogy）として、 利用される） 4. すべてのAI AgentのAd.の一覧リストは、register nodeと呼ばれる smart contractプログラム によって、管理される。 （リストに掲載されているAI Agentがまだ存在していて、記載されたとおりのAIサービスを提 供しているかどうかは、利用したAI Agentからの報告を受けて、情報更新される。） 5. 以上の仕組みによって、人間のユーザも、機械（プログラム） である AI Agentも、求めている機能（サービス）を提供している AI Agentを見つけて、仕事の委託（・受託）を依頼する コミュニケーションを簡単に取ることができる。 SingularityNET とは何か？ 117 再掲
118. －AI-to-AI （AI2AI）の自動執行プロセス－ AI Agentが仕事を依頼しあうプロセス 118 再掲
119. －AI-to-AI （AI2AI）の自動執行プロセス－ （ Agent間で、仕事を委託（発注）・受託（受注）しあう手続き） AI Agentは、自分を利用する仕方（Ethereumにおける関数のABIに相当か）を情報発信し、 仕事を依頼（発注）または受託（受注）する取引をする相手方のAI Agentを検索して見つけ、 仕事の受託・委託契約を取り交わすかどうか、契約条件について交渉する。 119 再掲
120. －AI-to-AI （AI2AI）の自動執行プロセス－ （ Agent間で、仕事を委託（発注）・受託（受注）しあう手続き） AI Agentが仕事を委託する 取引先のAI Agentを見つける際、 どのような相手方が取引先として 見つかるかは、相手方の過去の 信用度合いや報酬ランクや 人間善への貢献ランク（後述） に基づいて、確率論的に決まる。 以上はデフォルトの設定だが、 人間ユーザは、この相手方を 探索するアルゴリズムの設定を 好きなようにコードを上書きして、 改変することができる。 120 再掲