Collective Intelligence for Deep Learning: A Survey of Recent Developments

論文紹介: Collective Intelligence for Deep Learning: A Survey of Recent Developments

David Ha and Yujin Tang (2021)
arXiv preprint arXiv:2111.14377

第80回汎用人工知能輪読会
報告者: 太田 晋
2022-01-26

Transcript

1. Collective Intelligence for Deep Learning: A Survey of Recent Developments David Ha and Yujin Tang (2021) arXiv preprint arXiv:2111.14377 汎用人工知能輪読会 報告者: 太田 晋 2022年1月
2. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
3. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
4. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
5. 現在の深層学習の基本的な問題 • ロバスト性が低い • 目新しいタスク設定に適応出来ない • 厳密で柔軟性のない仮定を必要とする 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
6. 集団的知能(Collective Intelligence, CI) • 複雑系における集団的知能 – 自己組織化(self-organization) – 創発行動(emergent behavior) – 群最適化(swarm optimization) – セルラーシステム(cellular systems) • 特徴 – ロバスト – 適応的 – あまり厳密な仮定を必要としない 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
7. 本レビューで紹介する内容 • ニューラルネットワークと複雑系との歴史的背景 • 集団的知能の原理を取り入れた深層学習研究の紹介 • 深層学習を利用した複雑系研究の紹介 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
8. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
9. 深層学習 (Deep Learning, DL) • 表現学習に多層ニューラルネットワークを用いる機械学習手法 – 高速なハードウェア + 大規模なデータセット – 従来手法を格段に上回る結果 • 歴史 – バックプロパゲーション(1980年代) – 画像認識コンテストで優勝(2012) • 主な分野 – コンピュータビジョン(CV) – 自然言語処理(NLP) – 強化学習(RL) – 計算生物学(computational biology) 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
10. 深層学習の基本的な問題点 • ロバスト性が低い – 例: ビデオゲームの RL において、画面の数ピクセルを変更しただ けで失敗 • 目新しいタスク設定に適応出来ない – 例: CV モデルにおいて、回転や変形した例を認識出来ない • 厳密で柔軟性のない仮定を必要とする – 決まった数の入力を決まった順序で行うことを想定 – 仮定や構成を変更したら再学習が必要 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
11. 集団的知能 (Collective Intelligence, CI) • ロバスト・適応的・厳密な仮定を必要としない – 深層学習の問題点を解決する可能性がある • 例 – 最も簡単な例: モデルのアンサンブルをとり出力の平均値で予測 – セルラーオートマトンベースのNNはノイズに強く “自己再生" 可能 – 分散型の自己組織化コントローラは形態の異なるロボットでも性能 を維持 – 感覚ニューロンを個々のNNとしてモデル化しシャッフルされた入力 を扱う 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
12. Collective Intelligence の日本語訳 • Collective Intelligence, CI – ここでは「集団的知能」と訳す – 他の訳語 • 集団的知性 • 群知能 (swarm intelligence) • 集合知 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
13. 本レビューの目的 • 現在の深層学習のパラダイムの中で、自己組織化や創発的 行動などのアイデアを利用した最近の研究を概観する • 深層学習モデルが、従来のセル・オートマトン・システムの解 析にも有用であることを解説する 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
14. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
15. 複雑系と人工ニューラルネットワーク • セルオートマトン・自己組織化・創発行動・集団行動などの複 雑系の概念やアイデアは、人工ニューラルネットワークの開 発と歴史的関係がある – セルラーニューラルネットワーク (CeNN) 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
16. セルラーニューラルネットワーク (CeNN) • 電気エンジニア Leon Chua が非線形回路理論を計算に応用(1980年代) • 各ニューロンが直近の隣接ニューロンとしか相互作用できない人工NN • 各セルの状態は、隣接するセルと自分自身の状態の非線形関数を用いて継 続的に更新 • 連続時間システム • 状態空間が連続的であることから、これまでにない創発的な振る舞いを示す • セル・オートマトンとニューラル・ネットワークを統合 • アナログとデジタルのハイブリッド計算機 • 2000年代の後半に姿を消した 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
17. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
18. 集団的知能を取り入れた深層学習 • 集団的知能はネットワークから自然に生成される – 人工ニューラルネットワークからも自己組織化行動が自然に生成さ れても不思議ではない • 特に、NN を同一のモジュール・同一の重みで繰り返し計算す る場合には、その傾向が顕著になる – 例:セル・オートマトン (CA) と畳み込みニューラルネットワーク (CNN) の等価性 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
19. 2次元セル・オートマトン (Conway's Game of Life) • 人口過剰 – 生きているセル（状態1）が、周りに3より多くの生きているセル に囲まれていたら、そのセルは死ぬ • 均衡状態 – 生きているセル（状態1）が、2つか3つの生きているセルに周り を囲まれていたらそのセルは生き延びる • 人口過疎 – 生きているセル（状態1）を囲っている周りのセルが2つより少な いときは、そのセルは死ぬ • 再生 – 死んでいるセル(状態0)が、ちょうど3つの生きているセルに周り を囲まれていたら、そのセルは生き返る。 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26 岡 瑞起, 池上 高志, ドミニク・チェン, 青木 竜太, 丸山 典宏, 作って動かすALife――実装を通した人工生命モデル理論 入門, オライリー・ジャパン, 2018. https://ja.wikipedia.org/wiki/%E3%83%A9%E3%82%A4%E3%83%95%E3%82%B2%E3%83%BC%E3%83%A0
20. セル・オートマトン (CA) と畳み込みニューラルネットワーク (CNN) の等価性 • Gilpin W (2019) Cellular automata as convolutional neural networks. Physical Review E 100(3): 032402. • CNN が任意の CA を表現できるこ とを示した • 標準的な損失勾配ベースの学習を 用いて任意のCAを学習 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26 最適な表現を 見つける 特定のルールを 学ぶ
21. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
22. Growing neural cellular automata, 2020 • Mordvintsev A, Randazzo E, Niklasson E and Levin M (2020) Growing neural cellular automata. Distill DOI: 10.23915/distill.00023. • https://distill.pub/2020/growing- ca/ • ニューラルセル・オートマトン (Neural CA) – 各ピクセルを一つのNNセルとする – 自分の位置に関する情報を持たない – 隣接するセルからの局所的な情報だけ – 画像全体を再生 • ノイズに強い • 損傷を受けても再生可能 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
23. Self-classifying MNIST Digits, 2020 • Randazzo E, Mordvintsev A, Niklasson E, Levin M and Greydanus S (2020) Self-classifying mnist digits. Distill DOI:10.23915/distill.00027.002. • https://distill.pub/2020/selforg/mnist/ • 「細胞はどのように協力して複雑な多細胞構 造を作り、損傷を受けたときにどう再生するの か?」 – サンショウウオの尻尾を手術で脇腹に移植す ると四肢になる • Neural CAで画像分類 – 隣接セルのラベルと生死を入力 – 各セルは [0, 9] のラベルと生死 [0, 1] を出力 – 位置に関する情報は持たない • 時間の経過とともにコンセンサスが形成 – 局所的に意見が食い違う場合もある 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
24. Growing 3d artefacts and functional machines with neural cellular automata, 2021 • Sudhakaran S, Grbic D, Li S, Katona A, Najarro E, Glanois C and Risi S (2021) Growing 3d artefacts and functional machines with neural cellular automata. arXiv preprint arXiv:2103.08737. • Neural CA を3次元に拡張 • 静的な構造物だけでなく動く機械 も生成・再生可能 – 2:25 木の生成 – 3:07 建築物の生成 – 4:38 機械の生成 – 5:07 機械の再生 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
25. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
26. 深層強化学習 (Deep RL) • 深層強化学習の発展 – 高次元の連続制御 – ピクセル観測から視覚ベースタスクを解く • 深層強化学習の限界 – タスクが少し変更されると失敗してしまう – 入力と出力の数や順番が明確に定義されている • 例: 4本足のアリ用の方策は6本足では機能しないかもしれない • 例: 10個の入力を期待しているエージェントは5個や20個の入力では機能し ない 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
27. Regenerating soft robots through neural cellular automata, 2021 • Horibe K, Walker K and Risi S (2021) Regenerating soft robots through neural cellular automata. In: EuroGP. pp. 36–50. • Neural Cellular Automata (Neural CA) でソフトロボットを生成 • 遺伝的アルゴリズムで歩行距離の長いロ ボットを進化 • ロボットの一部分を損傷させ、Neural CA で自己再生 • 再度歩行実験し歩行できることを確認 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26 https://www.youtube.com/watch?v=6wHIj1H5XHs
28. Neural Cellular Automata (Neural CA) • 3層 • 活性化関数: tanh • 入力層 – セルの状態, 成熟度 – 3 x 9 x 2 = 54次元 – ムーア近傍 • 隠れ層 – 64次元 – リニアとLSTM • 出力層 – セルの状態, 成熟度 – 5 + 1 = 6 次元 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26 Horibe K, Walker K and Risi S (2021) Regenerating soft robots through neural cellular automata. In: EuroGP. pp. 36–50.
29. One policy to control them all: Shared modular policies for agent-agnostic control, 2020 • Huang W, Mordatch I and Pathak D (2020) One policy to control them all: Shared modular policies for agent-agnostic control. In: International Conference on Machine Learning. PMLR, pp. 4455–4464. • モジュール型の分散型自己組織化コ ントローラ • 様々なエージェントの全てのリムを同 じポリシーで学習 • ローカルの状態を隣のリムへ伝える (メッセージパッシング) – ボトムアップ・トップダウン • 共通の報酬のみで、メッセージパッシ ングを介して中央集権的な調整が行 われる • 異なる骨格構造に一般化可能 – ホッパー・四足歩行・未知の形態 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
30. Learning to Control Self-Assembling Morphologies: A Study of Generalization via Modularity, 2019 • Deepak Pathak, Chris Lu, Trevor Darrell, Phillip Isola, Alexei A. Efros. (2019) Learning to Control Self-Assembling Morphologies: A Study of Generalization via Modularity, NeurIPS 2019. • 単細胞生物から多細胞生物への進化 • モジュール型の共進化戦略 – プリミティブエージェントの集合体 – 動的に自己集合して複合体になることを学習 – 複合体を制御するための行動調整を学習 • 明示的な中央制御ユニットなしに身体を 制御 • 環境やエージェントの形態がテスト時に 変化しても対応可能(一般化) – 6肢のタワーを作るように訓練されたポリシー は、テスト時に3肢や12肢に適用しても、ゼロ ショットでタスクを実行可能 – 未知の環境でも対応 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
31. The sensory neuron as a transformer: Permutation-invariant neural networks for reinforcement learning, 2021 • Tang Y and Ha D (2021) The sensory neuron as a transformer: Permutation-invariant neural networks for reinforcement learning. In: Thirty-Fifth Conference on Neural Information Processing Systems. • https://attentionneuron.github.io/ • 感覚代行(sensory substitution) – ある感覚モダリティ（例: 触覚）を使って、 別の感覚（例: 視覚）で収集される環境 情報を供給する脳の能力 • 注意メカニズム – 局所的に受け取った情報を統合 – 全体的に一貫した方策を生成 • 順列不変(permutation invariant) – 1つのエピソード中で、入力の順序がラ ンダムに何度も入れ替わってもタスクを 実行可能 – 冗長な情報・ノイズを含んだ観測・破損 した不完全な観測に対しても頑健 • 2:10 観測のシャッフル・ノイズ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
32. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
33. The neural MMO platform for massively multiagent research, 2021 • Suarez J, Du Y, Zhu C, Mordatch I and Isola P (2021) The neural MMO platform for massively multiagent research. In: Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track. • https://neuralmmo.github.io/build/html/rst/landing.html • 有限の資源を奪い合って生きていく人工 エージェントを大量に配置したAI研究環境 • 各エージェントは独自のNNの重みを持つ ことが可能 • サポート・ドキュメント • トレーニング、ロギング、ビジュアライゼー ションのためのツール 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
34. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
35. Meta learning backpropagation and improving it, 2021 • Kirsch L and Schmidhuber J (2020) Meta learning backpropagation and improving it. NeurIPS 2021 • 人工ニューラルネットワークの概念を一 般化 – 各ニューロンはスカラー値ではなく複数の状 態を保持することができ、各シナプスは学習と 推論の両方を促進するために双方向に機能 – 各シナプスをモデル化するために、同一の RNN（内部の隠れ状態が異なる）を使用し、 バックプロパゲーションを使用せず、RNNを順 方向に走らせることでネットワークを学習 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
36. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
37. Hierarchically organized latent modules for exploratory search in morphogenetic systems, 2020 • Etcheverry M, Moulin-Frier C and Oudeyer PY (2020) Hierarchically organized latent modules for exploratory search in morphogenetic systems. In: Advances in Neural Information Processing Systems, volume 33. Curran Associates, Inc., pp. 4846–4859. • 連続セル・オートマトン・システムにおける人工生命 体の発見を自動化 • 特定のタイプの面白さ(interestingness)に対する ユーザーの好みを検索プロセスに組み込む • 表現の階層の教師なし学習を行うことができるモ ジュール式アーキテクチャ • ごく少量のフィードバックだけで、ユーザーの好みに 合わせて効率的に多様性探索を行う 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
38. 目次 • 概要 • はじめに • 歴史的背景 • 集団的知能を取り入れた深層学習研究 – 画像処理 – 深層強化学習 – マルチエージェント学習 – メタ学習 • 深層学習を利用した集団的知能研究 • まとめ 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
39. まとめ • ニューラルネットワークと集団的知能の歴史的背景 – 一方の分野での進歩やブレークスルーが、他方の分野での新たなアイデアの革新や問題解決の 補完につながることが多い • 集団的知能を取り入れた深層学習研究 – 自己再生できる画像生成アルゴリズム – 分散型自己組織化ロボットコントロール – 感覚ニューロンを個々のNNとしてモデル化 • 2つの分野は異なる抽象レベルにあるため補完し合うことが出来る – DL: 新しいアーキテクチャやアルゴリズムの発見に重点 – CI: 問題の定式化、新しい行動や結果を引き出すためのメカニズムの発見に重点 • 今後の方向性 – ニューロンやシナプスをNN全体としてシミュレート→実際の脳の挙動を再現 – CIとDLLの組み合わせにより人工文明のシミュレーション 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
40. • 付録 – Abstraction and Reasoning Corpus (ARC) データセットのKaggle コンペティションとその後の進展 • Francois Chollet (2019) On the measure of intelligence. arXiv preprint arXiv:1911.01547. • 本輪読会の第66回(2020/4/8)で輪読済み 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
41. Abstraction and Reasoning Corpus (ARC), 2019 • Francois Chollet (2019) On the measure of intelligence. arXiv preprint arXiv:1911.01547. • 知能の定義 – スキル獲得の効率 – スコープ・一般化の難易度・事前知識・経験から知能システムの特徴を説明 • Abstraction and Reasoning Corpus (ARC) データセット – 広い一般化と few-shot 学習のため、従来の深層学習手法で解くことが困難 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
42. Kaggle の ARC コンペティション, 2020 • セル・オートマトンによる解法がCodeセク ションで ”Most Votes” (最多いいね数) • 実際に優勝したのは別の解法 – 評価精度: 20.6% – 手作りでドメイン固有言語(DSL)を作成 • 142の単項変換を作成 – 42の異なる関数といくつかのバリアント • 変換を最大4つ適用 – 列挙して訓練サンプルにフィット • その後、評価精度 78.8%の手法が NeurIPS 2020で発表(次頁) 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26
43. Neural Abstract Reasoner, 2020 • Kolev, V., Georgiev, B., & Penkov, S. (2020) Neural Abstract Reasoner. KR2ML 2020 at NeurIPS. • Differentiable Neural Computer (DNC) + Transformer (Figure. 7) • ARC の評価精度 78.8% (Figure. 1) – Kaggle コンペ優勝者は 20.6% (手作りされたシンボリックソルバー) • スペクトル正則化(spectral regularization) が重要(Figure. 2) 第80回 汎用人工知能輪読会 担当：太田 晋 2022/01/26