脳をつくるプロジェクト2022 成果発表会スライド（2022年12月9日）

公立はこだて未来大学 2022年度 システム情報科学実習「脳をつくるプロジェクト」の成果発表会（2022年12月9日）に使用したスライドです。

グループAでは、世界モデル（Dreamer）を用いた自動運転をシミュレーションと実機（Donkey Car / Jetson Nano）の両方で実装しました。シミュレーションで学習したモデルを実機に転移して走行させ、実機で集めた観測データで重みを更新するサイクルまでを実施しました。

グループBでは、深層学習モデルを描画研究へ応用しました。従来の描画研究が人間の被験者による心理実験に基づいてきたことを踏まえ、深層学習モデルで心理実験を再現し、その代用可能性を検討しました。

大学のプロジェクトページ:
https://www.fun.ac.jp/project/6159/

コード・環境の記録・報告書は GitHub で公開予定です。

Transcript

1. 2022年12月9日 @プロジェクト学習成果発表会 Make Brain Project Group A 中村 仁1) Jin Nakamura 加藤木 敦也2) 伊藤 生慈3) 黒岩 蒼太郎1) 和泉 友人1) 池田 蓮馬1) 前澤 榛人3) Atsuya Katogi Seiji Ito Sotaro Kuroiwa Group B 立山 雄晟1) Yusei Tateyama Tomohito Izumi 1) 複雑系コース Complex Systems Course Renma Ikeda 2) 知能システムコース 渡邉 悠仁2) Yuto Watanabe Haruto Maezawa Intelligent Systems Course 3) 情報システムコース Information Systems Course 1
2. プロジェクト概要 Project Overview 2
3. プロジェクト概要 3 脳科学と人工知能に関連した2つのアプローチ 脳科学 ⚫ 低コストな脳を数理モデル化する研究が進展 ⚫ 脳の認識に関する研究が進展 人工知能 ⚫ 計算コストなどに課題 ⚫ ネットワーク構造や状態表現と、脳との対応に関する研究が進展 脳から人工知能を見つめる ＆ 人工知能から脳を見つめる
4. プロジェクト概要 4 いわゆる「脳科学」 「脳科学」は学際性・融合性が特徴である 認知心理学 認知科学 認知神経科学 脳を外側から見る 計算論的神経科学 脳を内側から見る 参照：佐藤直行,「情報数学」講義資料(2021) 国里ら, 計算論的精神医学 イラスト：https://pixta.jp/illustration/63190611、https://jp.depositphotos.com/portfolio-18720002.html?content=photo
5. プロジェクト概要 5 いわゆる「人工知能」 「人工知能」は必ずしも脳的でないが、異分野融合が盛んである 決定木 K近傍法
6. プロジェクト概要 6 脳科学的な視点から人工知能へのアプローチ 脳内構造から人工知能 ～脳構造の工学的な応用～ 人工知能から脳内表現 ～学習の末に脳的な表現を獲得～ イラスト参照：https://www.ac-illust.com/main/detail.php?id=1981351&word=%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%EF%BC%97&searchId=
7. Aグループ概要 脳内構造から人工知能への工学的応用 ⚫ 背景 ⚫ 脳の仕組みを取り入れた人工知能（脳型人工知能）が提唱されている ⚫ 脳型人工知能の応用に期待が集まる ⚫ 目的・目標 ⚫ 脳型人工知能の一種である世界モデル[1]を用いた自動運転を実現させる ⚫ 結果 ⚫ シミュレーション環境における適切な学習と走行の確認した ⚫ 実環境における自動走行を確認した [1] Ha, D., & Schmidhuber, J. (2018). Recurrent world models facilitate policy evolution. Advances in neural information processing systems, 31. 7
8. Bグループ概要 人工知能から脳内表現を見出す ⚫ 背景 ⚫ 特定の目的のもとでニューラルネットワークを訓練すると、 脳とよく似た性質が自発的に現れることが知られている ⚫ 人間固有の活動として描画行為があげられる ⚫ 目的・目標 ⚫ 深層学習モデルを使い、描画研究に応用する方法を考える ⚫ 結果 ⚫ 深層学習モデルで、人間の顔認識精度の研究と類似した傾向が見られた ⚫ 一部の実験で、人間の代わりを深層学習モデルで代用できる可能性がある 8
9. 背景 プロジェクト全体としての活動 9
10. 世界モデルを用いた 自動運転の実現 Realizing autonomous driving using the World Model 12
11. 目的 14 世界モデルを用いた自動運転の実現 世界モデル 観測情報を圧縮して 本質情報を得る 環境 応用 無意識 獲得した本質情報を用 いてシミュレーション (予測)する 「深層生成モデルと世界モデル」https://www.slideshare.net/masa_s/20201120-239349802より引用し改変
12. 世界モデルと脳機能の対応 15 「世界モデル」のアーキテクチャと脳機能との対応 環境 行動 情報保持(M) 行動決定 (C) 観測 (V) 観測 (V) 前頭前野 視覚野 観測 報酬系 世界モデル 行動 報酬 Ha, D., & Schmidhuber, J. (2018). Recurrent world models facilitate policy evolution. Advances in neural information processing systems, 31.
13. 16 世界モデルを用いて、AIカーを学習させる 到達度を把握しやすくするために目標を2つに分割した 目標1: シミュレーション 環境内での自動走行 目標2: 実世界環境内での 自動走行 世界モデルを用いた自動運転用 プログラムの構築 シミュレーション環境下で更新した 重みを用いて実世界環境でファイン チューニング
14. 18 Donkey Carの枠組みを使って世界モデルを検証 ⚫ Donkey Carとは ⚫ 小型車向けのオープンソースの自動運転プラットフォーム ⚫ シミュレータ環境も提供している Donkey Carが提供するシミュレーション環境
15. 使ったハードウェア 19 ハードウェア情報 ⚫ XiaoR GEEK製のカーキットを使用 ⚫ Jetson nanoの自走型深層学習ロボット ⚫ Donkey Carの枠組みを用いて実装された 教師あり学習の自動運転を行うコードが 初期搭載 XiaoR Geek製のカーキット 学習部分を世界モデルを用いた強化学習に変更
16. 活動 20 各目標に対する活動の流れ ⚫ シミュレーション Python環境 の構築 ⚫ 実世界 自動運転エージェント を構築 シミュレータの インストール 環境を再度 セットアップ PCからDonkey Carを制御 Donkey Car の組立 ライブラリ等を インストール 報酬調整 入力情報の調整 PyTorchを基準に バージョン指定 ハードウェア のエラー対応
17. 活動 21 目標1. シミュレーション環境で世界モデルを検証 ⚫ 報酬設定 ⚫ 実環境への応用を見据えた報酬設定を行った ⚫ 一定以上の黄色のピクセル数を観測時に報酬 ⚫ スピードが速いほど高い報酬 ⚫ ファインチューニング ⚫ シミュレータに提供された別環境で ファインチューニングを行った 報酬
18. 活動 目標1. シミュレーション結果 22
19. 活動 24 目標2. 実環境で世界モデルを検証 ⚫ 環境構築 ⚫ カメラやI2C通信部分など、インタフェース 部分の整備を行った ⚫ ファインチューニング ⚫ シミュレータ環境で学習した重みを使って ファインチューニングを行った
20. 活動 学習プロセス 25 シミュレーション環境 実環境 学習用 データ 学習モデル 学習モデル イラスト：https://feathericons.com/?query=data https://icons8.com/icons
21. 活動 26 目標2. 実世界結果 ⚫ シミュレーション環境で作成された重みで走行できた ⚫ 適切な走行ができた ⚫ 実世界で得られた観測情報を用いて、重みの更新を行った ⚫ Jetson nanoではメモリ不足 ⚫ Donkey Carでは重みを使用して走行し、観測データを収集 ⚫ PCで集めた観測データを使用し、世界モデルを用いた学習を行った
22. まとめ
23. まとめ 世界モデルを用いた自動運転の実現 ⚫ 目標1: シミュレーション環境内での自動走行 ⚫ 実世界に向けた報酬設定で適切に自動走行できた ⚫ ファインチューニングの結果、他の環境でも適切な自動走行を確認 ⚫ 目標2: 実世界環境内での自動走行 ⚫ シミュレーションで学習した重みで実環境を走行できた ⚫ 実環境の観測データで重みの更新を行った ⚫ 世界モデルの実環境における可用性を確認した 28
24. 29 参考文献 ⚫ 深層生成モデルと世界モデル ⚫ https://www.slideshare.net/masa_s/20201120-239349802 ⚫ Ha, David. World Models, https://worldmodels.github.io/.
25. 深層学習モデルの 描画研究への応用 Application of the deep learning model for drawing study. 30
26. 31 背景
27. 背景 • 描画行為は人間固有の活動の一つであり、創造力と密接に関わる • しかし、描画能力に関する議論は心理実験に基づいたものばかりで不十分 • 従来の描画研究は人間の被験者が必要 32
28. 背景 33 • 深層学習モデルにより理論的な描画研究を行える可能性 • 近年の研究で、深層学習モデルの活動と神経活動の類似性が示されている • しかし、知覚特性の類似度は不明 似てる 似てる？
29. 背景 34 • 深層学習モデルにより理論的な描画研究を行える可能性 • 近年の研究で、深層学習モデルの活動と神経活動の類似性が示されている • しかし、知覚特性の類似度は不明 似てる 似てる？
30. 背景：深層学習モデルと脳の対応 35 • ある特定の目的のもとでニューラルネットワークを訓練 • 脳とよく似た性質が自発的に現れる 視 覚 系 ニ ュ ー ラ ル ネ ッ ト 視覚系の階層構造と ニューラルネットの 階層構造に対応が見られる (Yamins & DiCarlo, 2016)
31. 背景 36 • 深層学習モデルにより理論的な描画研究を行える可能性 • 近年の研究で、深層学習モデルの活動と神経活動の類似性が示されている • しかし、知覚特性との類似度は不明 似てる 似てる？
32. 先行研究：変形顔画像に対する認識実験 37 • Holeら(2002)は、変形させた顔画像に対する人間の認識精度と 平均反応時間を調査した 正立 水平方向変形 倒立 上部垂直変形 せん断 下部垂直変形 実験に利用された画像の一例 垂直方向変形 ぼかし
33. 先行研究：結果 • 倒立条件では大幅な認識精度の低下 • 垂直、水平方向変形では大幅な変化は見られなかった 38
34. 39 活動
35. 活動：変形顔画像に対する認識実験 • Holeら(2002)による、変形された顔画像に対する心理実験を、 顔画像を学習させた深層学習モデルに行わせた 顔画像を識別する深層学習モデル（イメージ図） 40
36. 活動：実験概要 • 深層学習モデル • 顔認識モデルに9131人の顔画像を学習させた • 画像の変形 • テストデータに対し先行研究と同様の変形を行った • 認識精度の測定 • 変形していない画像と、変形した画像の認識精度の差を調べた 41
37. 活動：実験結果 42 • 深層学習モデルの出力は先行研究と定性的に類似 • 倒立条件での精度が著しく低下 • 垂直、水平方向の変形では大幅な精度の低下は見られず 深層学習モデルの結果 心理実験の結果
38. 43 まとめ
39. まとめ • 過去の心理実験をもとに、深層学習モデルの知覚特性を調べた • モデルの精度は、変形に対してある程度人間と同様の傾向を示した • 一部の実験で、人間の被験者を置き換えられる可能性がある • 描画研究で、理論的な考察が可能になる • 従来の心理実験では行えなかったような実験が行える可能性がある 44
40. 参考文献 • Hole, G. J., George, P. A., Eaves, K., & Rasek, A. (2002). Effects of geometric distortions on face-recognition performance. Perception, 31(10), 1221-1240. • Yamins, D. L., & DiCarlo, J. J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nature neuroscience, 19(3), 356-365. 45
41. 補足資料 46
42. 方法 47 主な開発環境 ⚫ GPU(RTX3070)搭載のPC ⚫ 学習用 ⚫ OSとしてUbuntuを使用 ⚫ Linuxが機械学習の研究分野では主流で、ユーザが多く、サポートしてい るツールが豊富 ⚫ PyTorch ⚫ Pythonのオープンソース機械学習ライブラリで、直感的なコード記述が できたり、参照リソースが豊富なことなど様々なメリットがある ⚫ Dreamer実装コード(PyTorchによる実装)
43. 目的 48 なぜ自動運転なのか ⚫ 運転の3要素 ⚫ 認知：周りの状況を確認 ⚫ 判断：状況に応じた行動を選択 ⚫ 行動：実際に動作 ⚫ 移動のパターンが限られ 世界モデルを使うことで より良い自動運転！？
44. 56 目次 ⚫ 背景 ⚫ 目的 ⚫ 活動 ⚫ まとめ
45. 背景
46. 背景 58 既存の強化学習手法には欠点が存在する ⚫ サンプル効率があまりよくない ⚫ 多くの試行錯誤が必要になる ⚫ 汎化性能が低い ⚫ 環境の変化に対応するため、汎化性能が必要であると考えられている 解決策として“脳型人工知能”に注目
47. 背景 59 脳型人工知能 ⚫ 脳の仕組みを取り入れた人工知能 ⚫ 低コストで効率の良い学習 ⚫ 多様な状況に対応できる汎化性 ⚫ 具体的な作成方法は様々なものがある ⚫ レザバー計算 ⚫ 海馬モデル ⚫ 世界モデル
48. 世界モデルの概要
49. 世界モデルの概要 世界モデル ⚫ 世界モデルを用いて観測を再構築した環境内で学習する → 人間の「想像」に当たる ⚫ 世界モデルの実現によってロボットなどの汎化性能が向上する → 幅広い分野で活用される可能性がある 61
50. 背景 62 脳型人工知能 ⚫ 脳の仕組みを取り入れた人工知能 ⚫ 低コストで効率の良い学習 ⚫ 多様な状況に対応できる汎化性 ⚫ 具体的な作成方法は様々なものがある ⚫ マルチコンパートメントモデル ⚫ 海馬モデル ⚫ レザバー計算 ⚫ 世界モデル
51. 世界モデルの概要 63 世界モデルのアーキテクチャ ⚫ VAE(V: Vision) ⚫ 次元圧縮 ⚫ 抽象表現の学習 ⚫ 潜在空間への推論を学習 ⚫ MDN-RNN(M: Memory) ⚫ 将来時点の状態を学習 ⚫ C: Controller ⚫ 上記2つから良い行動を選択する Ha, D., & Schmidhuber, J. (2018). World models. arXiv preprint arXiv:1803.10122.
52. 世界モデルの概要 64 「世界モデル」のアーキテクチャと脳機能との対応 Ha, D., & Schmidhuber, J. (2018). World models. arXiv preprint arXiv:1803.10122.
53. 環境の再構成 65 VAEによる環境の再構成 ⚫ VAEは高次元の観測情報から圧縮された表現(潜在変数)を学習 ⚫ その潜在変数を用いて環境を再構築 再構成された環境を使ってイメトレのようにエージェントを学習可能 Ha, David. World Models, https://worldmodels.github.io/.より引用
54. 世界モデルの概要 66 世界モデルがサンプル効率がよく、汎化性能に優れる ⚫ シミュレーション環境下で、適切に環境や方策を低コストで学習 ⚫ 他のモデルよりも高い精度でタスクを達成 世界モデル 世界モデルとモデルフリー強化学習のタスク達成度 https://ai.googleblog.com/2020/03/introducing-dreamer-scalable.htmlより引用
55. 世界モデルの概要 67 機械学習における実環境への応用を見据えた際の課題 ⚫ 実世界の不確実性を考慮する必要がある ⚫ 世界全ての観測をすることが不可能 ⚫ シミュレーション環境よりも⾼次元な実世界への応用が困難
56. 補足資料 69
57. 視覚系の初期段階で見られる方位選択性 70 ニューラルネットワークの初期層の重み (Hubel & Wiesel, 1959) 弱 適用 https://cs231n.github.io/understanding-cnn/ 強 画像 神経活動 https://www.western-neuralnets.ca/week8/lab8.html
58. 人間固有の能力としての描画 • 人間らしい行動の一つとして絵を描くという行為があげられる • 現在絵を描く能力についての議論が十分にされていない →人間特有の創造力等の考察につながる可能性がある？ 71
59. 描画に関する脳科学からの知見 72 • 脳科学に基づいたデッサンの技法書として、 『脳の右側で描け』（ベティ・エドワーズ著）がよく知られている • 脳科学の知見に基づいたとして様々な技法を示しているが、 脳科学ついての誤った考察や、その後反証された内容を含んでいる 模写 より正確？ 倒立顔を用いたデッサン練習法
60. 顔に関する描画の特徴 • 人の顔を描画する際に共通してある誤りが見られる • Eye Placement Bias • よく知られた現象だが、原因はわかっていない Carbon, C.-C., & Wirth, B. E. (2014) 73
61. 使用した機械学習モデル • ImageNetで学習済みのResNet-50 • VGGFace2で個人を識別するように学習 • VGGFace2 : 331万枚の画像、9131人、一人当たり約362.6枚 74
62. モデルに入力した顔画像（一例） 75
64. 神経科学的な描画能力の概念的なモデル Kozbelt, A., & Seeley, W. P. (2007). Integrating art historical, psychological, and neuroscientific explanations of artists’ advantages in drawing and perception. Psychology of Aesthetics, Creativity, and the Arts, 1(2), 80–90. 77
65. 目的駆動の深層学習モデルと感覚野のモデリング 深層学習モデルを用いた脳科学研究が近年盛んに行われている • Yaminsら（2016）は"目的駆動"のアプローチを提案している • ニューラルネットワークが与えられた感覚システムの正しいモデルとなるため には、感覚システムがサポートする行動タスクを効率的に解決する必要がある • この目的駆動のアプローチは脳の反応をよく再現する 78