[YGB#7]ドラえもんを作ろう

今回は、四足歩行ロボット Petoi Bittle を題材に、 「ロボットが学習するとはどういうことか？」 から、NVIDIAの Isaac Lab を使ったデモまで、ゆるく紹介していきます。
https://connpass.com/event/407719/

Transcript

1. Computational Neuroscience and Machine Learning
2. 意訳： ドラえもんをつくろう
3. おことわり ・AI、機械学習の手法は他にもたくさんありますが、 今回は（深層）ニューラルネットワーク関連に絞って話します。 ・わかりやすさを最大限優先するため、ざっくりした比喩表現が多いです。
4. おしながき ”人工知能” を定義する 機械学習の概要 教師あり学習 教師なし学習 強化学習 まとめ もっと知りたい人へ
5. 「AI 知っとかないとやばいよ」論
6. ではなく
7. 科学的好奇心の対象としての AI
8. 結局 AI ってなんやねん
9. “人工知能” を定義する
10. 知能の有無の違いって何だろう
11. 改良の仕方
12. 知能が無い機械の場合
13. 知能が無い機械 空を自由に 飛びたいな ♪ 入力 改良中 学習 地球破壊爆弾〜 出力
14. 知能が無い機械 空を自由に 飛びたいな ♪ 改良中 学習 地球破壊爆弾〜 空を自由に 飛びたいな ♪ 改良後 タケコプタ～
15. 知能が無い機械 空を自由に 知能が無い機械 改良中 学習 飛びたいな ♪ 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 修理のおじさんが 脳内プログラムを改良 改良後 タケコプタ～
16. 人間の脳の場合
17. 人間の脳 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック ミスった (´・ω・｀) 次は直そう
18. 人間の脳 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック 修理のおじさんは不要 空を自由に 飛びたいな ♪ 改良後 タケコプタ～
19. 人間の脳 人間の脳 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック フィードバックデータを与えれば 脳が脳内プログラムを自己改良 空を自由に 飛びたいな ♪ 改良後 「知能」の必要条件！ タケコプタ～
20. 人工知能は人間の脳を目指す
21. 人工知能 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック ミスった (´・ω・｀) 次は直そう
22. 人工知能 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック 修理のおじさんは不要 空を自由に 飛びたいな ♪ 改良後 タケコプタ～
23. 人工知能 人工知能 空を自由に 飛びたいな ♪ 地球破壊爆弾〜 改良中 学習 フィードバック フィードバックデータを与えれば 脳が脳内プログラムを自己改良 空を自由に 飛びたいな ♪ 改良後 「知能」の必要条件！ タケコプタ～
24. 「人工知能」を定義する 「自己改良する機械」
25. 「自己改良する機械」 「AI すげえ……！！」
26. この講義シリーズの目標 ・AI を畏怖しない。過大評価しない ・自己改良の仕組みが実は単純であると理解する
27. AI を過大評価しない ・自動で株取引、画像認識 ・架空の画像・音楽・文章を生成 ・人間の知識なしで、囲碁の世界王者に勝利 → すべて、この講義シリーズで解説（のつもり）
28. 機械学習の概要
29. 機械学習 ＝ 自己改良
30. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → ？？？ 強化学習 → 行動決定
31. 機械学習の種類 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 フィードバック ここの違い！ タケコプタ～
32. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → ？？？ 強化学習 → 行動決定
33. 教師あり学習
34. 機械学習の種類 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 フィードバック ここの違い！ タケコプタ～
35. その前に
36. たとえば 空を自由に 飛びたいな ♪ 空を自由に 飛びたいな ♪ 地球破壊爆弾～ 学習 ”ドラちゃん💢” どうすべきかは 学習後 タケコプタ～ 自分で考えろ！方式
37. いっぽう
38. 教師あり学習 空を自由に 飛びたいな ♪ 空を自由に 飛びたいな ♪ 教師あり学習 学習 地球破壊爆弾～ ”タケコプタ～” 正解 正解（＝教師データ）を 学習後 タケコプタ～ 直接教える
39. で、どうやって自己改良するの？
40. 教師あり学習をしてもらいます
41. じゃんけんをしましょう 賞品はお菓子です
42. もう一回！
43. 私は同じ手しか出しませんでしたね
44. なぜ勝てるようになったか？ そろそろグーかな 敵の過去の手 連続チョキ 学習 改良中 敵の次の手 （予測） 敵の次の手 （実測） またチョキ
45. なぜ勝てるようになったか？ そろそろグーかな 敵の過去の手 連続チョキ 改良中 敵の次の手 （予測） 敵の次の手 （実測） またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
46. なぜ勝てるようになったか？ そろそろグーかな 過去の手⇔次の手（実測）の 敵の次の手 （正解） 敵の過去の手 法則を見つけた 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 「同じ手連続則」 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
47. なぜ勝てるようになったか？ そろそろグーかな 入力 ⇔ 正解出力 の 敵の次の手 （正解） 敵の過去の手 法則を見つけた 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 「同じ手連続則」 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
48. なぜ勝てるようになったか？ そろそろグーかな 敵の過去の手 改良中 連続チョキ 敵の次の手 （出力） 敵の次の手 （正解） またチョキ 敵の過去の手 連続チョキ 改良後
49. なぜ勝てるようになったか？ 同じ手連続則 敵の次の手 （出力） より、次もチョキ 敵の過去の手 改良中 敵の次の手 そろそろグーかな （正解） 連続チョキ またチョキ 敵の過去の手 連続チョキ 改良後 敵の次の手 （正解） 次もチョキ
50. 教師あり学習での「自己改良」 入力 ⇔ 正解出力 の 法則を見つけること → 出力が正解に近づく
51. AI の場合
52. AI の場合 そろそろグーかな 敵の過去の手 連続チョキ 学習 改良中 敵の次の手 （出力） 敵の次の手 （正解） またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
53. AI の場合 そろそろグーかな 入力 ⇔ 正解出力 の 敵の次の手 （出力） 敵の過去の手 法則を見つける 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
54. 機械は「法則」を見つけられる？
55. 単純なことです
56. AI の場合 そろそろグーかな 入力 ⇔ 正解出力 の 敵の次の手 （出力） 敵の過去の手 法則を見つける 改良中 学習 敵の次の手 連続チョキ x y （出力） またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
57. AI の場合 入力 ⇔ 正解出力 の 法則を見つける
58. AI の場合 x ⇔ 正解出力 の 法則を見つける
59. AI の場合 x⇔yの 法則を見つける
60. AI の場合 x⇔yの 関係を見つける
61. AI の場合 x⇔yの 関数を見つける
62. AI の場合 そろそろグーかな 入力 ⇔ 正解出力 の 敵の次の手 （出力） 敵の過去の手 法則を見つける 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
63. AI の場合 そろそろグーかな x⇔yの 敵の次の手 （出力） 敵の過去の手 関数を見つける 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
64. AI の場合 そろそろグーかな x⇔yの 敵の次の手 （出力） 敵の過去の手 関数を見つける 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ 「同じ手連続則」 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
65. AI の場合 そろそろグーかな x⇔yの 敵の次の手 （出力） 敵の過去の手 関数を見つける 改良中 学習 敵の次の手 （出力） 連続チョキ またチョキ x=y 連続チョキ ⇒ またチョキ。 こいつチョキしか出さないんだ！
66. AI の場合 敵の過去の手 改良中 敵の過去の手 改良後 連続チョキ 敵の次の手 （出力） 敵の次の手 （正解）
67. AI の場合 敵の過去の手 x = y より、 改良中 次もチョキ 敵の過去の手 改良後 連続チョキ 敵の次の手 （出力） 敵の次の手 （正解） 敵の次の手 （正解） 次もチョキ
68. 教師あり学習 空を自由に 飛びたいな ♪ 空を自由に 飛びたいな ♪ 教師あり学習 学習 地球破壊爆弾～ ”タケコプタ～” 正解 正解（＝教師データ）を 学習後 タケコプタ～ 直接教える
69. 教師あり学習での「自己改良」 入力 ⇔ 正解出力 の 法則（関数）を見つけること → 出力が正解に近づく
70. 教師あり学習 実用例 ・株価の予測 ・画像認識 （入力 ⇔ 正解 の関係を見つける という点で、まったく同じ）
71. 株価の予測 次の日の株価 （出力） 過去の株価 改良中 学習 x ⇔ y の法則（関数）を見つける 次の日の株価 → 出力が正解に近づく（正解） x y https://python.atelierkobato.com/kitei/
72. 例えば Neural Network で実装
73. 人工ニューロン https://udemy.benesse.co.jp/ai/neural-network.html
74. 深層学習の歴史（1950～） 人工 neuron を接続 ＝ Neural Network 3層 https://www.atmarkit.co.jp/ait/articles/1811/20/news012.html
75. 深層学習の歴史（2010～） 2010年代、Deep Neural Network が実用化 多層・深層 https://medium.com/@pierre_guillou/understand-how-works-resnet-without-talking-about-residual-64698f157e0c
76. Neural Network の場合 敵の過去の手 敵の次の手 （出力） 敵の次の手 （正解） 敵の過去の手 敵の次の手 （出力）
77. Neural Network 深層化は何が嬉しいのか？ ニューロンの数（＝内部パラメタ数）が多い → x ⇔ y の関数を、より繊細に表現可能 → 予測が正確に （人間の脳が大きいのも同じような理由）
78. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → ？？？ 強化学習 → 行動決定
79. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → ？？？ 強化学習 → 行動決定
80. 教師なし学習
81. 教師なし学習とは 正解を教えずに データの中の パターン を見つける
82. クラスタリング 学習前 学習後 似ているもの同士を、自動で グループ分け
83. 次元削減 情報をなるべく残しながら 10個の特徴 2つの軸 データを 見える形 にまとめる
84. 異常検知 いつもと違う いつものパターンから 外れたデータ を見つける 例：不正利用、設備の故障の兆候
85. 教師なし学習 実用例 顧客をグループ分け 写真や文章を、似た内容ごとに整理 不正利用や故障の兆候を検知 正解がないため、結果の意味は 人が確かめる
86. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → 構造発見 強化学習 → 行動決定
87. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → 構造発見 強化学習 → 行動決定 人間の行動・意思決定を左右
88. 強化学習
89. 機械学習の種類 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 フィードバック ここの違い！ タケコプタ～
90. 強化学習 空を自由に 飛びたいな ♪ 褒める 叱る 空を自由に 飛びたいな ♪ 地球破壊爆弾～ 学習 ＝ 正の報酬 ＝ 負の報酬 ”ドラちゃん💢” どうすべきかは 学習後 タケコプタ～ 自分で考えろ！方式
91. 強化学習 「報酬」のフィードバックを使って 行動決定する
92. 強化学習 「報酬」を最も得られそうな 行動をとる
93. 報酬とは？行動決定とは？
94. じゃんけんをしよう
95. パブロフの犬 1. 犬にベルを聞かせる。 2. 犬にえさを与える。犬はえさを食べ唾液を出す。 3. これを繰り返す。 4. 犬はベルの音を聞いただけで、唾液を出すようになる。
96. パブロフの犬 過去に報酬をもらった行動・状態 を記憶 → その記憶を用い、次に貰える報酬の予測をする ベルが鳴ったから えさが貰えそうだ！！
97. 2回目、なぜその手を出したのですか？
98. 奴は次は〇〇を出すだろう 〇〇を出せば 最もお菓子が貰えそうだ！！ 貰える報酬の予測
99. 奴は次は〇〇を出すだろう 〇〇を出せば 最もお菓子が貰えそうだ！！ 最も報酬が高いと予測される 行動をとる 貰える報酬の予測をした
100. それが、哺乳類の行動決定
101. 強化学習のまとめ 入力から報酬を予測する → 予測される報酬が最高な行動をとる → 報酬を貰って自己改良する → 入力から報酬を予測する → 予測される報酬が最高な行動をとる → 報酬を貰って自己改良する
102. 強化学習 vs 教師あり学習 ・強化学習 入力から報酬を予測する パブロフの犬
103. 強化学習 vs 教師あり学習 ・強化学習 入力から報酬を予測する パブロフの犬 → 予測される報酬が最高な行動をとる ・教師あり学習 入力から未来などを予測する 似てる…
104. 実は
105. 強化学習のうち「報酬予測」は 教師あり学習と同じ仕組み
106. 教師あり学習 入力 ⇔ 正解出力 の 法則（関数）を見つける → 出力が正解に近づく
107. 強化学習での報酬予測 入力 ⇔ 報酬 の 法則（関数）を見つける → 出力が報酬に近づく
108. 要は 「教師あり学習」というアルゴリズムは同じで、 予測する内容 ↓ が違うだけ ・未来 ・画像に写っている物体 ・報酬
109. ただし
110. 強化学習 vs 教師あり学習 ・教師あり学習 未来などを予測するのみ ・強化学習 報酬を予測したうえで、行動をとる
111. 強化学習 vs 教師あり学習 ・教師あり学習 予測 → 改良 → 予測 → 改良 → ・・・ ・強化学習 予測 → 行動 → 改良 → 予測 → 行動 → 改良 →・・・
112. 強化学習 vs 教師あり学習 ・通常の教師あり学習は、人間が教師データを与える ・強化学習は、AI がとる行動によって、 自動的に報酬（教師データ）を取得する
113. 強化学習のまとめ 入力から報酬を予測する → 予測される報酬が最高な行動をとる → 報酬を貰って自己改良する → 入力から報酬を予測する → 予測される報酬が最高な行動をとる → 報酬を貰って自己改良する
114. 強化学習 応用の可能性 ・教育：生徒のテストの点数を報酬とする ・自動運転：白線から外れたら負の報酬を与える ・経営戦略、ヘルスケア、etc... 応用可能範囲は最も広い。 まだまだ未開拓な分野で、今一番熱い（？）
115. まとめ
116. 「自己改良する機械」 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 フィードバック ここの違い！ タケコプタ～
117. 教師あり学習 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 ”タケコプタ～” 出力 タケコプタ～
118. 強化学習 地球破壊爆弾～ 空を自由に 飛びたいな ♪ 学習 空を自由に 飛びたいな ♪ 学習後 ”ドラちゃん💢” 負の報酬 タケコプタ～
119. 機械学習の種類 教師あり学習 → 予測 教師なし学習 → 構造発見 強化学習 → 行動決定
120. 教師なし学習 大脳新皮質 ？？？ 大脳基底核 強化学習 快・不快を 報酬として 行動決定 小脳 未来予測 教師あり学習 http://kazoo04.hatenablog.com/entry/agi-ac-5 (改変）
122. ドラえもんが完成するまで あと〇回
124. 最終目標
125. 汎用人型AI Reila
126. 今あるAI（特化型AI） 個別タスク ・Alpha Go: 囲碁 ・GPT-3: 自然言語 ↓ マルチモーダル ・DALL-E: 文章->画像 ・CLIP: 画像と文字 https://gigazine.net/news/20210305-openai-clip/ ↓ まだまだ汎用とはいかない
127. 何が足りないのか？
128. 行動 （強化学習）
129. ３つの学習法 教師あり学習 自己教師あり学習 大脳新皮質 強化学習 大脳 基底核 小脳
130. ３つの学習法 教師あり学習 →予測 大脳新皮質 自己教師あり学習 →認識 強化学習 →行動 大脳 基底核 ”AIを活用したマーケティングイノベーション ” アドテック東京 2017にて弊社取締 役野口が公式モデレーターとして登壇 │株式会社イー・エージェンシー (e-agency.co.jp) 小脳
131. 学習法の流行 教師あり学習 研究が盛んに行われている →予測 人間レベル 自己教師あり学習 →認識 強化学習 →行動 例 GPT-3: 自然言語 DALL-E: 文章->画像 CLIP: 画像と文字 強化学習は遅れをとっている
132. 予測と認識だけだと、、、 https://robotstart.info/robot-database/echo Amazon echo ×新たな発想、創造性、成長しない ×文脈がわかるとはいえ、日をますに つれ、過去と矛盾がでる。 ↓ 報酬にもとづく（行動基準）は不変、一 貫した人格、発話の理由付け 成長する→よりよくなる可能性がある 今日の天気は 今日の天気は？
133. 予測と認識だけだと、、、 まるで人間のような会話 汎用AIできる？！ ↓ 無理と考える。 教師あり学習だから、 ・人間が教師データを作成し、与えないと学習しない。 ・教師データが学習の限界。 教師データにないことは永遠にできない。
134. 強化学習を使うと 自らよりよい行動、発話を探索していく ↓ 正解ラベルの代わりに報酬を使う ↓ 行動を改善していく ↓ 汎用AIの実現に向けた一つの手法
135. だから、 強化学習
136. 強化学習×ロボット 作りたいもの 継続的に日常的に強化学習を行い成長していくロボット リリース後も、強化学習で重みが更新されていく 検証する点 実機での継続学習は安全に運用できるか 事前学習のみの方式と比較する ・既存製品との差別化を調べる ・効果を実験で確かめる
137. 今後の予定 最終目標 汎用人型AI with 強化学習 ↓ 前段階 哺乳類＝ペットロボット（petoi bittle） with 強化学習
138. 強化学習を用いて 最適化する前のリリース リリース後に成長していく ↓ ×医療、災害ロボット 〇ペットロボット
139. 今後の予定 最終目標 汎用人型AI with 強化学習 ↓ 前段階 ペットロボット（petoi bittle） ↓ その前段階 Unity ML-Agentsで概念検証 参考動画① 参考動画②
140. Bittle と Isaac Lab Isaac Lab Petoi Bittle 仮想環境で学習 四足ロボットの実機 Unityで試す → Isaac Labで学ぶ → 実機で確認
141. Bittle の歩行課題（設計例） 観測（入力） 姿勢・関節角度・目標速度 行動（出力） 各脚の関節の動かし方 報酬 前へ進む・転ばない 急な動きは減点
142. 学習結果を実機で試す 1. Bittle のロボットモデルを用意 2. Isaac Lab で歩行を繰り返し練習 3. 実機で低速から動作を確認 重さ・摩擦・モーター特性 の違いを調整する