これさえ読めば知ったかできるかもしれない人工知能の歴史と機械学習の今

2016/11/17 社内勉強会

Transcript

1. これさえ読めば 知ったかできるかもしれない 人工知能の歴史と 機械学習の今 2016/11/17 ckazu(kchinda@aiming-inc.com)
2. 今日のお題 • 人工知能の歴史と機械学習の位置づけ • 機械学習の要素技術とその特徴、使われ方 • 近年流行しているディープラーニングとは
3. 今日のお題 • 人工知能の歴史と機械学習の位置づけ • 機械学習の要素技術とその特徴、使われ方 • 近年流行しているディープラーニングとは ✖
4. 早速ですが、今日の結論...
5. これ読め
6. とにかく、これ読め • 人工知能は人間を超えるか ディープラーニングの先にあるもの • 松尾 豊 • 2015/3/11
7. FYI • http://timeofeve.com/
8. 終 というわけにもいかないので
9. 今日のお題
 • 人工知能の歴史と機械学習の位置づけ • 機械学習の要素技術とその特徴、使われ方 • 近年流行しているディープラーニングとは • TensorFlow を使ったデモ ←NEW! ✖
10. 今日のお題
 • 人工知能の歴史と機械学習の位置づけ • 機械学習の要素技術とその特徴、使われ方 • 近年流行しているディープラーニングとは • TensorFlow を使ったデモ ←NEW! ※ 駆け足で事例を交えつつ要素技術を紹介するので、 　 こんなことができるんだということを理解してもらえれば。
11. AlphaGo に勝つべく学習中のネコ型ロボットの様子
12. ５分で分かるかもしれない 人工知能の歴史
13. 人工知能研究には流行がある（あった）
14. 人工知能研究 前夜 1923 “robot” 1936 チューリングマシン 1949 ノイマン: 自己増殖オートマトン 1946 ENIAC 1947 チューリング: 人工知能の概念 1950 チューリングテスト 1951 ミンスキー: ニューラルネットマシン ... ロボット工学三原則, 鉄腕アトム 1956 ダートマス会議 　マッカーシー “Artificial　Inteligence” 　ニューウェル, サイモン “Logic Theorist”
15. 1951 – SNARC Maze Solver – Minsky / Edmonds
16. 人工知能研究 第一次ブーム • 推論 ◦ 述語論理 ◦ 定理の証明 • 探索 ◦ 探索木 ◦ 迷路、パズルなど • 知的エージェント ◦ プランニング • 自然言語処理 ◦ 機械翻訳 ◦ ELIZA（構文解析、パタンマッチ） • ニューラルネットワーク ◦ パーセプトロン • 遺伝アルゴリズム
17. M-x doctor
18. 1958年 ハーバート・サイモンとアレン・ニューウェル： 「10年以内にデジタルコンピュータはチェスの世界チャンピオンに勝つ」そして 「10年以内にデジタルコンピュータは新しい重要な数学の定理を発見し証明する」 1965年 ハーバート・サイモン : 「20年以内に人間ができることは何でも機械でできるようになるだろう」 1967年、マービン・ミンスキー : 「一世代のうちに（中略）人工知能を生み出す問題のほとんどは解決されるだろう」 1970年、マービン・ミンスキー（ライフ誌） : 「3年から8年の間に、平均的な人間の一般的知能を備えた機械が登場するだろう」 体験者の声

19. 1958年 ハーバート・サイモンとアレン・ニューウェル： 「10年以内にデジタルコンピュータはチェスの世界チャンピオンに勝つ」そして 「10年以内にデジタルコンピュータは新しい重要な数学の定理を発見し証明する」 1965年 ハーバート・サイモン : 「20年以内に人間ができることは何でも機械でできるようになるだろう」 1967年、マービン・ミンスキー : 「一世代のうちに（中略）人工知能を生み出す問題のほとんどは解決されるだろう」 1970年、マービン・ミンスキー（ライフ誌） : 「3年から8年の間に、平均的な人間の一般的知能を備えた機械が登場するだろう」 体験者の声
 ✖
20. 1958年 ハーバート・サイモンとアレン・ニューウェル： 「10年以内にデジタルコンピュータはチェスの世界チャンピオンに勝つ」そして 「10年以内にデジタルコンピュータは新しい重要な数学の定理を発見し証明する」 1965年 ハーバート・サイモン : 「20年以内に人間ができることは何でも機械でできるようになるだろう」 1967年、マービン・ミンスキー : 「一世代のうちに（中略）人工知能を生み出す問題のほとんどは解決されるだろう」 1970年、マービン・ミンスキー（ライフ誌） : 「3年から8年の間に、平均的な人間の一般的知能を備えた機械が登場するだろう」 体験者の声
 ✖ ✖
21. 1958年 ハーバート・サイモンとアレン・ニューウェル： 「10年以内にデジタルコンピュータはチェスの世界チャンピオンに勝つ」そして 「10年以内にデジタルコンピュータは新しい重要な数学の定理を発見し証明する」 1965年 ハーバート・サイモン : 「20年以内に人間ができることは何でも機械でできるようになるだろう」 1967年、マービン・ミンスキー : 「一世代のうちに（中略）人工知能を生み出す問題のほとんどは解決されるだろう」 1970年、マービン・ミンスキー（ライフ誌） : 「3年から8年の間に、平均的な人間の一般的知能を備えた機械が登場するだろう」 体験者の声
 ✖ ✖ ✖
22. 1958年 ハーバート・サイモンとアレン・ニューウェル： 「10年以内にデジタルコンピュータはチェスの世界チャンピオンに勝つ」そして 「10年以内にデジタルコンピュータは新しい重要な数学の定理を発見し証明する」 1965年 ハーバート・サイモン : 「20年以内に人間ができることは何でも機械でできるようになるだろう」 1967年、マービン・ミンスキー : 「一世代のうちに（中略）人工知能を生み出す問題のほとんどは解決されるだろう」 1970年、マービン・ミンスキー（ライフ誌） : 「3年から8年の間に、平均的な人間の一般的知能を備えた機械が登場するだろう」 体験者の声
 ✖ ✖ ✖ ✖
23. 人工知能研究 冬の時代その１ 組み合わせ爆発の課題、コンピュータの性能が低 い問題などが出始める 1966 ALPACレポート:「機械翻訳は今すぐ成果 を得られる段階にない（から支援が必要だ）」 1969 マッカーシー, ヘイズ: フレーム問題 　=>未知の環境に対応できない。知識の欠如 　FYI: http://www.slideshare.net/ckazu/ux-10671865 1969 ミンスキーら: パーセプトロンには（一 部において）限界がある 　=> 単純パーセプトロンでは線形分離可能な問 題しか解けない
24. http://qiita.com/pesuchin/items/fb3697cab3eb6e6f0fd0
25. 人工知能研究 冬の時代その１ 組み合わせ爆発の課題、コンピュータの性能が低 い問題などが出始める 1966 ALPACレポート:「機械翻訳は今すぐ成果 を得られる段階にない（から支援が必要だ）」 1969 マッカーシー, ヘイズ: フレーム問題 　=>未知の環境に対応できない。知識の欠如 　FYI: http://www.slideshare.net/ckazu/ux-10671865 1969 ミンスキーら: パーセプトロンには（一 部において）限界がある 　=> 単純パーセプトロンでは線形分離可能な問 題しか解けない 予算の削減や一線の研究者が否定的（だと捉えられるよう） な論文を発表したことにより停滞する
26. 人工知能研究 第二次ブーム エキスパートシステム • 推論 + 知識ベース • Dendral: 有機化合物の特定 • Mycin: 感染症に対する抗生物質の投与 ◦ 500件程度の知識ベース ◦ 後に、65% の正答率（専門医は 80%）との結果 ニューラルネットワーク • ホップフィールドネットワーク ◦ 相互接続ネットワーク • バックプロパゲーション • 多層パーセプトロン ◦ 畳み込みニューラルネットワークなど ▪ ※ 現在のディープラーニングへ => コネクショニズムの高まり
27. 人工知能研究 冬の時代その２ エキスパートシステムの辛さ • 専門知識を収集するコスト • 覚えたことしか判断できない （学習の仕組みがない） • 内容を更新するコスト • 「人間の常識」のようなことを判断できない どこまで教えておく必要があるのか 限られた制限下では、知識ベースでうまくいく ちょっとでも例外が発生するとうまくいかなくな る => どうやって知識を収集するか => 知識工学などに発展
28. 人工知能研究 第三次ブーム？ • 1997 Deep Blue (IBM) ◦ チェス世界チャンピオンに勝利 ◦ ２億手/s を先読みする ◦ マシンパワーの勝利 • 2011 Watson (IBM) ◦ クイズでチャンピオンに勝利 ◦ 自然言語を理解...してはいない ◦ 大量の文書を解析した結果から統計処理して 確率的に良さそうな回答を算出 ◦ マシンパワーの勝利
29. 人工知能研究 第三次ブーム？ • 1997 Deep Blue (IBM) ◦ チェス世界チャンピオンに勝利 ◦ ２億手/s を先読みする ◦ マシンパワーの勝利 • 2011 Watson (IBM) ◦ クイズでチャンピオンに勝利 ◦ 自然言語を理解...してはいない ◦ 大量の文書を解析した結果から統計処理して 確率的に良さそうな回答を算出 ◦ マシンパワーの勝利 ところで、マシンパワーといえば
31. 人工知能研究 第三次ブーム？ 2012 Youtube からディープラーニングによっ て猫の概念を獲得 • 16,000 core x 3 days 2015, 2016 AlphaGo • 囲碁のチャンピオンに勝利 • CPU 1,202, GPU 176 マシンパワー + ディープラーニング 囲碁はチェスより局面が桁違いに多く、 おそらくマシンパワーだけでは解決できなかったのではない か
32. ボードゲームの推定される局面数 • オセロ 10^60 • チェス 10^120 • 将棋 10^220 • 囲碁 10^360 ※ 10^68 = 1 無量大数
33. 1000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 0000000000000000000000000000000000000000000 00000000000000000
34. 人工知能研究 第三次ブーム？ なぜ３回目のブームになったか マシンパワーによる解決！！！ （私見） （...第二次ブームの知識ベースのアプローチ は無駄だった？）
35. ３度目の冬来ないといいね
36. ５分でわかった気になる 機械学習
37. 機械学習とは サミュエル 「明示的にプログラミングすることなく，コンピュータに行動させる ようにする科学」 "Programming computers to learn from experience should eventually eliminate the need for much of this detailed programming effort" Samuel, A. L. (1959), “Some Studies in Machine Learning Using the Game of Checkers” • input に対して何らかの output をするような機構を持つ • 人間がアルゴリズムを変更することなく、 output を修正できること くらいに考えれば良さそう？
38. 学習の方法による手法の分類 • 教師あり学習 ◦ ニューラルネットワーク ◦ サポートベクタマシン ◦ ID3（決定木学習） ◦ （遺伝的アルゴリズム） • 教師なし学習 ◦ クラスタリング ◦ ディープラーニング　 • 強化学習 ◦ Q学習 ◦ DQN (Deep Q-Network)
39. ニューラルネットワーク - 単純パーセプトロン
40. ニューラルネットワーク - 多層パーセプトロン
41. ニューラルネットワーク - 多層パーセプトロン
42. ニューラルネットワーク - 多層パーセプトロン
43. ニューラルネットワーク - ディープラーニング
44. 遺伝的アルゴリズム http://www.slideshare.net/ckazu/fizzbuzz-12147905
45. その他 クラスタリングとか強化学習とかたくさんあるけ ど、割愛
46. ５分でわかった気になる 機械学習 無理でした
47. で、結局何使ったら良いの？
48. http://scikit-learn.org/stable/tutorial/machine_learning_map/
49. https://docs.microsoft.com/ja-jp/azure/machine-learning/machine-learning-algorithm-cheat-sheet
50. DEMO
51. http://playground.tensorflow.org