2017-deep-learning-and-psychology-gakusyuin-02

2017年 学習院大学 深層学習の心理学的解釈 第2回

Transcript

1. 心理学特殊講義（深層学習の心理学的解釈）第2 回 2017 年 04 月14 日 浅川伸一 asakawa@ieee.org Wi-Fi 使えます。 わからないことはググる 質問があったらつぶやく ハッシュタグ #2017dl_gak 前回とは違うパートナーとペアを組んで座ってください 前回欠席の方は資料が https://speakerdeck.com/shinasakawa/2017-deep-learning-and-psychology-gakusyuin-01 にありま す 先週のコメントに対する回答 p 値の解釈 ビッグデータの解釈 Gray のパラダイム 図 1: Gray(2009) 李飞飞 老師
2. How we teach computers to understand pictures | Fei Fei Li https://www.youtube.com/watch?v=40riCqvRoMs ペアワーク What's the points in this video? How do you think about Fei-Fei's talk? 2.7 統計学が新しい時代に... リクエストがあったのでやや詳しく
3. 図 2: https://xkcd.com/882/
4. 2.8 アメリカ統計学会(ASA) の P 値 警告宣言 1. p 値はデータがある特定の統計モデルに適合していない度合いを示している 2. p 値は研究している仮説が正しいことを測定しているわけではなく，データが偶然に生成された確率を示すもの である 3. 科学の結論，ビジネスや政策の決定は p 値が特定のしいき値を越えたことだけに基いて行われるべきではない 4. 適切は推論には完全な報告と透明性が必要である 5. ある特定の p 値，すなわち統計的有意性は，効果量や結果の重要性を測定していない 6. p 値それ自体では，ある特定のモデルや仮説に関する適切な証拠に関する測度を提供していない ASA Statement on Statistical Significance and P-values Ban of p-value of stat test 二重否定 double negation という本質的問題 1. 帰無仮説 null hypothesis を立てる。( 自分の主張の否定を正しいと仮定する) 2. 帰無仮説が正しいと仮定した場合，そのようなことが起こる確率が p 値以下であることを計算する 3. 帰無仮説が棄却されたことをもって，( 否定の否定) 自説が正しいと主張する なぜ自説が正しいことを直接主張せず，二重否定を用いるのか？ GOFAI (Good Old Fashied AI) の限界 職人芸的，手作り hand-crafted rules 規則の作り込み，ルールベース， 学習なし！転用不能！ 転移学習 図 3: LeCun(2013) より 手法の歴史的比較 ↔
5. 図 4: LeCun(2013) より 物理記号システム仮説( 谷忠7) 図 5: 物理記号システム仮説 実世界の状況を反映した記号を操作した結果が実世界の結果と対応しているならば，内部表現としての記号の操作に よって知能を表現できる，という考え方． 1980 年代から( 谷忠8) 1980 年代 行動主義ロボティクス（ロドニー・ブルックス） サブサンプションアーキテクチャ 第五世代コンピュータプロジェクト （日本の国家プロジェクト） 1990 年代 ソフトコンピューティング ニューラルネットワーク，ファジィ理論，進化計算，遺伝的アルゴリズム オントロジー エキスパートシステムの発展 WWW の普及と計算の高速化．データマイニング 実世界のロボット ロボカップの開始 ユビキタスコンピューティング 複雑系 人工生命，カオス，フラクタル，ネットワーク科学
6. 2000 年代～( 谷忠9) メディア情報処理の実用化・普及 画像処理，音声認識，自然言語処理 ビッグデータ センサや計算機の価格の低下と普及 インターネットを通した共有 機械学習 様々な技術の基盤に． ベイズ理論 知能への構成論的アプローチとしての人工知能 認知発達ロボティクス，計算論的神経科学，記号創発ロボティクス 知性を理解する上でのアプローチについて 生産されるものが生産を行う知性そのものであれば，知性は自らの改善に取り掛かれる マレー・シャナハン 構成論的アプローチ ( 実験心理学に決定的に欠けている？) 計算論的アプローチ アルゴリズミックアプローチ 上述の3 つの違いは何か？ 1. 上からのアプローチ 2. 下からのアプローチ ディビッド・マー の 3 つのレベル Marr's Tri-Level Hypothesis 計算論のレベル computational level: そのシステムは何を，あるいは，どのような問題を解くべきか？ なぞそれを する必要があるのか？ アルゴリズムと表象のレベル algorithmic/representational level: どのような手順で，その問題を解くのか，どのよう な表象( 表現) が必要か？ 物理的実装( 実現) のレベル implementational/physical level: どのように，そのシステムは実現されているのか( 生物 の視覚系の場合であれば神経系の構造，ニューロンの活動) 計算論的モデル computational model と 計算モデル( あるいはコンピュータモデル，シミュレーションモデル) computer model とを区別する 図 6: David Marr
7. ( 左) 12 歳. ( 右) ディビッド・マー ( 左) フランシス・クリック( 奥の白髪) and トミー・ポジオ( 手前) 1974 年カリフォルニ ア，ラフォヤ. Reproduced with kind permissions of Peter Williams ( 左) and Lucia Vaina ( 右). http://rstb.royalsocietypublishing.org/content/370/1666/20140383 モデルって何？ 現象の抽象化, 簡略化，単純化 モデル の目的: 既知の事実や知識に基いて，現象の特定の部分や特徴を，理解，記述，規定，定量化，視覚化， 模倣すること。 現象を理解を促すために，概念，操作，定量化，を行うために 概念モデル 数理モデル グラフィカルモデル などを用いる。科学にとって モデル化 は不可欠 https://en.wikipedia.org/wiki/Scientific_modelling 典型的な研究の流れ 図 7: 研究活動 インテリジェント・デザインの考え方に非ず
8. 森羅万象は数学によって最も良く記述されるという信念，妄想，希望 用いる記号の意味 機械学習は統計学の一分野であるので，統計学の伝統に従った表記が用いられる場合が多い。 1. ローマンアルファベットは通常の変数: e.g. , , , , 2. ギリシャアルファベットは母数( 母集団を記述する変数) , , , , e.g. サンプリングしたデータの平均値をローマンアルファベット 対応する母集団の平均値を とするなど 3. ただし，ギリシャアルファベットとローマンアルファベットはこの規則に従わない場合も多数 4. 単にギリシャアルファベットとローマンアルファベットでは変数の意味合いが違うというだけの場合もある 5. 例えば をロジスティックシグモイド関数 logistic sigmoid function とするなど。 数の次元による表記の違い 次数 日本語 English 表記例 0 スカラ scalar 1 ベクトル vetor 2 行列 matrix 3- テンソル tensor 巨人たち Giants ジェフェリー・ヒントン http://www.cs.toronto.edu/~hinton/ ヤン・ルカン( ルクン) x y a b … μ σ θ ω … ¯ x μ σ a a A A
9. 図 8: Yann LeCun, FAIR, NYU, (former Bell research lab) ヨシャア・ベンジオ 図 9: Yoshua Bengio, Montreal University 中華的巨星 アンドリュー・ナグ( 呉恩達) 図 10: 呉恩達 (Andrew Ng), ex Baidu( 百度) chief researcher, Stanford University Fei-Fei Li ( 李飞飞)
10. 図 11: 李飞飞 (Fei-Fei Li), Stanford University, Google 図 12: 甘利俊一先生
11. 図 13: アソシアトロン― 連想記憶のモデルと知的情報処理 (1979 年) 図 14: ネオコグニトロン 図 15: 福島邦彦先生