機械学習・超入門・An introduction to Machine Learning

Transcript

1. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 1 第1回 概要説明 2019/10/29
2. 2 第1回 概要理解 背景理解 ビッグデータ データマイニング・IoT 第2回 もう少し概要について アルゴリズムへの橋わたし AI・機械学習 第3回 機械学習の入り口 アルゴリズムの入り口 機械学習のはじめ 第4回 一番基本的な例で理解する機械学習 アルゴリズムの中身 最適化って何か感覚的に 第5回 いよいよディープラーニング(深層学習)へ アルゴリズムの後半 深層学習の入り口 第6回 画像の認識 アルゴリズムの後半2 深層学習から画像認識 画像認識からOCRや自動運転まで
3. 3 自己紹介
4. よろしくお願いします 4
5. 5 小学校でもプログラミング必修化
6. 6 日本もようやく統計学科ができてきた
7. 7 技術の成長スピードは速い
8. 8 SF小説・漫画の世界も近い?? PSYCHO-PASS を例に 異常検知(AI) 判別分析(AI) 適正診断(AI)
11. ゴール地点： AIの正体を知る 自動運転の原理が分かる 11 https://www.youtube.com/watch?v=XIaczjLjsuU https://www.youtube.com/watch?v=bcC3H- BuI18&list=PLclqUqSxgKfE6UFTSWR-ahkl8YkQ8l4At
12. 第0回 AGENDA: 1・ビッグデータについて 2・データ関係の流行と データマイニングについて 12
13. 13 本屋でこんな本みませんか？
14. 14 本だけでなく、ニュースなどでも 「AI・人工知能・ビッグデータ」 の単語よく聞きませんか?
15. 15 なんでこんなに流行って いるのでしょう？
16. 16 保存媒体の進化 ・技術的に安価に作成できる ・クラウドの浸透 端末の進化 ・スマートフォンの普及 ・ソーシャルアプリによる情報の増加 IoTの発達 ・スマートファクトリー、コネクティッドcar、スマートHome 日常的な機器がインターネットにつながるようになった
17. 17 ビッグデータの性質3V Volume Variety Velocity 蓄積量 国・企業ごとの蓄積意識 クラウドの発達・オープンデータ 多様性 画像・動画・SNS・生体 生成速度 Wi-Fi Bluetooth 5G スマホ・SNS Walmart 2.5ペタ ebay 6ペタ ウェアラブルデバイス ソーシャルネット センサー、GPS、監視カメラ ツイッター 一日5千万 FB 一秒に13万写真 google 一日50億回検索
18. 18 年3.2 ZB 年1.2 ZB ビッグデータと呼ばれるようになっていく (複雑な構造、高次元)
19. 19 集まったデータから価値あるものを見つける作業を 「データマイニング（採掘）」といいます。
20. 20 age sex bmi children smoker region charges 19female 27.9 0yes southwest 16884.92 18male 33.77 1no southeast 1725.552 28male 33 3no southeast 4449.462 33male 22.705 0no northwest 21984.47 32male 28.88 0no northwest 3866.855 31female 25.74 0no southeast 3756.622 46female 33.44 1no southeast 8240.59 37female 27.74 3no northwest 7281.506 37male 29.83 2no northeast 6406.411 60female 25.84 0no northwest 28923.14 25male 26.22 0no northeast 2721.321 美味しかった保険の顧客データを例に データをマイニングすることで、 新規顧客に課す保険料が計算できる
21. 21 保険の顧客分析を例に ・EXCELの設定値一覧から保険料計算していた。 ・すぐ死ぬ人は保険料を高くしたい。 ・ネット申し込みで爆発的にデータが増加。 ・人間の平均寿命は最近伸び続けているので、 感覚的な寿命設定に信頼がおけない。 たすけてよ AI！！
22. 22 膨大すぎると手作業では掘れ(Mining)ない 道具(機械学習)を使おう
23. 23 age sex bmi children smoker region charges 19female 27.9 0yes southwest 16884.92 18male 33.77 1no southeast 1725.552 28male 33 3no southeast 4449.462 33male 22.705 0no northwest 21984.47 32male 28.88 0no northwest 3866.855 31female 25.74 0no southeast 3756.622 46female 33.44 1no southeast 8240.59 37female 27.74 3no northwest 7281.506 37male 29.83 2no northeast 6406.411 60female 25.84 0no northwest 28923.14 25male 26.22 0no northeast 2721.321 美味しかった保険の顧客データを例に 優良 顧客 非優良 顧客 機械学習はパターンを見つけるのが得意 優良顧客の”パターン”を見つけて、 新しいデータも分類する
24. 24 age sex bmi children smoker region charges 19female 27.9 0yes southwest 16884.92 18male 33.77 1no southeast 1725.552 28male 33 3no southeast 4449.462 33male 22.705 0no northwest 21984.47 32male 28.88 0no northwest 3866.855 31female 25.74 0no southeast 3756.622 46female 33.44 1no southeast 8240.59 37female 27.74 3no northwest 7281.506 37male 29.83 2no northeast 6406.411 60female 25.84 0no northwest 28923.14 25male 26.22 0no northeast 2721.321 美味しかった保険の顧客データを例に 機械学習はパターンを見つけるのが得意 顧客データと値段を数式にして、 現状の料金を計算
25. 25 なんでこんなに流行って いるのでしょう？ ・データ量が膨大で人間系に限界。 ・データ量に強いアルゴリズム(機械学習)が日の目を見るように。 ・中でもデータ量に比例して働きが良くなるアルゴリズムの一つ、 「深層学習」が注目を浴びた。 ・実務に詳しく、統計・解析学に強い人、アルゴリズムが使える人が データサイエンティストとして注目されだした。 denso 吉野氏 はんだ付けから統計解析 datum studio 里氏 アプリケーション利用者ログ分析から マーケティングポジション分析まで 滋賀大学 河本氏 大阪ガス情報通信からデータ分析 デジタルガレージ 渋谷氏 JALwebサイトからレコメンド施策
26. 26 人工知能 AI 機械学習 を何となく知ることで、 安心・信頼できる技術として認識 今回は流行背景 次回はAIの定義について
27. 27 第1回 終
28. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 28 第2回 もう少し概要について 2019/10/29
29. 第1回 AGENDA: 1・単語の説明 2・機械学習の使い道・特徴 3・もうすこし流行った背景 29
30. 30 第1回 背景理解 マイニング・IoT 第2回 アルゴリズムへの橋わたし AI・機械学習 第3回 アルゴリズムの入り口 機械学習のはじめ 第4回 アルゴリズムの中身 最適化って何か感覚的に 第5回 アルゴリズムの後半 深層学習の入り口 第6回 アルゴリズムの後半2 深層学習から画像認識 画像認識からOCRや自動運転まで
31. 今回の話 AI? 機械学習？深層学習？ ディープラーニング？ 1・単語の説明 31
32. 1・単語の説明 32 AIとは： ・artificial (人工的な, 人造の) intelligence (知性,理解力) ・「人間と同じ様なことを機械にさせたい」 ・厳密な定義はない ~感じること~ ・作業を効率的・効果的にしたいから とりあえず「AI」と言っておく ~提案~ ・大体、機械学習が絡んだ ”何か”
33. 33 AI・・・機械に人の代わりをやらせたい IF CASE SWITCH ・・・などなど・・・ 機械学習・・・アルゴリズムで解決 統計的 機械学習 深層学習 ルールベースで解決
34. 34 強いAI 弱いAI 1・単語の説明
35. 35 シンギュラリティ 2045年 (AIが人間の知性を超える)
36. 36 1・単語の説明 AIの歴史は古い 今は第三次ブーム ジョン・マッカーシー アラン・チューリング ・機械は知能を持つか マービン・ミンスキー フランク・ローゼンブラット ・パーセプトロンのアルゴリズム デビッド・ラメルハート ・バックプロパゲーション AI(人工知能)と呼ぶことにしよう
37. 37 第一次 ・しらみつぶし ・ルールが無いと無理 第二次 ・IF文を盛り込む ・INPUTが大量必要 第三次 ・計算資源 ・深層学習
38. 1・単語の説明 38 実は身近にたくさんいる “AI”
39. 39 Q : AIがどうやって実現されているか A : (主に)機械学習です 1・単語の説明
40. 1・単語の説明 40 機械学習とは： ・Machine learning : ML ・明示的な指示をしない ・パターンや傾向をデータからみつける ・アルゴリズムのカタマリ ~提案~ ・データに柔軟に対応するのが得意なアルゴリズムの事
41. 41 1・単語の説明 AIの中身、 機械学習が 柔軟に対応する例
42. 42 家の価値を判断するプログラムを作ってください 2・使い道と特徴 ・築年数30年 ・面積30平米 ・フロ無し ・水洗トイレなし ¥ --------円 購入¥ 900 万円
43. 43 家の価値を判断するプログラムを作ってください 2・使い道と特徴 ・築年数30年 築が古ければ安くなるので、築年数に 応じて下がるようにしよう ・面積30平米 面積が広ければ高い ・フロ無し 1/5くらいの値下げがあるのでは ・水洗トイレなし 1/5くらいの値下げがあるのでは {900-(5×年数)+1.5×(面積) } ×(フロ無しなら×1/5、トイレなしなら2/5) ¥ 520 万円 購入¥ 900 万円
44. 44 2・使い道と特徴 {900-(5×年数)+1.5×(面積) } ×(フロ無しなら×1/5、トイレなしなら2/5) ¥ 520 万円 もう使えません。作り直してください。
45. 45 3・流行った背景 ・こんなスピードで増加する情報に対応しながら、 価格を決める数式を常に考え直さなければならない 自動更新が得意なアルゴリズムに任せよう
46. 46 寝室の数から家の値段を推定する データが更新されたら赤い線も傾き方が変わる 影響度(傾き方)もデータから自動で考えてくれる 購入価格 - (自動決定×年数)+ (自動決定×面積) + (自動決定×フロ) + (自動決定×トイレ) 3・流行った背景
47. 47 機械学習は 「追加されるデータ・膨大なデータ」に強い、 「アルゴリズム」の事で、 「パターン」を見つけて、 「数式」を作り出すことが得意 3・流行った背景 次回は “どんなことができるのか”
48. 48 第2回 終
49. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 49 第3回 機械学習の入り口 2019/10/29
50. 第3回 AGENDA: 1・機械学習の種類 2・機械学習の活用場面 50
51. 51 第1回 背景理解 マイニング・IoT 第2回 アルゴリズムへの橋わたし AI・機械学習 第3回 アルゴリズムの入り口 機械学習のはじめ 第4回 アルゴリズムの中身 最適化って何か感覚的に 第5回 アルゴリズムの後半 深層学習の入り口 第6回 アルゴリズムの後半2 深層学習から画像認識 画像認識からOCRや自動運転まで
52. 52 AIの背景や概要を見てきた 機械学習にフォーカスしてきます
53. 1・単語の説明 53 実は身近にたくさんいる “AI” どうやって作られているのか
54. 54 データ 判別 回帰 分類 教師あり 訓 練 ・ 学 習 推論・予測モデル (AI = 最適化された数式) 教師なし 教師あり 分類
55. 55 スマホの加速度計データから、その時刻に行っていたスポーツを分類したい。 いったい何のスポーツをしていたのか？ 予測したい対象 なにをしていたのか？ 教師
56. 56 ユーザーが何していたか教えてくれた！ ランニング = 1 ウォーキング = 0 ランニングとウォーキング という結果を教えてもらった！ あとは各座標方向への加速度の違いから 分類境界（判別線）を見つけてやるだけ
57. 57 データと、予測したい数値(教師データ)に合う式を考えられる 教師ありデータ 予測したい数値(教師データ)がない 教師なしデータ 扱いが難しい
58. 58 教師なし “近い集団”を認識するアルゴリズム データの平均値に移動していく 教師あり “赤と青”を判別するアルゴリズム 判別のための直線・曲線を描いて超えているかを判断
59. 59 データ 判別 回帰 分類 教師あり 訓 練 ・ 学 習 推論・予測モデル (AI = 最適化された数式) 教師なし 教師あり 分類
60. 60 判別 回帰 0か1か (計算値を確率の値に変換) 数字を予測 (近似する線を見つけて予測)
61. 61 機械学習はデータに隠された 「規則性・関連関係(ルールやパターン)」を見つける 見つけたら判別する 判別できる = 認識している
62. 62 動き方 と 使われ方
63. 63 日本人の身長とBMIのデータ(仮) ただデータをplotした
64. 64 グループ を見つけるアルゴリズムを使うと 応用方法 ・顧客のグループ分け ・写真のシーン分け ・ニュースをカテゴリわけ ・優良ユーザーになるか ・遺伝子解析 ・顔認識
65. 65 仲間外れ を見つけるアルゴリズムを使うと 応用方法 ・不良品の検出 ・異常行動の検知 ・機械の高負荷検知 ・クレジットカード不正 ・スパムメール ・とびぬけて優秀な物
66. 66 連続値の規則性 を見つけるアルゴリズムを使うと 応用方法 ・値段の決定 予測 ・新規アプリ登録者数 ・広告費用と効果
67. 67 遺伝子A 遺伝子B 一例として。時間なければ飛ばす
68. 68 ◆教師あり学習 ・線形回帰(Generalized Linear Models) ・線形判別分析(Linear and Quadratic Discriminant Analysis) ・リッジ回帰(Kernel ridge regression) ・SVM(Support Vector Machines) ・最近傍・k近傍法(Nearest Neighbors) ・ガウス過程(Gaussian Processes) ・十字型分解(Cross decomposition) ・ナイーブベイズ(Naive Bayes) ・決定木(Decision Trees) ・アンサンブル学習(Ensemble methods) ・マルチクラス・マルチラベルアルゴリズム(Multiclass and multilabel algorithms) ・半教師あり学習(Semi-Supervised) ・アイソトニック回帰(Isotonic regression) ・ニューラルネットワークモデル(Neural network models (supervised)) ◆教師なし学習 ・混合ガウスモデル(Gaussian mixture models) ・多様体学習(Manifold learning) ・クラスタリング(Clustering) ・バイクラスタリング(Biclustering) ・主成分分析(Principal component analysis) ・共分散推定(Covariance estimation) ・異常検知(Novelty and Outlier Detection) ・密度推定(Density Estimation) ・ニューラルネットワークモデル(Neural network models (unsupervised) まだまだあります。 今この瞬間にも、出続けています。 時間があれば知ってるものについて雑談
69. 69 第3回 終
70. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 70 第4回 一番簡単な例で理解する機械学習 2019/10/29
71. 71 文字を機械がどう認識するのか？ (人間は見ただけで判断できている感じがするが・・・) ここを何回も行ったり来たりして「学習」する 今日はこの答えに近づけていく過程の話 前回の質問①
72. 72 網膜から視覚野の構造を模した ニューラルネットワーク(計算方法)を使うと、 画像中の検知対象の位置に関わらず 認識することができた。 生物の視覚情報や記憶も電気信号の塊。同じように認識しているのかも。 前回の質問② 文字を機械がどう認識するのか？ (人間は見ただけで判断できている感じがするが・・・)
73. 73 一番親しみ深い例(だと思っている) 「線形回帰」で機械学習の中身を見る
74. 74 データを表現する線を引いてください (x軸の数値からy軸を予測してください)
75. 75 EXCELならSLOPEとINTERCEPTを求める もしくはアドインで回帰分析 もしくは偏差積・共分散・相関係数から
76. 76 データを表す直線を表現するには 「最小二乗法」という考え方があります 全データに距離が最も近い直線を調べる (データとの誤差が小さい直線が表現できる) 最も適した値を求める方法を「最適化」 「最小二乗法」を使って最適値を求める「最急降下法」が頻出
77. 77 (x, y) = (1, 2) xが1のときyが2になる法則がありそう y’ = 2 * x f(x) = 2 * x
78. 78 y’= 2x (x, y) = (1, 2)
79. 79 x = 1 , y= 2 のデータがあり、 データのxからyを予測するモデル式は 「y’ = 2x」 が妥当ではないだろうか？ と仮定している (y – y’)2 = (y – ax)2 今回は勝手に a = 2 としているので、2を代入して展開すると (y2 – 4xy + 4x2) (x,y)=(1,2)を入れて誤差を確認してみると 4 – 8 + 4 = 0 誤差0の完全にデータを表現できている式であることが確認できた こんな理想的でない場合から、修正して理想に近づくパターンを確認
80. 80 本当はy = 2x にノイズを足しただけ step 1 勝手にy’ = 3x くらい と仮定 データは (1,2.5) (2,3) (3,6) (y – y’)2 = (y – ax)2 y2 – 2axy + a2x2 今回も仮定したa=3を代入して、 データも代入して、 合計を計算すると誤差は45となった 勝手に決めたa=3が悪かった。 誤差を減らすようなaを探索したい。
81. 81 y2 – 2axy + a2x2 という式について見ると、x,yには実データが入る。 例えば(1,2)なら 4 – 4a + a2 というaに関する関数に変換できる。 4 – 4a + a2を最も小さくするaを決めたい。 グラフを見たら a = 2のとき, 誤差が0になることが分かる。 このような底(変曲点)を探す方法には微分がある 4 – 4a + a2を微分し、 2a – 4 = 0 になるような a を求めたらいい。 a = 2 つまり傾きはa = 2 が最適である。 a 誤差 (y-y’)2
82. 82 微分すると何が嬉しいか？ 微分とは「傾き」を教えてくれるので、 本当は y = 2xで表したほうがいいのに、 「y = 5xだろうな」と仮定してしまったとき、 傾きが0ではないことで判断できる。 解である2よりも大きい時は 正の傾き 解である2よりも小さい時は 負の値 となるので、アルゴリズムが「学習」 するときの進む方向の目安になる。 傾きが正の値なので、aは大きすぎる a はもっと小さい値にして試行してみよう
83. 83 最急降下法 ①とりあえず えいやでaを決める ②この式を微分した値を 最小にしたい ③微分した値(傾き) が正の値なので、 aを小さくする ④微分した値(傾き)が負の値 なので小さくしすぎた。 aを大きくする ⑤完成
84. 84 こうして線形回帰が出来上がる
85. 85 第4回 終
86. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 86 第5回 いよいよディープラーニングへ 2019/10/29
87. 87 前回は「データと最も近くなるような線」を求める「線形回帰」をやりました 「最も近くなる」を計算で表す方法が「最小二乗法」で、 最小二乗法の式を微分した値が小さくなるに調整する方法が「最急降下法」でした 0,1 判別も式が変わるだけで原理は同じです もともとのデータを最も表現できるような値を探します
88. 88 線形回帰 y = ax + b 単純パーセプトロン ロジスティック(判別) 活性化関数(変形方法)と損失関数を変更するだけで、回帰も判別(分類)も解ける
89. 89 ここは忘れてディープラーニングの話をします
90. 90 neuron = 神経細胞 (生物) 神経細胞はネットワークを構成して 情報を伝達する neuron = 繋がりをもったパーセプトロン(認知科学) 生物にちなんでneural network にしよう
91. 91 層を重ねて 「深い」から「deep」 ちなみに 層を深くしたら表現力が上がる neuron = パーセプトロンが 網目のようになっている = ネットワーク だからneural net deepな構造で学習するから deep learning
92. 92 単純な分類器も 組み合わせれば 複雑な問題を解ける
93. 93 もっと単純に 「IFのカタマリ」でも 深く細かくしたら 同じように解ける
94. 94 なんでdeep learningが流行したの? ImageNet Large Scale Visual Recognition Competition 画像認識の巨大コンペティション ILSVRCで deep learningが高性能を発揮した
95. 95 なんでdeep learningが流行したの?
96. 96 家の値段を決めるプログラムをdeepにすると 元のデータから「新しい判断基準を介している」と解釈もできる。 これに重みをかけて間引いたり、影響度を高めたりしている。 なんでdeep learningが良く働くの? 重要度を判断できるポイントを 複数設けることが出来る。
97. 97 第5回 終
98. 機械学習・超入門 最近よく聞く？機械学習を 何となくの雰囲気から初歩原理まで知る 98 第6回 画像の認識へ 2019/10/29
99. 99 画像認識について
100. 100 例えばOCR Optical Character Recognition/Reader
101. 101 例えば自動運転・CAV Connected Autonomous Vehicle
102. 102 どうやって画像を認識してるの？ どれもヒトが見たら9
103. 103 ルールベースで考えると この範囲が黒なら 9 汎用性なさすぎ
104. 104 どうやって画像認識してるの？ どこのピクセルに黒があるのか？ 明るさは？ 数値に変換
105. 105 9 or not 9 9である。 と判別できるまで学習を繰り返す 丸み 縦棒 密度
106. 106 こうして学習させたものが、OCRに使われる 判別するために最適化された数式が 「データからの学習」によって出来上がるだけ
107. 107 どうやって人を認識してるの？
108. 108 人を数値に変換して 判断できるまで学習させているだけ
109. 109 組み合わせることで、 自動運転 ・ 車検切れの車検知 などが実現している https://www.youtube.com/watch?v=ppFyPUx9RIU
111. 111 第6回 終 お付き合いいただきありがとうございました
112. 112 予備スライド
113. 113 3・流行った背景 ・こんなスピードで増加する情報に対応しながら、 価格を決める数式を常に考え直さなければならない ・通信技術の発展で情報(データ)が手に入りやすい ・メモリ技術の発展で大量データを省スペース、安価に管理できる ・2025年には、2016年から約10倍のデータ量になる ・クラウドが便利、環境配慮(無紙化)で各社データを電子化し始めている
114. 114 自動的に考えてくれたらいいのに・・・ 3・流行った背景
115. 115 SF漫画の世界も近い?? 異常検知 判別分析 適正診断
116. 116 自動的に考えてくれたらいいのに・・・ ？？？「機械学習が便利だぞ」 3・流行った背景
117. 117 学習って言うからには・・・ ・データから自動で式を「学習(更新)」してくれて、 人間が考えていた数式も自動で作ってくれて、 新しい形式にデータが変わっても自動で学習(更新)する 3・流行った背景
119. 119 線形回帰 y = ax + b 重回帰 y = ax + bz + c 単純パーセプトロン ロジスティック回帰(判別)
120. 120 なんでdeep learningがうまく働くの? 重要度を判断できるポイントを 複数設けることが出来る。