機械学習とパラメタ調整による学習

長岡技術科学大学 自然言語処理研究室 B3ゼミ発表1回目

Transcript

1. 2017/1/26 B3ゼミ 機械学習とパラメタ調整による学習 ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗 1
2. 機械学習とは • インターネット社会の発展に伴い、コンピュータで扱う ことのできるデータがインターネット上に⼤量に蓄積さ れるようになった • しかしこれらのデータはあまりにも⼤量すぎるため、⼈ 間が⼿作業でデータを閲覧しても、そのままでは役に⽴ つことが少ない • そこで、こうした⼤量のデータをコンピュータに学習さ せることで、単なる事実の羅列を役に⽴つ知識に変換を ⾏う • このような⽅法をػցֶशと呼ぶ 2
3. ⼈間の学習… • 学校に通って知識を⾝につけたり、物の考え⽅を教わっ たりする • 教えられた知識を元に、⾃ら考えることで⾃分⾃⾝を向 上させる Ø 知識の増加、問題解決能⼒の向上 学習とは 3
4. 機械の学習… • ಺෦ঢ়ଶͷมԽに着⽬し、何らかの過程によって状態を 変化させる挙動 Ø 機械学習とは ಺෦ঢ়ଶͷมԽΛੜͤ͡͞ΔΑ͏ͳڍಈ 学習とは 4
5. • Twitterの 前回ログインからのできごと 機能 ユーザーがTwitterにログインしたとき、重要なニュース やツイートを表⽰する機能に、機械学習技術を⽤いてい る。 • 天気予報への応⽤ 膨⼤なデータから、経験則に基づく処理の⾃動化を⾏う 機械学習は有効 機械学習の例 5
6. チェッカー（1950年代〜） • ⼈⼯知能の研究として、初期の頃から取り上げられてき た • プログラムに組み込んだ作戦を機械学習を利⽤して調整 することで、⾃律的に強くなる パラメタ調整 過去の⼈間同⼠の対戦結果などを参照して、ある局⾯ で指した着⼿がその後の展開において良い⼿だったか 悪い⼿だったかを評価し、評価が良くなるようにパラ メタを調整する 機械学習の歴史(第1次⼈⼯知能ブーム) 6
7. エキスパートシステム（1970年代〜） • 特定分野に特化した専⾨知識のデータベースを元に推論 を⾏い、その分野の専⾨家に近い判を下すことができる ⼈⼯知能システム。 • 例えば、病気に関する知識がほとんどない患者が⾃分の 病気を調べるためにエキスパートシステムを使う、と いった、専⾨知識を持たない⼈が専⾨家の助けを借りる 形での利⽤が考えられている。 • χϡʔϥϧωοτϫʔΫが注⽬される 機械学習の歴史(第2次⼈⼯知能ブーム) 7
8. ニュートラルネットワーク • ⽣物の神経組織の挙動をモデルとして情報処理を⾏う仕組み • ⽣物の神経回路と同じように、セルとセルの間の結合から構成され ている • セルは3つの層に分かれている • セルの間に結合の強さを⽰す結合荷重を与えたものをパーセプトロ ンと⾔われる 機械学習の歴史(第2次⼈⼯知能ブーム) 8 ⼊ ⼒ 出 ⼒ 刺激層 連想層 応答層
9. ディープラーニング（2000年代〜） • コンピューターの性能向上により、ニューラルネット ワークの階層を4層、5層と増やし、精度の⾼い機械学習 が実現可能になった • 2010年代からは、Ϗοάσʔλを扱うようになった 機械学習の歴史(第3次⼈⼯知能ブーム) 9
10. ざっくり3種類 • 教師あり学習 • 教師なし学習 • 強化学習 機械学習の種類 10
11. 問題と答えのセットから傾向を学習し、新しいデータがど こに分類されるか予測する ・分類問題 ・回帰問題 教師あり学習 11
12. 「出⼒すべきもの」があらかじめ決まっていない データの背後に存在する本質的な構造を抽出するために⽤ いられる ・クラスタリング 教師なし学習 12
13. • 遺伝的アルゴリズムが⽣物集団の進化をモデル化 • ⽣物が環境と相互作⽤し、⽣物の⾏動が環境に適合してい るとใुを得る。 • 報酬に従って内部状態を変更し、環境に適合しようとする Ø 何かがうまくいったらその⽅法をよく使うようにする ⽣物 環境 ⾏動 報酬 報酬が最⼤になるように 内部状態を変更 強化学習 13
14. 実際にパラメタ調整による機械学習をやってみよう インターネットを利⽤すると様々なデータを⼊⼿すること ができる Ø 気象庁のサイトから気象データを⼊⼿ Ø ⻑岡市の年ごとの⽇平均気温データから未来の気温を予 想しよう パラメタ調整による学習 14
15. ⻑岡の気象データ(気象庁>過去の気象データ検索) 15
16. • 統計的⼿法において、学習データセットとして数値が与 えられた時に、それらの数値を説明できるような数式を 決定することを、ճؼ෼ੳという • 回帰分析の代表的な例に、࠷খೋ৐๏がある • 最⼩⼆乗法を⽤いて⼀次式の係数を求めることで、デー タの関係を機械学習するプログラムを考える 最⼩⼆乗法による予測 16
17. ⽤意： • 最⼩⼆乗法による⼀次式の係数を決定するプログラム：lsm.c • データから必要な⾏のみを取り出すプログラム：selectline.c • データから指定した位置の数値を取り出すプログラム：cutfield.c • ⾏番号をデータファイルに付け加えるプログラム：addnumber.c • Webサイトからコピーした気象データ：rawdata.txt ⽇平均気温 最⼩⼆乗法による予測 17
18. 1、気象データから⽇平均気温だけを取り出す 2、X軸となる数値を付け加える 3、最⼩⼆乗法により回帰分析を⾏う 最⼩⼆乗法による予測 18
19. 1、気象データから⽇平均気温だけを取り出す ./selectline 2 < rawdata.txt | ./cutfield 5 > data.txt 2N⾏のみを抽出し、5列⽬のみを抽出。data.txtに保存 最⼩⼆乗法による予測 19
20. 2、X軸となる数値を付け加える ./addnumber 1976 < data.txt > lsmdata.txt 1976年から⾏番号を追加し、lsmdata.txtに保存 最⼩⼆乗法による予測 20
21. 3、最⼩⼆乗法により回帰分析を⾏う ./lsm < lsmdata.txt 最⼩⼆乗法による計算式の係数を決定するプログラム に気象データを挿⼊ = 12.206341 + 0.035819 最⼩⼆乗法による予測 21
22. 10.0 10.5 11.0 11.5 12.0 12.5 13.0 13.5 14.0 14.5 15.0 1975 1985 1995 2005 2015 
     図 ⻑岡の年ごとの⽇平均気温の推移 100年後には 約3.6度上昇する！？ = 12.206341 + 0.035819x 最⼩⼆乗法による予測 22
23. • 前年と⽐べて次の年の⽇平均気 温がどうなるかについて、規則 性を学習することを考える • 例えば、平均気温の低い年が続 いたら次の年は気温が上がる、 などの規則性を得る • 前年の気温と⽐べ、上昇してい るなら＋、下降しているならー の記号で表す 1年⽬ 15.4 翌年 15.9 翌々年 15.4 4年⽬ 15.0 上昇：＋ 下降：ー 下降：ー 変動傾向の学習 23
24. ⽤意： • 気温の変動を調べるプログラム：updown.c • updown.cを⽤いた年ごとの⽇平均気温データの⽐較結果：pm.txt 変動傾向の学習 24
25. • 過去3年間のデータ変動パターンを抽出する ⇨ 8パターン • 変動パターンが学習データセットに出現する頻度を数え 上げる 2೥લ 1೥લ ౰೥ ස౓ ＋ ＋ ＋ ＋ ＋ ー ＋ ー ＋ ＋ ー ー ー ＋ ＋ ー ＋ ー ー ー ＋ ー ー ー 変動傾向の学習 25
26. 前年までの変動パターンの結果から 当年の変動を予測するプログラム：ml1.c • 各パターンの出現頻度を数え上げる • 2年前、1年前のパターンから当年の変動を予測する 例： 2೥લ 1೥લ ౰೥ ස౓ ＋ ＋ ＋ 0 ＋ ＋ ー 6 2೥લ 1೥લ ౰೥ ස౓ ＋ ー ＋ 9 ＋ ー ー 4 ＋、＋の後は＋にならない ⇨ ＋、＋と来たらーと予測する ＋、ーの後は＋が多い ⇨ ＋、ーと来たら＋と予測する 26 変動傾向の学習
27. 7 +65 14032 965 8-7 + 7 +65 14032 965 8-7 + 27 変動傾向の学習
28. 7 +65 14032 965 8-7 + 7 +65 14032 965 8-7 + 2回連続で気温が低下/上昇し た後の予測のように、特徴的 な気温変化を⽰す場合の予測 は良好 ⇨ 気温データの特徴が学習され ている 上昇と下降を繰り返すような 場合は良い予測ができない ⇨ 気温データから注⽬するべき 特徴が⾒つけられなかった 28 変動傾向の学習
29. • はじめての機械学習 ⼩⾼ 知宏著 オーム社 • 気象庁 http://www.jma.go.jp/jma/index.html 29 参考⽂献