ニューラルネット

長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会（第3回）

Transcript

1. χϡʔϥϧωοτ 平成29年2⽉9⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗
2. ⽬次 • ਓ޻χϡʔϩϯ • χϡʔϥϧωοτ • χϡʔϥϧωοτͷछྨ • ύʔηϓτϩϯ • όοΫϓϩύήʔγϣϯ 1 / 14
3. ⼈⼯ニューロンのモデル ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞 内で処理を施したうえで、信号出⼒を他の神経細胞に送る ਓ޻χϡʔϩϯとは、このような働きを単純化して数学的に模擬し た計算素⼦のこと 2 ⼈⼯ニューロンの構成 複数の⼊⼒信号を受け取り、 適当な計算を施したうえで 出⼒信号を出⼒する / 14
4. ⼈⼯ニューロンのモデル 3 " ~$ : ⼊⼒信号 " ~$ : 重み : しきい値 : 出⼒信号 • ⼊⼒信号ごとにあらかじめ決められた定数$ を掛け合わせる この定数$ をॏΈと呼ぶ • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠஋ と呼ばれる定数で減算する • その結果をとすると、 を఻ୡؔ਺()で処理し結果を、⼈⼯ ニューロンの出⼒とする = - . . − . = () / 14
5. ⼈⼯ニューロンのモデル 伝達関数には様々な関数を⽤いることができる εςοϓؔ਺やγάϞΠυؔ਺などがよく⽤いられる 4 ステップ関数 シグモイド関数 シグモイド関数： = " "1234 / 14
6. ⼈⼯ニューロンの挙動 5 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値 = 1.5 " 5 0 0 -1.5 0 0 1 -0.5 0 1 0 -0.5 0 1 1 0.5 1 AND࿦ཧԋࢉࢠ / 14
7. ⼈⼯ニューロンの挙動 6 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値 = . " 5 0 0 -0.5 0 0 1 0.5 1 1 0 0.5 1 1 1 1.5 1 OR࿦ཧԋࢉࢠ / 14
8. ⼈⼯ニューロンの挙動 7 ⼈⼯ニューロンの例 ೖྗ͕1ͭ 重み w = − しきい値 = −. 0 0.5 1 1 -0.5 0 NOT࿦ཧԋࢉࢠ / 14 ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能 ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化 → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし きい値を学習させれば良い
9. ニューラルネット • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ という • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が 伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ Ϋと呼ぶ 8 フィードフォワード型ネットワーク / 14
10. ニューラルネットの種類 フィードフォワード型ネットワークは様々な形式に拡張可能 9 2⼊⼒3階層フィードフォワード型ネットワーク このように、⼈⼯ニューロンを増やしたり、階層を増やした りすることでネットワークの規模を拡⼤することが可能 / 14
11. ニューラルネットの種類 他にも ⼤規模で多層からなる構造 層間が全結合ではなく、特定の部分のみ接続される構造 10 ਂ૚ֶश また ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造 ϦΧϨϯτωοτϫʔΫ / 14
12. パーセプトロン 11 ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦ 中間層の重みとしきい値は、ランダムに初期化した定数 出⼒層の重みとしきい値は学習によって変更が可能 / 14
13. パーセプトロンの学習 12 誤差 = 教師データ? − 出⼒ パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計 算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと しきい値を調節する しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す る学習ができない場合がある / 14
14. バックプロパゲーション パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった 更に前段の重みをバックプロパゲーションを⽤いて学習する バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝 える 13 1. ネットワーク出⼒に誤差Eが⽣じる 2. 誤差Eを、中間層との結合の重みに 応じて分配する 3. それぞれの⼈⼯ニューロンにおいて、 分配された誤差の値を使って重みを 更新する 3層のネットワークのみでなく、ΑΓଟ૚ͷ ニューラルネットの学習が可能となる / 14
15. まとめ • ⼈⼯ニューロン • ニューラルネット • ニューラルネットの種類 • パーセプトロン • バックプロパゲーション 14 / 14