Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ニューラルネット

66cc992074ab4522374e429c11fef225?s=47 youichiro
February 09, 2017

 ニューラルネット

長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第3回)

66cc992074ab4522374e429c11fef225?s=128

youichiro

February 09, 2017
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. χϡʔϥϧωοτ 平成29年2⽉9⽇ ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗

  2. ⽬次 • ਓ޻χϡʔϩϯ • χϡʔϥϧωοτ • χϡʔϥϧωοτͷछྨ • ύʔηϓτϩϯ •

    όοΫϓϩύήʔγϣϯ 1 / 14
  3. ⼈⼯ニューロンのモデル ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞 内で処理を施したうえで、信号出⼒を他の神経細胞に送る ਓ޻χϡʔϩϯとは、このような働きを単純化して数学的に模擬し た計算素⼦のこと 2 ⼈⼯ニューロンの構成 複数の⼊⼒信号を受け取り、 適当な計算を施したうえで 出⼒信号を出⼒する

    / 14
  4. ⼈⼯ニューロンのモデル 3 " ~$ : ⼊⼒信号 " ~$ : 重み

    : しきい値 : 出⼒信号 • ⼊⼒信号ごとにあらかじめ決められた定数$ を掛け合わせる この定数$ をॏΈと呼ぶ • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠஋ と呼ばれる定数で減算する • その結果をとすると、 を఻ୡؔ਺()で処理し結果を、⼈⼯ ニューロンの出⼒とする = - . . − . = () / 14
  5. ⼈⼯ニューロンのモデル 伝達関数には様々な関数を⽤いることができる εςοϓؔ਺やγάϞΠυؔ਺などがよく⽤いられる 4 ステップ関数 シグモイド関数 シグモイド関数: = " "1234

    / 14
  6. ⼈⼯ニューロンの挙動 5 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値

    = 1.5 " 5 0 0 -1.5 0 0 1 -0.5 0 1 0 -0.5 0 1 1 0.5 1 AND࿦ཧԋࢉࢠ / 14
  7. ⼈⼯ニューロンの挙動 6 ⼈⼯ニューロンの例 重み " = 5 = 1 しきい値

    = . " 5 0 0 -0.5 0 0 1 0.5 1 1 0 0.5 1 1 1 1.5 1 OR࿦ཧԋࢉࢠ / 14
  8. ⼈⼯ニューロンの挙動 7 ⼈⼯ニューロンの例 ೖྗ͕1ͭ 重み w = − しきい値 =

    −. 0 0.5 1 1 -0.5 0 NOT࿦ཧԋࢉࢠ / 14 ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能 ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化 → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし きい値を学習させれば良い
  9. ニューラルネット • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ という • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が 伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ Ϋと呼ぶ 8 フィードフォワード型ネットワーク

    / 14
  10. ニューラルネットの種類 フィードフォワード型ネットワークは様々な形式に拡張可能 9 2⼊⼒3階層フィードフォワード型ネットワーク このように、⼈⼯ニューロンを増やしたり、階層を増やした りすることでネットワークの規模を拡⼤することが可能 / 14

  11. ニューラルネットの種類 他にも ⼤規模で多層からなる構造 層間が全結合ではなく、特定の部分のみ接続される構造 10 ਂ૚ֶश また ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造 ϦΧϨϯτωοτϫʔΫ /

    14
  12. パーセプトロン 11 ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦ 中間層の重みとしきい値は、ランダムに初期化した定数 出⼒層の重みとしきい値は学習によって変更が可能 / 14

  13. パーセプトロンの学習 12 誤差 = 教師データ? − 出⼒ パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計 算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと しきい値を調節する

    しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す る学習ができない場合がある / 14
  14. バックプロパゲーション パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった 更に前段の重みをバックプロパゲーションを⽤いて学習する バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝 える 13 1. ネットワーク出⼒に誤差Eが⽣じる 2. 誤差Eを、中間層との結合の重みに

    応じて分配する 3. それぞれの⼈⼯ニューロンにおいて、 分配された誤差の値を使って重みを 更新する 3層のネットワークのみでなく、ΑΓଟ૚ͷ ニューラルネットの学習が可能となる / 14
  15. まとめ • ⼈⼯ニューロン • ニューラルネット • ニューラルネットの種類 • パーセプトロン •

    バックプロパゲーション 14 / 14