ニューラルネット

長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会（第3回）

Transcript

1. χϡʔϥϧωοτ
   平成29年2⽉9⽇
   ⻑岡技術科学⼤学
   ⾃然⾔語処理研究室 ⼩川耀⼀朗
   

   View Slide

2. ⽬次
   • ਓ޻χϡʔϩϯ
   • χϡʔϥϧωοτ
   • χϡʔϥϧωοτͷछྨ
   • ύʔηϓτϩϯ
   • όοΫϓϩύήʔγϣϯ
   1 / 14
   

   View Slide

3. ⼈⼯ニューロンのモデル
   ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞
   内で処理を施したうえで、信号出⼒を他の神経細胞に送る
   ਓ޻χϡʔϩϯとは、このような働きを単純化して数学的に模擬し
   た計算素⼦のこと
   2
   ⼈⼯ニューロンの構成
   複数の⼊⼒信号を受け取り、
   適当な計算を施したうえで
   出⼒信号を出⼒する
   / 14
   

   View Slide

4. ⼈⼯ニューロンのモデル
   3
   "
   ~$ : ⼊⼒信号
   "
   ~$ : 重み
   : しきい値
   : 出⼒信号
   • ⼊⼒信号ごとにあらかじめ決められた定数$
   を掛け合わせる
   この定数$
   をॏΈと呼ぶ
   • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠஋
   と呼ばれる定数で減算する
   • その結果をとすると、 を఻ୡؔ਺()で処理し結果を、⼈⼯
   ニューロンの出⼒とする
   = - .
   .
   −
   .
   = ()
   / 14
   

   View Slide

5. ⼈⼯ニューロンのモデル
   伝達関数には様々な関数を⽤いることができる
   εςοϓؔ਺やγάϞΠυؔ਺などがよく⽤いられる
   4
   ステップ関数 シグモイド関数
   シグモイド関数： = "
   "1234
   / 14
   

   View Slide

6. ⼈⼯ニューロンの挙動
   5
   ⼈⼯ニューロンの例
   重み "
   = 5
   = 1
   しきい値 = 1.5
   "
   5
   
   0 0 -1.5 0
   0 1 -0.5 0
   1 0 -0.5 0
   1 1 0.5 1
   AND࿦ཧԋࢉࢠ
   / 14
   

   View Slide

7. ⼈⼯ニューロンの挙動
   6
   ⼈⼯ニューロンの例
   重み "
   = 5
   = 1
   しきい値 = .
   "
   5
   
   0 0 -0.5 0
   0 1 0.5 1
   1 0 0.5 1
   1 1 1.5 1
   OR࿦ཧԋࢉࢠ
   / 14
   

   View Slide

8. ⼈⼯ニューロンの挙動
   7
   ⼈⼯ニューロンの例
   ೖྗ͕1ͭ
   重み w = −
   しきい値 = −.
   
   0 0.5 1
   1 -0.5 0
   NOT࿦ཧԋࢉࢠ
   / 14
   ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能
   ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化
   → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし
   きい値を学習させれば良い
   

   View Slide

9. ニューラルネット
   • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ
   という
   • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が
   伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ
   Ϋと呼ぶ
   8
   フィードフォワード型ネットワーク
   / 14
   

   View Slide

10. ニューラルネットの種類
    フィードフォワード型ネットワークは様々な形式に拡張可能
    9
    2⼊⼒3階層フィードフォワード型ネットワーク
    このように、⼈⼯ニューロンを増やしたり、階層を増やした
    りすることでネットワークの規模を拡⼤することが可能
    / 14
    

    View Slide

11. ニューラルネットの種類
    他にも
    ⼤規模で多層からなる構造
    層間が全結合ではなく、特定の部分のみ接続される構造
    10
    ਂ૚ֶश
    また
    ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造
    ϦΧϨϯτωοτϫʔΫ
    / 14
    

    View Slide

12. パーセプトロン
    11
    ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦
    中間層の重みとしきい値は、ランダムに初期化した定数
    出⼒層の重みとしきい値は学習によって変更が可能
    / 14
    

    View Slide

13. パーセプトロンの学習
    12
    
    誤差 = 教師データ?
    − 出⼒
    パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計
    算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと
    しきい値を調節する
    しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す
    る学習ができない場合がある
    / 14
    

    View Slide

14. バックプロパゲーション
    パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった
    更に前段の重みをバックプロパゲーションを⽤いて学習する
    バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝
    える
    13
    1. ネットワーク出⼒に誤差Eが⽣じる
    2. 誤差Eを、中間層との結合の重みに
    応じて分配する
    3. それぞれの⼈⼯ニューロンにおいて、
    分配された誤差の値を使って重みを
    更新する
    3層のネットワークのみでなく、ΑΓଟ૚ͷ
    ニューラルネットの学習が可能となる / 14
    

    View Slide

15. まとめ
    • ⼈⼯ニューロン
    • ニューラルネット
    • ニューラルネットの種類
    • パーセプトロン
    • バックプロパゲーション
    14 / 14
    

    View Slide