Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ニューラルネット

youichiro
February 09, 2017

 ニューラルネット

長岡技術科学大学
自然言語処理研究室
B3ゼミ勉強会(第3回)

youichiro

February 09, 2017
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. χϡʔϥϧωοτ
    平成29年2⽉9⽇
    ⻑岡技術科学⼤学
    ⾃然⾔語処理研究室 ⼩川耀⼀朗

    View Slide

  2. ⽬次
    • ਓ޻χϡʔϩϯ
    • χϡʔϥϧωοτ
    • χϡʔϥϧωοτͷछྨ
    • ύʔηϓτϩϯ
    • όοΫϓϩύήʔγϣϯ
    1 / 14

    View Slide

  3. ⼈⼯ニューロンのモデル
    ⽣物の神経細胞は、他の複数の神経細胞から信号を受け取り、細胞
    内で処理を施したうえで、信号出⼒を他の神経細胞に送る
    ਓ޻χϡʔϩϯとは、このような働きを単純化して数学的に模擬し
    た計算素⼦のこと
    2
    ⼈⼯ニューロンの構成
    複数の⼊⼒信号を受け取り、
    適当な計算を施したうえで
    出⼒信号を出⼒する
    / 14

    View Slide

  4. ⼈⼯ニューロンのモデル
    3
    "
    ~$ : ⼊⼒信号
    "
    ~$ : 重み
    : しきい値
    : 出⼒信号
    • ⼊⼒信号ごとにあらかじめ決められた定数$
    を掛け合わせる
    この定数$
    をॏΈと呼ぶ
    • ⼊⼒信号は重みを掛け合わせたうえで⾜し合わせ、更に͖͍͠஋
    と呼ばれる定数で減算する
    • その結果をとすると、 を఻ୡؔ਺()で処理し結果を、⼈⼯
    ニューロンの出⼒とする
    = - .
    .

    .
    = ()
    / 14

    View Slide

  5. ⼈⼯ニューロンのモデル
    伝達関数には様々な関数を⽤いることができる
    εςοϓؔ਺やγάϞΠυؔ਺などがよく⽤いられる
    4
    ステップ関数 シグモイド関数
    シグモイド関数: = "
    "1234
    / 14

    View Slide

  6. ⼈⼯ニューロンの挙動
    5
    ⼈⼯ニューロンの例
    重み "
    = 5
    = 1
    しきい値 = 1.5
    "
    5

    0 0 -1.5 0
    0 1 -0.5 0
    1 0 -0.5 0
    1 1 0.5 1
    AND࿦ཧԋࢉࢠ
    / 14

    View Slide

  7. ⼈⼯ニューロンの挙動
    6
    ⼈⼯ニューロンの例
    重み "
    = 5
    = 1
    しきい値 = .
    "
    5

    0 0 -0.5 0
    0 1 0.5 1
    1 0 0.5 1
    1 1 1.5 1
    OR࿦ཧԋࢉࢠ
    / 14

    View Slide

  8. ⼈⼯ニューロンの挙動
    7
    ⼈⼯ニューロンの例
    ೖྗ͕1ͭ
    重み w = −
    しきい値 = −.

    0 0.5 1
    1 -0.5 0
    NOT࿦ཧԋࢉࢠ
    / 14
    ⼈⼯ニューロンの組み合わせることで任意の論理回路が構成可能
    ⼈⼯ニューロンの挙動は、重みとしきい値を変更することで変化
    → ⼈⼯ニューロンにある挙動をさせたいなら、その挙動に適した重みとし
    きい値を学習させれば良い

    View Slide

  9. ニューラルネット
    • 複数の⼈⼯ニューロンを組み合わせたものを、χϡʔϥϧωοτ
    という
    • ⼈⼯ニューロンを層状に並べ、⼊⼒から出⼒に向けて順に信号が
    伝搬していくネットワークを、ϑΟʔυϑΥϫʔυܕωοτϫʔ
    Ϋと呼ぶ
    8
    フィードフォワード型ネットワーク
    / 14

    View Slide

  10. ニューラルネットの種類
    フィードフォワード型ネットワークは様々な形式に拡張可能
    9
    2⼊⼒3階層フィードフォワード型ネットワーク
    このように、⼈⼯ニューロンを増やしたり、階層を増やした
    りすることでネットワークの規模を拡⼤することが可能
    / 14

    View Slide

  11. ニューラルネットの種類
    他にも
    ⼤規模で多層からなる構造
    層間が全結合ではなく、特定の部分のみ接続される構造
    10
    ਂ૚ֶश
    また
    ある⼈⼯ニューロンの出⼒を前段の⼈⼯ニューロンの⼊⼒に加える構造
    ϦΧϨϯτωοτϫʔΫ
    / 14

    View Slide

  12. パーセプトロン
    11
    ⼊⼒層は、⼊⼒信号を中間層に伝えるだけの固定化した素⼦
    中間層の重みとしきい値は、ランダムに初期化した定数
    出⼒層の重みとしきい値は学習によって変更が可能
    / 14

    View Slide

  13. パーセプトロンの学習
    12

    誤差 = 教師データ?
    − 出⼒
    パーセプトロンの学習では、学習データをニューラルネットに与えて出⼒を計
    算するし、出⼒と教師データを⽐較し、2つの誤差が⼩さくなるように重みと
    しきい値を調節する
    しかし、中間層の固定化された重みとしきい値によっては学習データを満⾜す
    る学習ができない場合がある
    / 14

    View Slide

  14. バックプロパゲーション
    パーセプトロンは出⼒層の重みとしきい値のみを学習する⽅法だった
    更に前段の重みをバックプロパゲーションを⽤いて学習する
    バックプロパゲーションでは、出⼒と教師データの誤差を逆向きに伝
    える
    13
    1. ネットワーク出⼒に誤差Eが⽣じる
    2. 誤差Eを、中間層との結合の重みに
    応じて分配する
    3. それぞれの⼈⼯ニューロンにおいて、
    分配された誤差の値を使って重みを
    更新する
    3層のネットワークのみでなく、ΑΓଟ૚ͷ
    ニューラルネットの学習が可能となる / 14

    View Slide

  15. まとめ
    • ⼈⼯ニューロン
    • ニューラルネット
    • ニューラルネットの種類
    • パーセプトロン
    • バックプロパゲーション
    14 / 14

    View Slide