Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜

TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜

sergeant-wizard

December 11, 2015
Tweet

Other Decks in Technology

Transcript

  1. 学習能力、汎化能力 - 真の分布は1次関数 + ノイズ - 3次関数: 学習能力低、汎化能力高 - 9次関数:

    学習能力高、汎化能力低 - ほとんどの場合、汎化能力が高くないと意味がない - ニューラルネットワークは、学習が進むにつれて 次数が上がっていくイメージ:過学習
  2. データセットの分け方 - Training Data Set : 学習に使う - Test Data

    Set : 汎化能力を見るのに使う - Validation Data Set : ハイパーパラメータのチューニングに使う
  3. ニューラルネットワークのハイパーパラメータ - 学習回数 - 学習係数 - 重み減衰係数 - モメンタム係数 -

    ネットワーク構造 - ...etc このグラフを見ながら、「ここで学習をやめました」はズル!
  4. データの分け方も色々 - プロ野球選手の年俸査定の記事では、 全データ94選手、うちTraining Data Setが89選手、Test Data Setが5選手 - ホールドアウト法

    : もっともナイーブな方法 このデータの分け方の任意性のモヤモヤを解消するために・・・ - 交差確認法 - 一つ抜き法 - ブートストラップ法 詳しくはこちらの記事にて
  5. まとめ - 学習能力と汎化能力は違うもので、 ニューラルネットワークではトレードオフになりやすい - 一般に機械学習ではTraining Data Set、Test Data Setで区別される

    - ニューラルネットワークではハイパーパラメータのチューニングのためにValidation Data Set が使われることがある - ハイパーパラメータのチューニングでTest Data Setを使うのは「ズル」 - データをどう分割するかも重要