Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
Search
sergeant-wizard
December 11, 2015
Technology
3
8.4k
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
sergeant-wizard
December 11, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
6
350
偏光画像処理ライブラリを作った話
elerac
1
180
実は強い 非ViTな画像認識モデル
tattaka
3
1.3k
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
750
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
230
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
JAWS DAYS 2025 アーキテクチャ道場 事前説明会 / JAWS DAYS 2025 briefing document
naospon
0
150
AIエージェント入門
minorun365
PRO
32
18k
Охота на косуль у древних
ashapiro
0
110
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.7k
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
170
OPENLOGI Company Profile
hr01
0
60k
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Making Projects Easy
brettharned
116
6k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Faster Mobile Websites
deanohume
306
31k
Writing Fast Ruby
sferik
628
61k
Building Adaptive Systems
keathley
40
2.4k
Documentation Writing (for coders)
carmenintech
67
4.6k
Gamification - CAS2011
davidbonilla
80
5.2k
Bash Introduction
62gerente
611
210k
Automating Front-end Workflow
addyosmani
1368
200k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Transcript
きちんと性能評価 〜にわかと言われないために〜 (株)アカツキ エンジニア 宮島 亮 @sergeant-wizard
はじめに - 基礎的な機械学習の内容です。勉強してる人ごめんなさい。 - にわかである私が犯したミスの話です。 - ブームに乗っかったつもりで変な解析が乱立するとTensorFlow()状態に! という自戒を込めた発表です 防御率等の成績から年俸を推定する回帰問題
自己紹介 - 宮島亮 @sergeant-wizard - ゲーム会社のエンジニア - Data Scienceにまつわる業務に携わるために機械学習まわりを勉強中 -
主にQiitaに出没中
今日お伝えしたいこと - TensorFlowの公式チュートリアル通りの流れで他の問題の解析をすると・・・ - ハイパーパラメータのチューニングで「ズル」してしまうかもしれないのでご注意を。 - チュートリアルではハイパーパラメータが既に与えられているが、実際の解析では チューニングが一番大変。
学習能力、汎化能力 - 真の分布は1次関数 + ノイズ - 3次関数: 学習能力低、汎化能力高 - 9次関数:
学習能力高、汎化能力低 - ほとんどの場合、汎化能力が高くないと意味がない - ニューラルネットワークは、学習が進むにつれて 次数が上がっていくイメージ:過学習
データセットの分け方 - Training Data Set : 学習に使う - Test Data
Set : 汎化能力を見るのに使う - Validation Data Set : ハイパーパラメータのチューニングに使う
ニューラルネットワークのハイパーパラメータ - 学習回数 - 学習係数 - 重み減衰係数 - モメンタム係数 -
ネットワーク構造 - ...etc このグラフを見ながら、「ここで学習をやめました」はズル!
データの分け方も色々 - プロ野球選手の年俸査定の記事では、 全データ94選手、うちTraining Data Setが89選手、Test Data Setが5選手 - ホールドアウト法
: もっともナイーブな方法 このデータの分け方の任意性のモヤモヤを解消するために・・・ - 交差確認法 - 一つ抜き法 - ブートストラップ法 詳しくはこちらの記事にて
まとめ - 学習能力と汎化能力は違うもので、 ニューラルネットワークではトレードオフになりやすい - 一般に機械学習ではTraining Data Set、Test Data Setで区別される
- ニューラルネットワークではハイパーパラメータのチューニングのためにValidation Data Set が使われることがある - ハイパーパラメータのチューニングでTest Data Setを使うのは「ズル」 - データをどう分割するかも重要
マサカリお待ちしております - Facebook : Ryo Miyajima - Twitter : @sergeant-wizard
- GitHub : sergeant-wizard - Qiita : sergeant-wizard
参考資料 - Hugo先生のNeural Networkの講義 - はじめてのパターン認識 - 問題の記事:プロ野球選手の年俸査定 - より深掘りしてる記事:
機械学習の性能評価