Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
Search
sergeant-wizard
December 11, 2015
Technology
3
8.5k
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
sergeant-wizard
December 11, 2015
Tweet
Share
Other Decks in Technology
See All in Technology
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
310
Tech-Verse 2025 Global CTO Session
lycorptech_jp
PRO
0
1.1k
AIの最新技術&テーマをつまんで紹介&フリートークするシリーズ #1 量子機械学習の入門
tkhresk
0
140
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
140
WordPressから ヘッドレスCMSへ! Storyblokへの移行プロセス
nyata
0
320
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
210
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
150
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
2
670
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
240
OPENLOGI Company Profile
hr01
0
67k
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
140
PHP開発者のためのSOLID原則再入門 #phpcon / PHP Conference Japan 2025
shogogg
4
920
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Documentation Writing (for coders)
carmenintech
72
4.9k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Producing Creativity
orderedlist
PRO
346
40k
Site-Speed That Sticks
csswizardry
10
670
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
940
Transcript
きちんと性能評価 〜にわかと言われないために〜 (株)アカツキ エンジニア 宮島 亮 @sergeant-wizard
はじめに - 基礎的な機械学習の内容です。勉強してる人ごめんなさい。 - にわかである私が犯したミスの話です。 - ブームに乗っかったつもりで変な解析が乱立するとTensorFlow()状態に! という自戒を込めた発表です 防御率等の成績から年俸を推定する回帰問題
自己紹介 - 宮島亮 @sergeant-wizard - ゲーム会社のエンジニア - Data Scienceにまつわる業務に携わるために機械学習まわりを勉強中 -
主にQiitaに出没中
今日お伝えしたいこと - TensorFlowの公式チュートリアル通りの流れで他の問題の解析をすると・・・ - ハイパーパラメータのチューニングで「ズル」してしまうかもしれないのでご注意を。 - チュートリアルではハイパーパラメータが既に与えられているが、実際の解析では チューニングが一番大変。
学習能力、汎化能力 - 真の分布は1次関数 + ノイズ - 3次関数: 学習能力低、汎化能力高 - 9次関数:
学習能力高、汎化能力低 - ほとんどの場合、汎化能力が高くないと意味がない - ニューラルネットワークは、学習が進むにつれて 次数が上がっていくイメージ:過学習
データセットの分け方 - Training Data Set : 学習に使う - Test Data
Set : 汎化能力を見るのに使う - Validation Data Set : ハイパーパラメータのチューニングに使う
ニューラルネットワークのハイパーパラメータ - 学習回数 - 学習係数 - 重み減衰係数 - モメンタム係数 -
ネットワーク構造 - ...etc このグラフを見ながら、「ここで学習をやめました」はズル!
データの分け方も色々 - プロ野球選手の年俸査定の記事では、 全データ94選手、うちTraining Data Setが89選手、Test Data Setが5選手 - ホールドアウト法
: もっともナイーブな方法 このデータの分け方の任意性のモヤモヤを解消するために・・・ - 交差確認法 - 一つ抜き法 - ブートストラップ法 詳しくはこちらの記事にて
まとめ - 学習能力と汎化能力は違うもので、 ニューラルネットワークではトレードオフになりやすい - 一般に機械学習ではTraining Data Set、Test Data Setで区別される
- ニューラルネットワークではハイパーパラメータのチューニングのためにValidation Data Set が使われることがある - ハイパーパラメータのチューニングでTest Data Setを使うのは「ズル」 - データをどう分割するかも重要
マサカリお待ちしております - Facebook : Ryo Miyajima - Twitter : @sergeant-wizard
- GitHub : sergeant-wizard - Qiita : sergeant-wizard
参考資料 - Hugo先生のNeural Networkの講義 - はじめてのパターン認識 - 問題の記事:プロ野球選手の年俸査定 - より深掘りしてる記事:
機械学習の性能評価