Share
Embed
Transcript
23 slides
-
表記 L : クロスエントロピーの損失 N:embedding以外のパラメータ数 B:バッチサイズ S:ステップ数 C:embedding以外の計算量=6NBS D:データセットのサイズ(tokenの数) αX:べき乗則にでてくる定数 Bcrit:最適なバッチサイズ。時間と計算効率によって決まる。 Cmin:ある損失値に到達するための最小のCの推定値。Bcritよりもはるかに小さいバッチサイ
ズで学習した場合に使用される計算量 Smin:ある損失値に到達するために必要な最小のSの推定値。Bcritよりも遥かに大きいバッチ サイズで学習した場合に使用されるステップ数 -
データセット WebText2を使っている。 newspaper3kでRedditの中でkarmaが3以上の投稿を収集した。 合計で20.3M個の文章、96GBのテキスト、1.62*10^10単語(wcにより定義?) OpenAIの作ったTokenizer”Language Models are Unsupervised Multitask Learners”で2.29*10^10トークンになった。
このうち6.6 * 10^8トークンをテストに使用して、Books Corpus、Common Crawl, 英語 版Wikipedia, 著作権フリーのネット上の本もテストに利用した。 -
理想的なバッチサイズ 理想的なバッチサイズは、ほとんど損失だけに依存するべき乗で求まり、引き続き gradient noise scaleを測定することで決定することができる。 gradient noise scale→”An empirical model
of large-batch training”で詳しく解説され ている?