Slide 14
Slide 14 text
11 建物の階数と部屋の広さ
Q. キヨさんは仕組みが分かった?
noul: 0.75
第11章|モデルの形を決めるハイパーパラメータ
ハイパーパラメータ
前作のたとえ
GPT-3の値
層の数
稟議書のハンコの段数
96
番地の桁(幅)
言葉の番地の数字の個数
12,288
ヘッド数
検査係の人数
96
文脈窓
机の広さ
2,048トークン
語彙数
活字棚の大きさ
約5万
学習の前に決める
形は学習を始める前に決め、途中では基本的に変えない。形が決まる
と、パラメータの数もほぼ決まる。GPT-3は1750億個
清
建てる前に、階数と部屋の広さを決めるわけか。あとから階
ハ
そう。だから設計の段階でさんざん悩むんだ
を足すのは大工事だ
※出典:Brown ほか(2020年)
キヨさん続編9_ハイパーパラメータ編
14