キヨさん続編9_ハイパーパラメータ編

Transcript

1. キヨさん続編9_ハイパーパラメータ編 ｜ AIの学習の段取り キヨさん、 つまみを回す つまみを探す 段 AIが自分で回すつまみと、人が前もって決めておくつまみ。 昭和のSEキヨさんが、役員会と工場と夜間バッチにたとえて、その違いを確かめ ていく話 パーセプトロン 誤差逆伝播法 学習率 バッチサイズ temperature ※この物語はフィクションです。登場人物は架空です。技術の説明は、公開された論文や資料に基づきます。 「ハイパー オリンピックか？」 「ゲームの話じゃないよ」
2. 人 登場人物 4人と、ゲストのAI 清 ハ ミ 相 J 山田 清之（67） キヨさん 孫・ハルト（21） 助手 南 ミナミ（29） Webエンジニア AI「相棒」 鍛えられた側 Jev ゲスト 元メインフレームSE。 情報系の大学生。研究室 社内チャットボットの担 キヨさんのおしゃべり おなじみの判断型AI。今 JCLのパラメータなら目 でモデルを学習させて 当。設定画面の数字の決 LLM。自分がどう鍛えら 回もキヨさんの理解度を をつぶっても書ける は、学習率に泣かされて め方に悩んでいる れたかは、よく覚えてい 確率で判定する いる 「段取りを見せてみろ」 「また発散した……」 ない 「この数字、誰が決める の？」 「昔のことは、ちょっ と……」 noul: 0.04 ※キヨさん・ハルト・ミナミ・相棒は架空。Jevは実在のAIです キヨさん続編9_ハイパーパラメータ編 2
3. 序 ハイパーオリンピックか？ プロローグ｜月曜の夕方、キヨさんの書斎 ミナミさんのボットの設定画面 キヨさん、うちのボットの設定画面の数字、どう決めたらいいんでしょう 清 どれどれ。説明書に「ハイパーパラメータ」とあるな。ハイパーオリンピックか。ボ ハ じいちゃん、それゲームセンターの話。AIのほうは、人が前もって決めておく設定の 清 設定値か。JCLのパラメータなら、目をつぶっても書けるぞ ハ じゃあ、まず「ハイパーじゃないほう」のパラメータから。話は1958年の機械から J noul: 0.04 max_tokens: 1024 frequency_penalty: 0 ミナミさんの悩み 「初期値のまま」で動かしているが、社員から 「答えが毎回ちがう」と言われた noul: 0.04 ミ temperature: 0.7 top_p: 1.0 Q. キヨさんは仕組みが分かった？ タンを連打するやつだ こと 始まるよ ※ハイパーオリンピックは1983年のコナミのアーケードゲーム。会話は物語の例 キヨさん続編9_ハイパーパラメータ編 3
4. 1 つまみと、つまみの回し方 Q. キヨさんは仕組みが分かった？ noul: 0.12 第1章｜パラメータとハイパーパラメータ パラメータ ハイパーパラメータ AIの中のつまみ（重み） つまみの回し方の決まり 決める人 AI自身。学習の中で少しずつ直す 決める人 人間。学習を始める前に決めておく 数 数十億〜数千億、それ以上も 数 主なものは数個〜数十個 例 言葉の番地、Q・K・Vの変換、知識の引き出しの中身 例 学習率、バッチサイズ、層の数、temperature ひと言でいえば パラメータは「AIが学習で決める中身の数値」、ハイパーパラメータは「その学習のやり方と器の大きさを、人が決める数 値」 キヨさんのたとえ：工場の段取り 清 つまみを回す、そのまた手前のつまみか 製品の寸法を合わせるのは、機械の自動補正（パラメータ）。送り速度や回転数 を決めるのは、段取りをする職人（ハイパーパラメータ） ハ 「ハイパー」は「一段上の」くらいの意味だよ キヨさん続編9_ハイパーパラメータ編 4
5. 役員会の重みつき多数決 2 Q. キヨさんは仕組みが分かった？ noul: 0.20 第2章｜パーセプトロン：1958年生まれの人工ニューロン 議題「新工場の建設」の採決 しくみ 営業部長 賛成＝1 × 0.6 経理部長 反対＝0 × 0.3 入力に重みを掛けて足し、しきい値を超えたら1、超えなければ 0を出す。重みとしきい値がパラメータ 生まれ 工場長 合計 賛成＝1 × 0.5 1×0.6＋0×0.3＋1×0.5＝1.1 1958年、米国の心理学者フランク・ローゼンブラットが発表。 400個の光センサーで図形を見分ける機械も作られた 基準点（しきい値）1.0を超えた → 承認（出力1） 相 清 私の中にも、この掛け算と足し算が数えきれないほど 入っています 発言力の強い部長の一票は重い。会社と同じだ ※数値は説明用の例。今のAIは、しきい値の代わりに連続的に変わる関数（活性化関数）を使う キヨさん続編9_ハイパーパラメータ編 5
6. 3 片方だけ賛成の議題 noul: 0.27 第3章｜パーセプトロンの学び方と、その限界 学び方：間違えたら、重みを少しずらす 1 例題に答える 2 正解と比べる 3 外れていたら、正解に近づく向きに重みを少し動かす 「少し」がどれくらいかは人が決める。これが学習率。早くもハイ パーパラメータの登場 清 Q. キヨさんは仕組みが分かった？ 限界：一段では解けない問題がある 議題「どちらか一人だけが賛成なら承認」 経理 賛成 経理 反対 営業 賛成 否決 承認 営業 反対 承認 否決 一回の重みつき多数決では、どう重みを付けてもこの決め方は作れない 一回の多数決で無理なら、根回しの会議を一段はさめば その後 いい 1969年、ミンスキーとパパートが本『パーセプトロン』でこの限界を示 し、研究が下火になる一因になったと言われる。段を重ねれば解けるが、 その鍛え方が分からなかった ハ 正解。でも段を重ねたら、今度は直し方が分からなくなったんだ ※この決め方は、論理演算でいう「排他的論理和（XOR）」 キヨさん続編9_ハイパーパラメータ編 6
7. 4 どの工程が悪いのか Q. キヨさんは仕組みが分かった？ noul: 0.33 第4章｜段を重ねると、直す相手が見えなくなる 1段目 キヨさんのたとえ：不良品の原因探し 2段目 入力 出口 → → → 不正解！ 出荷検査で不良が見つかった。工程は何十もある。どこ の機械の調整が、どれくらい悪かったのか 清 全工程の機械を一斉にいじったら、かえって悪 ハ それを解いたのが誤差逆伝播法。1986年の論 くなる 文で一気に広まったんだ 実際のAIでは、この丸と線が何十億本もある。出口で外れたとき、どの線の重みをどれだけ 直せばいいのか キヨさん続編9_ハイパーパラメータ編 7
8. 5 クレームを上流へさかのぼる Q. キヨさんは仕組みが分かった？ noul: 0.42 第5章｜誤差逆伝播法：責任の割合を後ろから配る 材料（入力側） 前の段から回ってきた責任を、 さらに配る 加工（1段目） ← 後ろの責任×つながりの強さ で、自分の責任を出す 組立（2段目） ← 出荷検査（出口） 出口のずれに、どれだけ効いた かを出す しくみ 出口の誤差から出発し、一段ずつ逆向きに、各重みが誤差にどれだけ効いたか（勾 配）を計算する。勾配の正体は微分で、その重みを少し動かすと誤差がどれだけ変 わるかを表す。前の段の責任は、後ろの段の責任に、つながりの強さを掛けて求め る（連鎖律＝合成関数の微分の規則） ← 正解とのずれ（誤差）を測る 清 なぜなぜ分析を全工程で一斉に、しかも割合付き ハ しかも計算は機械が一瞬で。何十億本あってもね でやるわけか 歴史 1986年、ラメルハート、ヒントン、ウィリアムズがNatureの論文で示して広まっ た。考え方自体は1970年代からあった。ヒントンは2024年にノーベル物理学賞を 受けた ※出典：Rumelhart ほか「Learning representations by back-propagating errors」（Nature、1986年） キヨさん続編9_ハイパーパラメータ編 8
9. 6 霧の山を手探りで下る 第6章｜勾配降下法：一回の学習でやっていること 学習の1回分（大きなモデルでは数万〜数十万回くり返す） 1 順伝播：入力から出口まで計算して、答えを出す 2 誤差：正解とのずれを測る（損失と呼ぶ） 3 逆伝播：誤差逆伝播法で、各重みの責任（勾配＝誤差の微分）を出す 4 更新：責任の分だけ、重みを少し動かす 清 足元の傾きしか分からんのに、谷底まで行けるもんかね ハ いちばん深い谷じゃなくても、十分低い所まで行ければいいんだ Q. キヨさんは仕組みが分かった？ noul: 0.50 霧の山（標高＝誤差） 一歩の大きさ＝学習率 谷底（誤差が小さい） キヨさんのたとえ：霧の下山 先は見えない。分かるのは足元の傾き（微分）だけ。 だから下り坂の向きに一歩ずつ進む。一歩の大きさを 決めるのが学習率 キヨさん続編9_ハイパーパラメータ編 9
10. 7 歩幅を決めるのは人間 Q. キヨさんは仕組みが分かった？ noul: 0.57 第7章｜学習率：まず最初に悩む設定 大きすぎる 小さすぎる ちょうどいい 谷を飛び越えて行ったり来たり。ひどいと誤 差が跳ね上がって学習が壊れる（発散） なかなか下りない。計算代ばかりかかって日 が暮れる 速すぎず遅すぎず谷へ向かう。ちょうどいい 値は、試してみないと分からない ウォームアップと減衰 学習率の時間割（イメージ） 最初は小さく始めて少しずつ上げ、終盤はまた小さくしていく。GPT-3では最 大0.00006から、余弦の形で最大の10%まで下げた ↑ 暖機運転 清 暖機運転してから荒削り、最後に仕上げ削り。旋盤と同じだ ハ 先週、一桁まちがえて、三日分の計算が発散した…… 荒削り → 仕上げ削り ※GPT-3（175B）の値。出典：Brown ほか「Language Models are Few-Shot Learners」（2020年） キヨさん続編9_ハイパーパラメータ編 10
11. 8 何件ずつ締めるか Q. キヨさんは仕組みが分かった？ noul: 0.62 第8章｜バッチサイズとエポック数 バッチサイズ エポック数 何件の例をまとめて採点してから、重みを1回直すか 学習データを何周させるか ・大きい：直す向きが安定する。1回の計算は重い ・小さなモデルでは、同じデータを何十周もさせることがある ・小さい：向きがぶれるが、小回りが利く ・GPT-3：1回320万トークン（最初は3.2万から増やした） ・大きなLLMの事前学習では、大部分のデータを1周前後しか回さない ことが多い キヨさんのたとえ：締め処理 キヨさんのたとえ：教科書を何周するか 伝票を1枚ずつ直すか、1日分まとめて夜間バッチで締めるか 同じ問題集を何十周もすれば、問題の順番まで覚えてしまう 清 バッチ処理なら本業だ。夜間バッチで1日分の伝票をまとめて ハ 考え方は近いね。まとめて採点して、まとめて直す 締めたもんだ ※GPT-3（175B）の値。出典：Brown ほか（2020年） キヨさん続編9_ハイパーパラメータ編 11
12. 9 過去問の丸暗記を防ぐ Q. キヨさんは仕組みが分かった？ noul: 0.67 第9章｜過学習と、その防ぎ方 過学習：練習問題には満点なのに、初めて見る問題に弱くなること。昭和でいえば「過去問を丸暗記した新人」 検証データ 早期終了 重み減衰 ドロップアウト 学習に使わないデータで、とき どき腕前を測る 検証データの成績が下がり始め たら、学習を打ち切る 毎回、重みを少しずつ小さくし て、極端な癖をつけさせない。 GPT-3では0.1 練習のたびに、ランダムに一部 の部品を休ませる。大きなLLMで は使わないことも多い 昭和なら：抜き打ちの模擬試 験 昭和なら：伸びが止まったら 研修終了 昭和なら：自己流の癖を毎朝 ちょっと矯正 昭和なら：誰が休んでも回る 職場 清 誰が休んでも回る職場。昭和の会社に欲しかった キヨさん続編9_ハイパーパラメータ編 ミ うちの部署は、一人休むと止まります 12
13. 10 ベテラン運転手とブレーカー Q. キヨさんは仕組みが分かった？ noul: 0.71 第10章｜オプティマイザと勾配クリッピング オプティマイザ（Adam） 勾配クリッピング 重みの直し方の流儀。今の主流はAdamとその仲間（2014年発表） ・直前までの勢いを覚えておき、急ハンドルを切らない（慣性） 責任の値（勾配＝微分の値）が急に大きくなったら、上限の大きさまで 縮める ・重みごとに、歩幅を自動で調整する ・一回の暴れで、それまでの学習が台無しになるのを防ぐ ・β1・β2：過去の勾配の向きと大きさを、どれくらい昔まで覚えてお ・GPT-3では上限1.0 くか。GPT-3では0.9と0.95 キヨさんのたとえ：ブレーカー キヨさんのたとえ：ベテラン運転手 電流が急に流れたら落ちる。工場ごと燃えるよりはいい 道が少し曲がったくらいでは、ハンドルを急に切らない。ぬかるみで は、自然とアクセルを緩める 清 ブレーカーのない工場は、怖くて使えん ハ 大きなモデルの学習は何週間も続くから、途中で暴れると大 損なんだ ※Adam：Kingma, Ba（2014年）。GPT-3の値の出典：Brown ほか（2020年） キヨさん続編9_ハイパーパラメータ編 13
14. 11 建物の階数と部屋の広さ Q. キヨさんは仕組みが分かった？ noul: 0.75 第11章｜モデルの形を決めるハイパーパラメータ ハイパーパラメータ 前作のたとえ GPT-3の値 層の数 稟議書のハンコの段数 96 番地の桁（幅） 言葉の番地の数字の個数 12,288 ヘッド数 検査係の人数 96 文脈窓 机の広さ 2,048トークン 語彙数 活字棚の大きさ 約5万 学習の前に決める 形は学習を始める前に決め、途中では基本的に変えない。形が決まる と、パラメータの数もほぼ決まる。GPT-3は1750億個 清 建てる前に、階数と部屋の広さを決めるわけか。あとから階 ハ そう。だから設計の段階でさんざん悩むんだ を足すのは大工事だ ※出典：Brown ほか（2020年） キヨさん続編9_ハイパーパラメータ編 14
15. 12 試作ラインで条件出し Q. キヨさんは仕組みが分かった？ noul: 0.79 第12章｜ハイパーパラメータの決め方 グリッドサーチ ランダムサーチ ベイズ最適化など 碁盤の目のように、組み合わせを全部試す。 確実だが、数が爆発する くじ引きで値を選んで試す。意外と効率がい い これまでの結果から、次に試す値を見当をつ けて選ぶ 大きなLLMは一発勝負 本番の学習は何度もやり直せない。小さいモデルで条件を出し、規模を大きくし たときの値を見積もってから本番に入る Chinchilla（DeepMind、2022年） 清 試作ラインで条件を出して、量産ラインに移す。工 ハ 最先端のモデルだと、本番1回の計算代が何十億円に 場と同じだ もなるからね 計算量が決まっているなら、パラメータ1個あたり約20トークンで学ばせるのがよ い。700億パラメータを1.4兆トークンで学ばせ、4倍大きいGopherを上回った ※出典：Hoffmann ほか「Training Compute-Optimal Large Language Models」（2022年） キヨさん続編9_ハイパーパラメータ編 15
16. 13 使う人が回すつまみ Q. キヨさんは仕組みが分かった？ noul: 0.82 第13章｜答えるときの設定（ミナミさんの設定画面） 設定 何を決めるか キヨさんのたとえ temperature 選び方のばらつき（前作の温度） 社員食堂の冒険度 top_p 確率の高い順に足して、合計がpに届くまでの候補からだけ選ぶ 売れ筋だけの品ぞろえ top_k 確率の上位k個からだけ選ぶ ベスト10からだけ選ぶ max_tokens 答えの長さの上限 原稿用紙の枚数 frequency_penalty 同じ言葉のくり返しを減らす 同じ話をする部長を止める 学習とは関係ない 答えるときだけ効く設定。「生成パラメータ」「サンプリング設定」とも 呼ぶ。名前や範囲はサービスごとに違い、変えられないモデルもある ミ 社内規程の質問には温度を低め、キャッチコピー案には高め 清 用途で段取りを変える。それでいい にします ※top_pは、Holtzman ほか（2019年）が提案した方法がもと キヨさん続編9_ハイパーパラメータ編 16
17. 結 キヨさんの段取り表 Q. キヨさんは仕組みが分かった？ noul: 0.84 まとめ｜ハイパーパラメータの全体像 種類 主なハイパーパラメータ 決めるとき キヨさんのたとえ 歩き方 学習率、ウォームアップ、減衰 学習の前 歩幅、暖機運転、仕上げ削り 締め方 バッチサイズ、エポック数 学習の前 夜間バッチ、教科書を何周 癖止め 重み減衰、ドロップアウト、早期終了 学習の前・途中 過去問の丸暗記を防ぐ 安全 オプティマイザ、勾配クリッピング 学習の前 ベテラン運転手、ブレーカー 形 層の数、幅、ヘッド数、文脈窓 設計のとき 階数と部屋の広さ 使い方 temperature、top_p、max_tokens 答えるとき 社員食堂の冒険度 パラメータは、AIが誤差逆伝播法で自分で直す。ハイパーパラメータは、その直し方を人が前もって決める 清 つまみは機械が回す。回し方は人が決める。これで配線図と段取り表がそろった キヨさん続編9_ハイパーパラメータ編 17
18. 終 段取り八分 Q. キヨさんは仕組みが分かった？ noul: 0.86 エピローグ｜一週間後、キヨさんの書斎 清 分かった。パラメータは現場が自分で直す。ハイパーパラメータは、その段取りだ ハ 昭和の言い方にすると？ 清 段取り八分、仕事二分。段取りが悪けりゃ、名人でも仕上がらん ミ ボットの温度を0.2に下げたら、「答えが落ち着いた」と言われました 清 Jev、わしは仕組みが分かったか？ J noul: 0.86 ハ 残りの0.14は、自分で学習率を一回まちがえないと分からないところ キヨさんの覚え書き パラメータ AIが誤差逆伝播法で、責任の分だけ自分で直す ハイパーパラメータ 直し方と形を、人が前もって決める。答えると きの設定もある 決め方 小さく試して条件を出してから、本番に入る ※登場人物と会話は物語の例です キヨさん続編9_ハイパーパラメータ編 18
19. 完 つまみは機械に回させろ。回し方は人が決めろ。 段取り八分、仕事二分。 ―― キヨさん ラストカット：キヨさんの新作「学習率 上げて飛び越す 谷の底」。相棒「名句です！」。 キヨさん「温度を下げて、もう一回言ってみろ」。相棒「……凡作です」。 おしまい
20. 付 付録：学習の仕組みの言葉 キヨさんの用語集｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 パラメータ（重み） AIが学習の中で自分で直す数値 ラジオのつまみ ハイパーパラメータ つまみの直し方やモデルの形を、人が前もって決める設定 段取り パーセプトロン 入力に重みを掛けて足し、しきい値で0か1を出す仕組み（1958年） 重みつき多数決 しきい値 出力を切り替える基準点 承認の基準点 XOR（排他的論理和） どちらか一方だけが真のとき真になる決め方 片方だけ賛成の議題 誤差（損失） AIの答えと正解のずれ 不良の度合い 勾配 誤差を各重みで微分した値。重みを少し動かすと誤差がどれだけ変わるか 責任の割合 誤差逆伝播法 出口の誤差から逆向きに、各重みの勾配を求める方法 クレームを上流へ 連鎖律 合成関数の微分の規則。後ろの責任につながりの強さを掛けて前の責任を 出す 責任の掛け算リレー 勾配降下法 微分で求めた下り向きに、重みを少しずつ動かす方法 霧の下山 キヨさん続編9_ハイパーパラメータ編 20
21. 付 付録：ハイパーパラメータの言葉 キヨさんの用語集｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 学習率 重みを一回にどれだけ動かすか 歩幅 ウォームアップ・減衰 学習率を、最初は小さく上げ、終盤に下げていくこと 暖機運転と仕上げ削り バッチサイズ 何件まとめて採点してから重みを直すか 夜間バッチ エポック数 学習データを何周させるか 教科書を何周 過学習 練習問題に慣れすぎて、初めての問題に弱くなること 過去問の丸暗記 検証データ・早期終了 学習に使わないデータで測り、成績が落ちたら打ち切る 抜き打ちの模試 重み減衰 重みを少しずつ小さくして、極端な癖を防ぐ 癖の矯正 ドロップアウト 練習のたびに、ランダムに一部の部品を休ませる 誰が休んでも回る職場 オプティマイザ（Adam） 重みの直し方の流儀。勢いを覚え、歩幅を自動調整する ベテラン運転手 勾配クリッピング 勾配が大きくなりすぎたら、上限の大きさまで縮める ブレーカー top_p・top_k 答えるときに、候補を上位に絞ってから選ぶ設定 売れ筋だけの品ぞろえ キヨさん続編9_ハイパーパラメータ編 21