OpenAIのオープンウェイトLLM 「gpt-oss」解説

OpenAIのオープンウェイト言語モデル gpt-oss-120b/20b を俯瞰し全体像をまとめた技術解説スライド

発表者：河村和紀（かわむら かずき / Kazuki Kawamura）— ソニーグループ R&Dセンター / ソニーCSL 研究員。https://casp.jp/

Transcript

1. OpenAIのオープンウェイトLLM 「gpt-oss」解説 河村 和紀
2. gpt-oss • OpenAIのオープンウェイトモデル • Apache 2.0ライセンス ＋ gpt-oss 使用ポリシー • 大規模モデル「gpt-oss-120b」と小規模モデル「gpt-oss-20b」の2モデル • GPT-2/3系の自己回帰Transformerを土台に、MoEを採用 • MXFP4 でメモリ使用を大幅削減し、120bは80GB単GPU／20bは16GBで動作 2
3. 他オープンウェイトモデルとの比較 3
4. 実行要件 • 120bは 単一80GB GPU、20bは16GB で稼働可 • 量子化はMoE重みだけに適用（4.25bit） • 総パラの90%超がMoEなので、そこを落とす設計 4
5. 共通骨格 • RMSNorm を各ブロック入力側に置く Pre-LN 構成（GPT-2系継承） • 各層は RMSNorm → Self-Attn → MoEブロック の順 5 “On Layer Normalization in the Transformer Architecture” (Xiong et al., ICML 2020) Post-LN （オリジナルのTransformer） Pre-LN 深層化時の勾配安定性と 学習の頑健性を改善 “Root Mean Square Layer Normalization” (Zhang & Sennrich, 2019) RMSNorm ベクトルを平均を引かず RMSでスケーリングだけ 学習開始直後に出力層 近くの勾配が非常に大 （そのためのLN）
6. Attention • 局所注意 と 全結合注意 を交互に配置（GPT-3系継承） • ずっと全体を見るのは重いため、多くの場合は近傍を見て要所で全体を見る • Grouped Query Attention（GQA）を使用しメモリ節約 • デコード時のKVキャッシュ削減 6 “Generating Long Sequences with Sparse Transformers” (Child et al., arXiv 2019) “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints” ヘッドをグループに分け、 Key/Valueセットを共有
7. MoEブロック • 120bで128、20bは32のExpertsが含まれ、Top-4を選択 • MoEブロックは活性化関数は Gated SwiGLU を使用 7 Switch Transformers: Scaling to Trillion Parameter Models” (Fedus et al., arXiv 2021)
8. 事前学習 • 数兆トークンに及ぶテキストのみのデータセットで学習 • 特にSTEM（科学、技術、工学、数学）、コーディング、一般知識に重点 • ただし、データの詳細は不明 • モデルの安全性を向上させるため有害なコンテンツ（特に危険なバイオセ キュリティ知識に関するデータ）はフィルタリング • GPT-4oで用いられたCBRN（化学、生物、放射性物質、核）の事前学習フィルターを 再利用 • モデルの知識カットオフは2024年6月 • gpt-oss-120bのトレーニングには210万H100時間が必要で、gpt-oss-20b は約10分の1の時間で完了 8
9. 推論とツール使用のための事後学習 • o3モデルと同様の Chain-of-Thought Reinforcement Learning（CoT RL）を用いて事後学習 • アルゴリズムの具体（報酬モデルの構造や学習スキーム、探索手法など）は未公開 • 学習には Harmonyチャット形式 と呼ばれるカスタムチャット形式を使用 9 3段階の推論レベル をサポート 会話の区切り記号 ロール モデルが使える ツールの定義
10. モデルの性能（一般） 性能面は o3-mini以上o4-mini未満 といったところ 10
11. モデルの性能（コーディング/ツール使用） 一般評価と同様、o3-miniを上回りo4-miniに迫る性能 11
12. モデルの性能（多言語性能） 英語だけでなく、日本語を含む14言語でテスト 12 日本語の性能は概ね 平均的な水準
13. モデルの性能（安全性） • 危険・違法・差別に当たる要求は拒否し、指示の優先度は System/Developer/Userの順 • 幻覚と脱獄への対策として、可変推論とツール使用で事実性を補強し、プロ ンプト注入への耐性を向上 13 デフォルトで不適切なコンテ ンツの生成を強く拒否