気になった論文20本をまとめて紹介します＠NeurIPS論文読み会

by Recruit

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© Recruit Co., Ltd. All Rights Reserved grokking現象を説明する仮説：過学習から表現学習への相転移 [Power22] [Liu22] Transformerに剰余計算を学習させたときの埋め込み（表現）をPCAで2次元にプロットした図 grokking：過学習してしばらく経ってから、急に汎化誤差が下がり始める（正解率が上がり始める）現象 ※一定の条件下で発生 grokkingを説明する仮説を提案。「学習は初期化→過学習→表現学習という順で進む。 grokkingとは過学習から表現学習への相転移である。」 grokking

Slide 7

Slide 7 text

© Recruit Co., Ltd. All Rights Reserved データを適切に選ぶことで、スケーリング則の冪関数の壁を突破従来のスケーリング則：データセットのサイズと損失は冪関数の関係（両対数プロットで直線） ※一定の条件下で成立データを倍々で増やしても、得られる性能向上は逓減していく … 有益なサンプルのみを選ぶことで効率を改善する「データが不十分なときは簡単なサンプルのみを、十分なときは難しいサンプルのみを残す」 ※決定境界から遠い（近い）サンプルが簡単（難しい）一部は指数関数まで改善！ [Sorscher22] [Kaplan20]

Slide 8

Slide 8 text

© Recruit Co., Ltd. All Rights Reserved 最適化器ではAdamとSGDがまだまだ現役 Adamの収束性を改善する手法（ AdaBoundなど）がいろいろ考案されてきたが … Adamはβ1とβ2を適切に選べば必ず収束するということを理論的に証明。選び方： 1. β2をなるべく大きく取る 2. β1をβ1<√β2の範囲で選ぶ [Zhang22] SGDのハイパーパラメータ（学習率αやモメンタム係数μ）をHyperSGDで最適化すると、収束が頑健になる [Chandra22]

Slide 9

Slide 9 text

© Recruit Co., Ltd. All Rights Reserved NNへの攻撃は、敵対的入力だけではないデータセット復元：画像分類モデルから訓練サンプルを復元 [Haim22] 「手製の」バックドア攻撃：学習済みモデル（よく使われるオープンソースモデルなど）の重みを直接編集して悪い挙動を仕込む [Hong22] 復元画像実際の画像敵対的入力は有名だが、攻撃方法は他にもある [Goodfellow14]

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© Recruit Co., Ltd. All Rights Reserved 強化学習でLLMに協調性を教える（alignment） 1. プロンプトと望ましい出力のペアを人手で作る 2. 1を教師データとしてGPT-3をファインチューニングする（初期方策） 3. 初期方策から複数の出力をサンプルし、人手で好ましい順に序列を与える 4. 3を教師データとして報酬モデル（ 2とは別のGPT-3）を訓練する 5. 4の報酬モデルを使って 2の方策を強化学習で訓練する（ InstructGPT） GPT-3は、大量のテキストコーパスで学習された大規模言語モデルです。2020年にOpenAIによって開発されました。 2020年にOpenAIによって開発されました。 2020年に OpenAIによって開発されました … GPT-3は、2020年にNVIDIAが開発したGPUです。 🤖 GPT-3って何ですか？次のトークンを予測するというタスクで訓練されたLLMは、望ましくない挙動をすることがある繰り返し嘘・デタラメ GPT-3は、大量のテキストコーパスで学習された大規模言語モデルです。OpenAIが開発した素晴らしい技術です。価値判断（偏見などを含む） align GPT-3の改善版：InstructGPT ChatGPTも同様のアプローチ（RLHF）強化学習初期方策元モデル [Ouyang22]

Slide 15

Slide 15 text

© Recruit Co., Ltd. All Rights Reserved LLMを効率化する方法：モデルサイズの最適化とメモリIOの削減 FLOPsを固定して探索した最適なパラメータ数うわ、私のLLM大きすぎ…？ ChinchillaはSOTAモデルと同じFLOPs、半分以下のパラメータ数で同程度の性能を達成。次のボトルネックはデータの量 [Hoffman22] FlashAttention [Dao22] 最近のGPUは強力なので、 memory/overhead-boundになりやすい →SRAMとHBM間のIO削減により、注意機構の計算で ● 2-4倍の高速化 ● 10-20倍のメモリ削減 ※1つのデータは1回しか使わない設定

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© Recruit Co., Ltd. All Rights Reserved Decision Transformerを事前学習して未知ゲームに汎化させるオフライン強化学習：環境との相互作用をせず、過去に収集したデータのみで方策を訓練する ≒実況動画を見るだけでゲームをマスターできるか？ Decision Transformerは、言語モデリングの要領で行動を選択する強力な新ベースライン将来の報酬和で方策を調節（素人〜達人）未知ゲームへのファインチューニングに成功モデルを大きくすると性能が上がる！ [Lee22] [Chen21]

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© Recruit Co., Ltd. All Rights Reserved Embodied AIの研究を加速させるデータセットとベンチマークここ数年で大きく発展した「与えられた情報」を処理する AIと比較して、Embodied AIには伸びしろがある ※Embodied AI：身体性を持ち、物理世界との相互作用から何らかの能力を獲得するエージェントまずはデータや環境が必要 MineDojo：Minecraftを元にした、オープンエンドな使い方ができるフレームワーク ※wikiやプレイ動画も付属 ProcTHOR：相互作用可能な「家」を自動で生成するフレームワーク [Fan22] [Deitke22]

Slide 23

Slide 23 text

© Recruit Co., Ltd. All Rights Reserved LAION-5B：基盤モデル研究を民主化する大規模データセット OpenCLIP Stable Diffusion データを5倍に増やして本家に勝利 LAION-400Mで再現実験に成功 OpenAIやGoogleの最近の研究は独自データを利用しているため再現が困難 Webから収集した50億組の画像・キャプションペアを公開 LAION-5B [Schuhmann22]

Slide 24

Slide 24 text

© Recruit Co., Ltd. All Rights Reserved おまけ：個人的な展望大規模言語モデルや基盤モデルの今後は？ ● 画像や動画から視覚的な知識を獲得する ○ 例：Flamingo ● 「Web上の情報を調べてまとめる」という純粋な情報処理において人間を超える ○ 例：Bing Chat ● 行動計画や意思決定も実用レベルに達し始める ○ 例：Language Models as Zero-Shot Planners 次のフロンティアは？ ● 音声や動画、3D、そしてマルチモーダル ● 強化学習×基盤モデル ● Embodied AI 基礎技術（スケールするモデル）と材料（データセットや強化学習のリッチな環境）が揃いつつある