Can Qwen Improve Itself on ARC

Transcript

1. Q W E N M E E T U P TO K Y O · 2 0 2 6 . 11 . 11 Can Qwen Improve Itself on ARC? 自己生成データで重みを更新すると、問題を解く力は上がるのか？ Qwen3.8-27B · ARC-AGI-2 · LoRA on Apple Silicon
2. Qwen 4 11月6日、公式アカウントが 「The becoming begins.」と投稿 表示回数は277.8万回 右の画像を取得した時点 次世代モデルへの期待と 公開時期をめぐる憶測が拡大 投稿自体はモデル名や公開日を明示していない。 Sources: Qwen 公式投稿 · 反響の報道 2
3. Qwenの自己改善 RSI Sources: Alibaba Cloud · Alibaba Group · The Frontier 3
4. AIの自己改善ループ 自分の経験を使って学習し、更新後のモデルで再び挑戦する 1. 問題を解く モデルが候補回答を生成 2. 結果を検証 → 正しい回答を選ぶ 3. 重みを更新 → 得られた経験で学習 4. 再び挑戦 → 更新後のモデルを評価 研究によっては、この一連の流れを繰り返す。 今回試したのは、検証済み回答を使った1回のLoRA更新と、更新前後の比較。 重み更新を伴う自己改善の概略。Alibabaが発表した33サイクルの詳細を示すものではない。 · STaR · SOAR 4
5. 今回解いてみたい実験 5
6. ARC-AGI-2：例から規則を見つける 例を見て、未知の入力を変換する SYNTHETIC
   EXAMPLE ⼊⼒ 出⼒ 1,000 公開Training 120 公開Evaluation 入力・出力の数例から、別の入力に対する正確な出 力グリッドを予測。 2025年ARC Prize優勝はPrivate Evalで24.03%。この スコアと今回のTraining問題での結果は直接比較でき ない。 上は説明用の合成例。色付きのマス目に潜む規則を 推測する。 Sources: ARC-AGI-2 design · ARC Prize 2025 Results 6
7. 実際のARC-AGI-2を見てみよう TRAIN
   EXAMPLE
   1 IN OUT TRAIN
   EXAMPLE
   2 IN OUT 公開Trainingタスクから抜粋 TEST
   ·
   OUTPUT
   HIDDEN IN ? 予測する 左の例からルールを考え、右のテスト入力をどう変換するか？ 公開Training問題84db8fc4の4例中2例を抜粋。テストの正解出力は表示していない。 Source: ARC-AGI-2 · training/84db8fc4.json (train input/output and test input only) 7
8. 今回の方法：生成・検証・LoRA・比較 1
   問題 ARC
   Training 2
   回答・検証 正解した回答を選ぶ 3
   LoRA学習 14タスクで1回更新 4
   ⽐較 Adapter
   OFF
   /
   ON 学習：現⾏4-bit由来
   2タスク
   ＋
   過去FP8由来
   12タスク 20
   steps
   /
   992個のLoRA
   tensorが変化 （能⼒向上の証拠ではない） 8
9. Qwen 3.8単体でどのくらい解けたか？ 公開Training問題
   25d8a9c8 例
   1：⼊⼒ 例
   2：⼊⼒ 例
   3：⼊⼒ 例
   4：⼊⼒ テスト⼊⼒ 出⼒ 出⼒ 出⼒ 出⼒ 第1候補：不正解 200問の結果：25
   /
   200
   正解あり ｜ 175
   /
   200
   正解なし Qwen3.8-27B
   FP8
   /
   A100｜各2候補のいずれかが正解｜第1候補の誤答例・テスト正解は⾮表⽰ 正解なしに形式不正を含む｜出⼒回復あり｜探索的結果・公式評価ではない 9
10. 正解数：更新前と更新後の比較 100% 80% 60% 40% 20% 0% 75.14% 2
    /
    50 4% 5
    /
    50 10% OFF ON 50問（検討済み） 4
    /
    25 16% 4
    /
    25 16% 21.56% OFF別の25問 ON 平均 32.22% 33.47% 銅 銀 Kaggle
    ARC
    Prize
    2026 ⾦ Kaggle：2026年公開順位表の平均・暫定メダル圏（同点あり、最終Private順位は未公開） 評価問題・システムが異なるため直接⽐較不可。今回の結果は各タスク2候補・探索的評価。 10
11. 出力形式：読み取り可能な候補の割合 100% 75% 50% 25% 0% 67
    /
    100 67% 95
    /
    100 95% Adapter
    OFF Adapter
    ON 50問
    /
    100候補 39
    /
    50 78% 50
    /
    50 100% Adapter
    OFF Adapter
    ON 別の25問
    /
    50候補 候補単位の形式有効率。正解率ではなく、出⼒回復を含む。 2セットは別問題・探索的⽐較。⽣成された候補には重複あり。 11