第67回 コンピュータビジョン勉強会＠関東（後編）Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

Transcript

1. PAPER REVIEW Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems 限られた計算資源でどのデータセットから学習するか 第 67 回 コンピュータビジョン勉強会＠関東 2026 / 8 / 29 @caprest
2. 紹介する論文 CVPR 2026 Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems AUTHORS VENUE TEAM Tolga Dimlioglu, Nadine Chang, Maying Shen, Rafid Mahmood, Jose M. Alvarez CVPR 2026, pp. 17798–17808 NVIDIA Autonomous Vehicles Applied Research（AVAR）を中心とし た研究 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 2
3. SECTION 01 問題設定
4. 自動運転ではデータは取りやすい。一方、学習に回せる量は限られる DATA POOL BOTTLENECK 走行データは大量に蓄積可能 学習は高コスト 走るだけで、データを取得できる。模倣学 全データを学習に回すわけにはいかない。 習のような設定ではラベル付も不要。 限られた計算資源を、どのデータに対して使うか？が問題となる MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 4
5. Scaling law：データ量と性能の関係は予測できる error(𝑛) ≈ 𝑐 + 𝑎𝑛−𝛼 Δ𝑈 (𝑛) ≈ 𝑎(1 − exp(− 𝑛𝜏 )) Mahmood et al. (2022) 目標性能に必要なデータ量を推定 “How Much More Data Do I Need?” 小規模な学習結果へ曲線を当て、目標精度へ到達するまでに必要な追加データ量を外挿する。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 5
6. AutoScale：最適なデータ構成比は、学習規模で変わる Kang et al. (2025) ／ AutoScale 小規模学習 大規模学習 少ないデータ量で性能が高くなる → domain を多めに配分する。 規模を増やしても改善が続く domain を 多めに配分する。 小規模で最適なデータ構成比が、大規模でも最適とは限らない AutoScale は domain importance を scale の関数として推定し、学習規模に応じてデータ構成比を変える。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 6
7. ナイーブな手法:各データにスコアを付けて上から取る方法 RARITY UNCERTAINTY 珍しいデータを優先 確信度の低いデータを優先 夜間・悪天候・稀な交通状況など、出現頻 予測 entropy などを使い、現モデルの確信 度の低い clip を高く評価する。 度が低い clip を高く評価する。 各 clip の score 𝑠(𝑥) を計 算 → score の降順に並べる → 上位 𝐵 clips を学習へ追 加 単純で使いやすい一方、似たようなものを選んでしまったり、学習に無用なノイ ズを拾いがち Dimlioglu et al., CVPR 2026, Related Work / Sec. 4.1. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 7
8. CoreSet：似たデータの重複を避け、feature 空間を覆う 𝐷∗ = arg min|𝐷| =𝐵 max𝑥∈𝐷pool min𝑧∈𝐷 𝑑(𝜑(𝑥), 𝜑(𝑧)) モデルの特徴量 𝜑(𝑥) へ埋 め込む → 選択済み集合から最も遠 い点を探す → farthest-first で多様な subset を作る 強み：coverage 限界：データの限界効用を考慮できて 似た clip の重複を減らし、データ分布を広 いない く代表する集合を選べる。 序盤の改善が小さくても、量を増やすと効 き始める domain を過小評価する。 Sener & Savarese (2018) ｜ Dimlioglu et al. (2026) MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 8
9. Chameleon：domain 間の関係から、学習データの混合比を決める 1 / EMBED 2 / COMPARE 3 / MIX Domain の独自性を 特徴空間へ埋め込む 各 domain のサンプルを特徴 空間に埋め込み、domain ど うしの類似関係を表す。 → 混合比を決める → 評価 各 domain が、他の domain とどれだけ情報を共有してい 評価に基づいて、各 domain から何割ずつ学習データを取 るかを決める。 るか／独自かを評価する。 domain 間の関係から、学習データの配分比率を決める Xie et al. (2025) ｜ Dimlioglu et al. (2026), Sec. 2 / Appendix Sec. 7.3 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 9
10. 問題設定：追加 budget 𝐵 をどこへ使うか ∗ 𝐷sel = arg max𝐷sel ⊂𝐷pool , |𝐷sel | =𝐵 𝑈 (𝜃(𝐷train ∪ 𝐷sel )) INPUT CONSTRAINT OBJECTIVE 既存学習集合 𝐷train と、巨大な 本学習に追加できるのは 𝐵 再学習後の複数評価指標からな 候補 pool 𝐷pool clips。GPU・時間に上限（実験 る utility 𝑈 を最大化 pool は評価可能） 難しさ：候補 subset ごとに再学習して比較することは不可能。MOSAIC は domain 別の少数 pilot から改善 曲線を近似する。 Dimlioglu et al., CVPR 2026, Eq. 1 / Sec. 3. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 10
11. SECTION 02 MOSAIC のアルゴリズム
12. ドメインによって、性能の伸び方は異なる バジェットごとにどのドメインのデータを中心にするかというのを最適化したい Dimlioglu et al., CVPR 2026, Fig. 3 / Sec. 4.4. arXiv（原論文図をトリミング） MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 12
13. データを地域別に分割する Domain-level Sample-level 主実験は地理情報で 4 都市に分割。 各ドメイン内の全 clip を、現モデルの Boston Pittsburgh Singapore Las Vegas EPDMS で順位付け。 追加時は低 EPDMS の難例から選ぶ。 Dimlioglu et al., CVPR 2026, Sec. 3.2.1 / Sec. 4.4. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 13
14. まず、domain ごとの「追加データの効き方」を実測する (𝑛) Δ𝑈𝑖 (𝑛) = 𝑈 (𝜃(𝐷train ∪ 𝐷𝑖 )) − 𝑈 (𝜃(𝐷train )) BASELINE ADD 𝐷train で学習 → 基準モデルの EPDMS を測る MEASURE domain 𝑖 から 𝑛 clips (𝑛) 𝐷𝑖 を追加してモデルを再学 習 → EPDMS の差分 再学習後 − baseline が Δ𝑈𝑖 (𝑛) domain 𝑖 だけから 𝑛 clips 追加 → 再学習 → EPDMS がどれだけ伸びるか 𝑛 を小さく変えながらこの実験を繰り返し、得られた (𝑛, Δ𝑈𝑖 (𝑛)) の点へ次ページの曲線を fit する。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 14
15. 少量の予備学習から、飽和の速さを推定する ̂𝑖 (𝑛) = 𝑎𝑖 (1 − 𝑒 Δ𝑈 𝑎𝑖 そのドメインから最終的に得られる最大改 − 𝜏𝑛 𝑖 ) 𝜏𝑖 効果がどの程度の速さで飽和するか 善量 「まだ伸びる 100 件」と「すでに飽和した 100 件」を区別する Dimlioglu et al., CVPR 2026, Eq. 4 / Appendix Sec. 9. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 15
16. 予算は 1 単位ずつ、最も伸びる先へ移す ̂𝑖 (𝑏𝑖 + 1) − Δ𝑈 ̂𝑖 (𝑏𝑖 ) 𝛿𝑖 (𝑏𝑖 ) = Δ𝑈 現在の各ドメインの選択数 𝑏𝑖 を確認 → 次の 1 件による限界改善量 𝛿𝑖 を比較 → 最大のドメインから、上位サ ンプルを追加 飽和すると限界改善量が下がり、配分先が自然に切り替わる Dimlioglu et al., CVPR 2026, Eq. 5 / Algorithm 1. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 16
17. Domain 間の組合せ効果は無視 𝑀 Δ𝑈mix (𝑛1 , …, 𝑛𝑀 ) ≈ ∑𝑖=1 Δ𝑈𝑖 (𝑛𝑖 ) 仮定 捨てるもの 各 domain の改善量を足し合わせる domain 間の相互作用 domain ごとに推定した scaling curve から、混合 相乗効果や干渉は表現できない。その代わり、組 データ全体の改善量を近似する。 合せ探索を現実的な計算量へ落とせる。 全 domain の組合せを試さず、domain 別の曲線だけで予算配分を決める Dimlioglu et al., CVPR 2026, Eq. 3–5 / Algorithm 1. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 17
18. Algorithm 1：pilot から最終 subset を作るまで 1 候補 pool を 𝑀 domains に分け、各 domain 内で全 clip の EPDMS を計算し、低スコア順に 並べる。 2 各 domain から小規模な 𝑛 を追加し、再学習して Δ𝑈𝑖 (𝑛) を観測する。 3 観測点に 𝑎𝑖 (1 − exp(−𝑛/𝜏𝑖 )) を fit し、domain 別の飽和曲線を得る。 4 全 𝑖 の 𝛿𝑖 (𝑏𝑖 ) を比較し、最大の domain から次の上位 sample を選ぶ。 5 ∑𝑖 𝑏𝑖 = 𝐵 まで反復し、𝐷sel を返す。 Dimlioglu et al., CVPR 2026, Algorithm 1, Eq. 3–5. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 18
19. SECTION 03 評価プロトコル
20. 評価に使う 2 つのデータセット Dataset 規模 MOSAIC での使い方 OpenScene nuPlan 由来の大規模な自動運転 32,539 clips 1,000 clips を初期学習、残り 31,539 データ。都市・道路環境の多様性 （各 10 秒） clips を selection pool として使用。 OpenScene から、NAVSIM 向け 4,601 clips（各 460 clips を初期学習、残り 4,141 clips に比較的難しい・非自明なシーン 10 秒） を selection pool として使用。 概要 が高い。 Navtrain を curation した subset。 Navtrain は独立したデータ源ではなく、OpenScene から難しいシーンを抽出した subset。 Dimlioglu et al. (2026), Sec. 4.1 / Appendix Sec. 7. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 20
21. Planner と学習条件 PLANNER / MODEL Hydra-MDP NAVSIM 2024 challenge winner ｜ trajectory vocabulary: 16,384 imitation trajectory loss ｜ pretrained VoVNetV2-99 backbone ｜ 学習条件 OPENSCENE 16 × A100 NAVTRAIN 3 seeds（小 budget）、2 seeds（2k / 4k / 8k） 8 × A100 ｜ lr 10−4 ｜ seeds = 0 / 2025 / 424242 distillation なし 60 epochs（≤800）、50（1,600）、45（2,400） ｜ lr 2 × 10−4 ｜ 40 epochs batch 20 / GPU rule-compliance distillation あり Dimlioglu et al., CVPR 2026, Sec. 4.1 / Appendix Sec. 7. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 21
22. 評価指標：性能とデータ効率を分けて見る 運転性能 NAVSIM v2 の総合運転性能指標。衝突・走行可能領域・逆 EPDMS Extended Predictive Driver Model Score 走・信号遵守などの重大違反ペナルティと、進行度・ ↑ 高いほど良い TTC・車線維持・快適性を統合する。 データ効率 Random selection が予算 𝐵 で達成した EPDMS に、対 𝐵 BRMR 象手法が何割のデータ量で到達できるかを表す。 BRMR = 𝐵𝑘 Budget Ratio to Match Random BRMR 0.2 = Random の 20% のデータ量で同等性能 ↓ 低いほど良い MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 22
23. SECTION 04 結果
24. MOSAIC は、比較した全予算で最良の EPDMS Dataset / budget Random ↑ OpenScene / 250 OpenScene / 1,000 OpenScene / 4,000 Navtrain / 100 Navtrain / 400 Navtrain / 1,600 72.84 75.84 80.38 84.66 86.69 88.62 Best baseline ↑ CoreSet 76.26 CoreSet 80.46 CoreSet 83.63 CoreSet 85.29 CoreSet 87.09 Chameleon 89.50 MOSAIC ↑ 77.38 81.68 84.25 86.29 88.21 90.18 全 6 条件で MOSAIC が首位。 論文表に基づき整理。｜Dimlioglu et al., CVPR 2026, Table 1. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 24
25. 元論文 Table 6：OpenScene full results（250–1,000） 250 clips Method 500 clips 1,000 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 72.84 ± 1.14 1.00 74.19 ± 1.05 1.00 75.84 ± 0.90 1.00 Uncertainty 70.78 ± 0.59 14.58 69.77 ± 0.48 10.68 71.12 ± 0.38 N/A CoreSet 76.26 ± 0.48 0.20 78.12 ± 0.87 0.26 80.46 ± 0.02 0.28 Chameleon 72.97 ± 1.72 0.86 75.98 ± 0.06 0.70 79.08 ± 0.74 0.44 MOSAIC 77.38 ± 1.58 0.15 79.38 ± 1.05 0.20 81.68 ± 0.52 0.19 低 budget ほど差が大きい：250 clips で Random 同等性能へ約 15% の budget 本文 Table 1 は 1,000 で Uncertainty BRMR = 8.00、Appendix Table 6 は N/A。ここでは full table の表記を採用。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 25
26. 元論文 Table 6：OpenScene full results（2,000–8,000） 2,000 clips Method 4,000 clips 8,000 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 78.39 ± 0.12 1.00 80.38 ± 0.55 1.00 82.32 ± 0.54 1.00 Uncertainty 69.94 ± 1.40 N/A 73.46 ± 0.19 N/A 75.63 ± 0.19 N/A CoreSet 81.37 ± 0.13 0.28 83.63 ± 0.36 0.25 84.49 ± 0.02 0.35 Chameleon 81.35 ± 0.39 0.44 82.92 ± 0.13 0.39 84.43 ± 0.01 0.40 MOSAIC 82.78 ± 0.41 0.19 84.25 ± 0.14 0.18 85.02 ± 0.18 0.20 MOSAIC は 8,000 clips でも最良。Uncertainty は全 budget で Random を下回り、「hard sample ＝ useful sample」ではないことを示す。 Dimlioglu et al., CVPR 2026, Appendix Table 6. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 26
27. 元論文 Table 7：Navtrain full results（100–400） 100 clips Method 200 clips 400 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 84.66 ± 0.60 1.00 85.45 ± 0.09 1.00 86.69 ± 0.20 1.00 Uncertainty 84.50 ± 0.48 1.47 84.84 ± 0.54 1.50 86.07 ± 0.75 2.00 CoreSet 85.29 ± 0.47 0.53 86.12 ± 0.31 0.60 87.09 ± 0.29 0.79 Chameleon 84.57 ± 0.18 1.07 86.04 ± 0.30 0.80 87.04 ± 0.60 0.82 MOSAIC 86.29 ± 0.43 0.30 87.04 ± 0.37 0.32 88.21 ± 0.03 0.38 100–400 clips では Random 同等性能を 30–38% の budget で達成 Dimlioglu et al., CVPR 2026, Appendix Table 7. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 27
28. 元論文 Table 7：Navtrain full results（800–2,400） 800 clips Method 1,600 clips 2,400 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 87.41 ± 0.37 1.00 88.62 ± 0.22 1.00 89.42 ± 0.03 1.00 Uncertainty 86.69 ± 0.34 1.69 87.75 ± 0.37 1.36 88.95 ± 0.15 1.00 CoreSet 88.48 ± 0.12 0.62 89.30 ± 0.19 0.58 89.75 ± 0.02 0.76 Chameleon 88.33 ± 0.23 0.64 89.50 ± 0.20 0.62 90.05 ± 0.08 0.64 MOSAIC 89.10 ± 0.12 0.33 90.18 ± 0.25 0.37 90.31 ± 0.03 0.43 pool 上限へ近づくと method 間の差は縮まる。それでも MOSAIC は全 6 budget で最高 EPDMS。 Dimlioglu et al., CVPR 2026, Appendix Table 7. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 28
29. MOSAIC は同じ性能に必要なデータ量を減らしうる 最大 82% 60–70% 追加データ削減 Navtrain での削減 Random と同等の性能へ、より少ない追加データで到達できる。 Dimlioglu et al., CVPR 2026, Abstract, Sec. 4.3–4.4, Fig. 5. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 29
30. VLM を使ったドメイン分割：caption からクラスタを作る Qwen2.5-VL で clip を説明し、TF-IDF 特徴から 6 クラスタを作成 1 2 Qwen2.5-VL-32B で各 clip を → unigram + bigram の TF-IDF、 上位 1,024 特徴 自然言語記述 3 → 6 clusters へ分け、同じ MOSAIC allocation Qwen を使って、古典手法でクラスタリング 6 clusters は天候・交通・道路環境に対応する。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 30
31. 6 つの caption cluster は、天候・交通・道路環境を捉える Cluster 1 2 3 4 5 6 補足 代表語 calm / day / street / trees / signs / yellow signals / crossing / crosswalks / pedestrians highway / vehicles / busy urban / palm trees building / area / large / paved / parking city street / major city / moderate precipitation / potential rain / overcast / cloudy all-mpnet-base-v2 の sentence embedding も試したが、著者曰く TF-IDF の方が coherent / interpretable だった。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 31
32. 元論文 Table 8：caption clusters（100–400） 100 clips Method 200 clips 400 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 84.66 ± 0.60 1.00 85.45 ± 0.09 1.00 86.69 ± 0.20 1.00 Uncertainty 84.50 ± 0.48 1.47 84.84 ± 0.54 1.50 86.07 ± 0.75 2.00 CoreSet 85.29 ± 0.47 0.53 86.12 ± 0.31 0.60 87.09 ± 0.29 0.79 Chameleon 84.35 ± 0.47 1.30 85.39 ± 0.02 2.88 84.95 ± 0.45 3.32 MOSAIC 85.85 ± 0.41 0.37 86.75 ± 0.17 0.40 88.11 ± 0.05 0.48 Chameleon は caption clusters で大きく崩れる一方、MOSAIC は全 budget で最良。cluster 定義への robustness が差になる。 Dimlioglu et al., CVPR 2026, Appendix Table 8. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 32
33. 元論文 Table 8：caption clusters（800–2,400） 800 clips Method 1,600 clips 2,400 clips EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ EPDMS ↑ BRMR ↓ Random 87.41 ± 0.37 1.00 88.62 ± 0.22 1.00 89.42 ± 0.03 1.00 Uncertainty 86.69 ± 0.34 1.69 87.75 ± 0.37 1.36 88.95 ± 0.15 1.00 CoreSet 88.48 ± 0.12 0.62 89.30 ± 0.19 0.58 89.75 ± 0.02 0.76 Chameleon 86.10 ± 0.55 2.68 86.99 ± 0.57 1.50 87.62 ± 0.28 1.00 MOSAIC 88.99 ± 0.09 0.37 89.98 ± 0.13 0.39 90.37 ± 0.20 0.48 1,600 / 2,400 で Random 同等性能に必要な追加データを 61% / 52% 削減 Dimlioglu et al., CVPR 2026, Appendix Table 8 / Sec. 4.4. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 33
34. 元論文 Table 5：指標の加法近似はどれくらい外れるか Navtrain clips 100 200 400 800 1,600 2,400 Actual EPDMS ↑ 86.3 87.1 88.2 89.1 90.2 90.3 Estimated EPDMS ↑ 86.2 87.6 89.3 90.6 91.1 91.3 domain 相互作用はそこまで強くなく、今回の近似で十分だった。 Dimlioglu et al., CVPR 2026, Appendix Table 5. arXiv MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 34
35. 安価な指標では、EPDMS の順位を再現できなかった EPDMS による順位付けには、bounding box などの詳細なアノテーションが必要。 PROXY 1 PROXY 2 PROXY 3 Imitation loss Gradient norm Output sensitivity 正解軌道に対する模倣学習損失 サンプルが学習更新へ与える大 入力変化に対するモデル出力の きさ 感度 |𝜏 | ≤ 0.3 EPDMS との順位相関は弱い Kendall 順位相関 ンプルの順位を十分には再現できなかった。 MOSAIC ─ Scaling-Aware Data Selection いずれの指標も、少ないアノテーションで計算できる一方、EPDMS が選ぶ重要サ | 第 67 回 コンピュータビジョン勉強会＠関東 35
36. Limitation：3 つの強い依存と仮定 🤔 domain 内では低 EPDMS の sample を優先するため、ranking signal EPDMS 依存 は 高コスト・annotation-heavy。安い proxy は順位相関が弱く、十 分な代替になっていない。 曲線形状の仮 各 domain の性能向上を単純な飽和指数関数で fit。 実際の scaling 定 うる。 curve がこの形から外れると、限界改善量の推定と allocation も崩れ 主実験は地理情報による 4 都市、別実験も caption 由来の 6 cluster。 domain design MOSAIC ─ Scaling-Aware Data Selection domain の数と境界は手法の外から与えられ、分割設計そのものが恣 意的にも見える。 | 第 67 回 コンピュータビジョン勉強会＠関東 36
37. 拡張の方向性：domain 間の相互作用まで学習する データの domain 間にある相互作用を考えるのは面白そう MOSAIC は各 domain の改善をほぼ独立に扱うが、実際には別 domain への転移や、組み合わせによる synergy / interference があり得る。 自動運転であり得る相関 先行例：Code → Math 右ハンドル地域で学んだ知識が、別の右ハンドル地域にも Hamidieh et al. (2026) は domain→benchmark と 転移するなど、交通規則・道路構造を介した相関は自然に domain×domain の synergy / interference を scaling law に 考えられる。 組み込む。 domain transfer matrix を推定し、予算配分と同時に最適化する MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 37
38. References ▪ Tolga Dimlioglu et al. “Scaling-Aware Data Selection for ▪ Rafid Mahmood et al. “How Much More Data Do I Need? End-to-End Autonomous Driving Systems.” CVPR 2026. arXiv:2604.08366 Estimating Requirements for Downstream Tasks.” CVPR 2022. arXiv:2207.01725 ▪ Feiyang Kang et al. “AutoScale: Scale-Aware Data Mixing ▪ Kimia Hamidieh et al. “Domain-Aware Scaling Laws for Pre-Training LLMs.” COLM 2025. arXiv:2407.20177 Uncover Data Synergy.” 2026. arXiv:2607.11052 ▪ Ozan Sener and Silvio Savarese. “Active Learning for Convolutional Neural Networks: A Core-Set Approach.” ICLR 2018. arXiv:1708.00489 ▪ Sang Michael Xie, Francesco Tonin, and Volkan Cevher. “Chameleon: A Flexible Data-Mixing Framework for Language Model Pretraining and Finetuning.” ICML 2025. OpenReview この版は「全部盛り」。発表時間に応じて full tables・submetrics・関連研究を appendix へ回してください。 MOSAIC ─ Scaling-Aware Data Selection | 第 67 回 コンピュータビジョン勉強会＠関東 38