データ駆動型アルゴリズム設計

2026/3/19 人工知能学会 第136回人工知能基本問題研究会(SIG-FPAI)

Transcript

1. データ駆動型アルゴリズム設計 学習を内包するアルゴリズムの汎化誤差解析 坂上 晋作 SIG-FPAI @ 京都⼤学 ⼤城泰平⽒（北海道⼤学・RIKEN AIP） 岩⽥具治⽒（NTT）との共同研究に基づく サイバーエージェント・NII・RIKEN AIP 本⽇のスライド︓speakerdeck.com/ssakaue の⼀番上
2. 2 ⾃⼰紹介 研究の興味 最適化（離散・連続） 学習理論（リグレット・汎化誤差解析） データ構造（BDD・ZDD） … 2025/4 2025/7 2024/8 2020/4 2018/10 2016/4 修⼠ @ 東⼤ （武⽥先⽣） 社会⼈博⼠ ＠ 京⼤ （湊先⽣） CyberAgent AI Lab NII (JST BOOST) 出向︓特任助教 ＠ 東⼤（岩⽥先⽣） RIKEN AIP 客員 RIKEN AIP 客員 NTT CS 研 略歴 コミュニティ NeurIPS ICML COLT AISTATS IBIS OR学会 …
3. 3 Data-Driven Algorithm Design STOC 2020 Workshop NeurIPS 2025 Tutorial “アルゴリズム ∩ 機械学習” で近年活発な分野の⼀つ
4. 4 Data-Driven Algorithm Design 4 おすすめ⼊⾨資料︓ Balcan. Data-Driven Algorithm Design. In Beyond the Worst-Case Analysis of Algorithms. Cambridge University Press, 2021.
5. 5 Data-Driven Algorithm Design 古典的なアルゴリズムの設計はしばしば悲観的（最悪ケース解析） ⼿元のデータに合わせて調整すれば経験的に性能上がるのでは 🤔 しかし理論保証は破綻… 😭
6. 6 Data-Driven Algorithm Design 古典的なアルゴリズムの設計はしばしば悲観的（最悪ケース解析） ⼿元のデータに合わせて調整すれば経験的に性能上がるのでは 🤔 しかし理論保証は破綻… 😭 アルゴリズムの汎化誤差解析に基づく理論保証は可能︕ だが課題も多い
7. 7 本⽇の内容 7 扱わない内容 汎化誤差解析の基本的アプローチ パラメータの最適化 関連⽂献︓ • Balcan et al. Accelerating ERM for data-driven algorithm design using output-sensitive techniques, NeurIPS 2024. • Chatziafratis et al. Accelerating data-driven algorithm selection for combinatorial partitioning problems, NeurIPS 2025. 扱う内容 応⽤例（発表者の研究を中⼼に） • ヒューリスティック探索 • 低ランク近似 • 線形計画法
8. 汎化誤差解析の基本的アプローチ
9. 9 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 合計の重さ 10 以下で合計価値を最⼤化したい ≤ 10
10. 10 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤 1 1/4 1/2 4/9 ≤ 10 𝑣/𝑤 が⼤きい順に⾒て，取れるなら取る
11. 11 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤 1 1/4 1/2 4/9 ≤ 10 𝑣/𝑤 が⼤きい順に⾒て，取れるなら取る
12. 12 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤 1 1/4 1/2 4/9 ≤ 10 𝑣/𝑤 が⼤きい順に⾒て，取れるなら取る
13. 13 例︓ナップサック問題に対する貪欲法 合計価値 4 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤 1 1/4 1/2 4/9 ≤ 10 𝑣/𝑤 が⼤きい順に⾒て，取れるなら取る
14. 14 例︓ナップサック問題に対する貪欲法 合計価値 4 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤 1 1/4 1/2 4/9 ≤ 10 𝑣/𝑤 が⼤きい順に⾒て，取れるなら取る 最適値は 5 最悪でも 1/2 近似（最後に価値最⼤要素と⽐較）
15. 15 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤!/# 1 1/2 1 4/3 ≤ 10 𝑣/𝑤!/# が⼤きい順に⾒て，取れるなら取る
16. 16 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤!/# 1 1/2 1 4/3 ≤ 10 𝑣/𝑤!/# が⼤きい順に⾒て，取れるなら取る
17. 17 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤!/# 1 1/2 1 4/3 合計価値 5 ≤ 10 𝑣/𝑤!/# が⼤きい順に⾒て，取れるなら取る
18. 18 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 𝑣/𝑤!/# 1 1/2 1 4/3 合計価値 5 最適値は 5 ≤ 10 通常の貪欲法より良い解が出⼒される 𝑣/𝑤!/# が⼤きい順に⾒て，取れるなら取る
19. 19 例︓ナップサック問題に対する貪欲法 アイテム 価値 𝑣 重さ 𝑤 a b c d 1 1 2 4 1 4 4 9 ≤ 10 𝑣/𝑤$ 1 1/4$ 2/4$ 4/9$ ⼀般に 𝑣/𝑤$ についての貪欲法が考えられる 上と似た問題を何度も解くなら 𝜌 = 1/2 が良いかもしれない
20. 20 問題設定 問題 分布 𝒟 ∼ 問題 1 問題 𝑁 ⋮ クラス Π に属する問題が分布 𝒟 から⽣成される ⼿元には 𝑁 個の問題のデータが存在
21. 21 問題設定 問題 分布 𝒟 ∼ 問題 1 問題 𝑁 ⋮ クラス Π に属する問題が分布 𝒟 から⽣成される ⼿元には 𝑁 個の問題のデータが存在 アルゴリズム 𝐴$ のパラメータ 𝜌 を 問題 1, … , 𝑁 で経験的に⾼い性能を発揮するよう調整 𝐴$
22. 22 問題設定 問題 分布 𝒟 ∼ 問題 1 問題 𝑁 ⋮ クラス Π に属する問題が分布 𝒟 から⽣成される ⼿元には 𝑁 個の問題のデータが存在 アルゴリズム 𝐴$ のパラメータ 𝜌 を 問題 1, … , 𝑁 で経験的に⾼い性能を発揮するよう調整 𝐴$ 𝑨𝝆 は新しい問題に対しても⾼い性能を発揮するか︖ ⼊⼒
23. 23 学習理論とのアナロジー 問題 分布 𝒟 ∼ 問題 1 問題 𝑁 ⋮ モデル ℎ ∈ ℋ を 問題 1, … , 𝑁 での経験損失最⼩化によって学習 ℎ 𝒉 は新しい問題に対しても⼩さい損失を達成するか︖ あるクラスの問題（分類や回帰）が分布 𝒟 から⽣成される ⼿元には 𝑁 個の問題のデータ（⼊⼒とラベル）が存在 ⼊⼒
24. 24 古典的な⼀様バウンド インスタンス (𝑥, 𝑦) が分布 𝒟 から i.i.d. で 𝑁 個得られる． クラス ℋ の 複雑度 が有界なら，確率 1 − 𝛿 以上で ∀ℎ ∈ ℋ に対し， ※ ⼀様性（∀ℎ ∈ ℋ）が過学習のリスクを排除 ℋ が “複雑” だと 𝑁 を⼤きくする必要がある． 1 𝑁 = &'! ( 𝐿 ℎ 𝑥& , 𝑦& − 𝔼(*,,)∼𝒟 𝐿 ℎ 𝑥 , 𝑦 = 𝑂 𝑀 複雑度 + log 1/𝛿 𝑁 . インスタンス︓(𝑥, 𝑦) ∈ 𝒳 × ℝ モデルクラス︓ℋ ⊆ ℝ𝒳（各 ℎ ∈ ℋ は ℎ: 𝒳 → ℝ） 損失関数︓𝐿 L 𝑦, 𝑦 ∈ [0, 𝑀]
25. 25 𝓗 が有限集合の場合 ℙ 1 𝑁 = &'! ( 𝐿 ℎ 𝑥& , 𝑦& − 𝔼(*,,)∼𝒟 𝐿 ℎ 𝑥 , 𝑦 > 𝜖 = 𝑂 exp − 2𝑁𝜖# 𝑀# Union bound を使うと，確率 1 − 𝛿 以上で 1 𝑁 = &'! ( 𝐿 ℎ 𝑥& , 𝑦& − 𝔼(*,,)∼𝒟 𝐿 ℎ 𝑥 , 𝑦 = 𝑂 𝑀 ln ℋ + ln(1/𝛿) 𝑁 ℋ が複雑度を表す 各 ℎ ∈ ℋ について Hoeffding の不等式から
26. 26 ⼆値分類問題の場合 1 𝑁 = &'! ( 𝐿 ℎ 𝑥& , 𝑦& − 𝔼(*,,)∼𝒟 𝐿 ℎ 𝑥 , 𝑦 = 𝑂 VCdim(ℋ) + ln(1/𝛿) 𝑁 ⼆値分類インスタンス︓(𝑥, 𝑦) ∈ 𝒳 × {−1, +1} モデルクラス︓ℋ ⊆ −1, 1 𝒳（各 ℎ ∈ ℋ は ℎ: 𝒳 → {−1, +1}） 損失関数︓𝐿 L 𝑦, 𝑦 = 𝕀(L 𝑦 ≠ 𝑦) Vapnik⎼Chervonenkis (VC) 次元が ℋ の複雑度
27. 27 VC 次元 ℋ ⊆ −1, +1 𝒳 が 𝑥!, … 𝑥( ∈ 𝒳 を粉砕 ⇔ ℎ 𝑥! , … , ℎ 𝑥( ℎ ∈ ℋ = 2( 全通りの結果を出せる VCdim ℋ = max 𝑁 ∃𝑥! , … 𝑥) ∈ 𝒳, ℋ は 𝑥! , … , 𝑥) を粉砕可能 𝒳 = ℝ# + + + + + − + − + − + + • • • + − − − + − − − + − − − 例︓VCdim ℎ: 𝑥 ↦ sign(𝑤*𝑥 + 𝑏) 𝑤 ∈ ℝ+, 𝑏 ∈ ℝ} = 𝑑 + 1
28. 28 擬似次元︓VC 次元の実数値関数への拡張 ℋ ⊆ ℝ𝒳 が 𝑥!, … 𝑥( ∈ 𝒳 を粉砕 ⇔ ある値 𝑡! , … , 𝑡( ∈ ℝ が存在して 𝕀(ℎ 𝑥! ≥ 𝑡! ), … , 𝕀(ℎ 𝑥( ≥ 𝑡( ) ℎ ∈ ℋ = 2( Pdim ℋ = max 𝑁 ∃𝑥! , … 𝑥) ∈ 𝒳, ℋ は 𝑥! , … , 𝑥) を粉砕可能 例︓Pdim ℎ: 𝑥 ↦ 𝑤1𝑥 + 𝑏 𝑤 ∈ ℝ2, 𝑏 ∈ ℝ} = 𝑑 + 1 𝑡! 𝑡# 𝑥! 𝑥#
29. 29 擬似次元によるアルゴリズムの汎化誤差解析 Gupta and Roughgarden. A PAC approach to application-specific algorithm selection. SIAM J. Comput., 2017. Gupta & Roughgarden ’17 インスタンス︓𝜋 ∈ Π（分布 𝒟 に従う） アルゴリズムのクラス︓𝒜 = 𝐴$ | 𝜌 ∈ 𝒫 （𝒫 はパラメータ空間） 効⽤関数︓𝑢: 𝒜 × Π → [0, 𝑀] 例︓ナップサック問題 Π = 𝒜 = 𝐴$ = 𝑣/𝑤$ についての貪欲法 𝜌 ≥ 0 𝑢 = 合計価値（0 以上 𝑀 以下と仮定） アイテム 価値 𝑣 重さ 𝑤 a b c d ? ? ? ? ? ? ? ? ≤ ?
30. 30 擬似次元によるアルゴリズムの汎化誤差解析 Gupta and Roughgarden. A PAC approach to application-specific algorithm selection. SIAM J. Comput., 2017. Gupta & Roughgarden ’17 1 𝑁 = &'! ( 𝑢$ (𝜋& ) − 𝔼3∼𝒟 𝑢$ (𝜋) = 𝑂 𝑀 Pdim 𝒰 + log 1/𝛿 𝑁 . 𝒰 = 𝑢$: 𝜋 ↦ 𝑢 𝐴$, 𝜋 | 𝜌 ∈ 𝒫 ⊆ 0, 𝑀 4 とすると同様の保証が成⽴︓ アルゴリズムが定める効⽤関数クラス 𝒰 の Pdim(𝒰) を抑えたい 経験的効⽤ （将来の）期待効⽤ インスタンス︓𝜋 ∈ Π（分布 𝒟 に従う） アルゴリズムのクラス︓𝒜 = 𝐴$ | 𝜌 ∈ 𝒫 （𝒫 はパラメータ空間） 効⽤関数︓𝑢: 𝒜 × Π → [0, 𝑀]
31. 31 例︓ナップサック問題に対する貪欲法 アイテム数 𝑛 の問題 𝜋 ∈ Π を⼀つ固定する 𝜌 ≥ 0 を動かしたとき，アイテム 𝑖, 𝑗 間のスコア の⼊れ替わりは⾼々 1 回 𝜌 𝑣&/𝑤& $ 𝑣5/𝑤5 $ 𝑛 アイテムのスコア 𝑣& /𝑤& $ の全順序が決まれば出⼒は⼀意 スコアの順序の変化は⾼々 6 # 回 𝑣! /𝑤 ! " > 𝑣# /𝑤 # " 𝑣! /𝑤 ! " < 𝑣# /𝑤 # "
32. 32 例︓ナップサック問題に対する貪欲法 アイテム数 𝑛 の問題 𝑁 個（𝜋!, … , 𝜋( ）が与えられる 問題 𝑘 のアイテム 𝑖 と問題 𝑙 のアイテム 𝑗 間のスコア の⼊れ替わりは⾼々 1 回 𝜌 𝑣;,&/𝑤;,& $ 𝑣<,5/𝑤<,5 $ (𝑢$ 𝜋! , … , 𝑢$ (𝜋( )) は⾼々 (6 # 通り 𝑁𝑛 個のスコアの全順序の変化は⾼々 (6 # 回 𝜋! , … , 𝜋( を粉砕するには (6 # ≥ 2( が必要 ⇒ Pdim 𝒰 = 𝑂(log 𝑛) ※簡単のため異なる問題間の 順序変化もカウント ポイント︓出⼒パターン数が 𝑁 について指数的でない
33. 33 例︓ナップサック問題に対する貪欲法 アイテム数 𝑛 の問題 𝑁 個（𝜋!, … , 𝜋( ）が与えられたとき， 確率 1 − 𝛿 以上で ∀𝛿 ≥ 0 に対して 𝑁 = Ω 𝑀/𝜖 #log(𝑛/𝛿) 個の問題から良い 𝜌 を⾒つければ， 1 𝑁 = &'! ( 𝑢$ (𝜋& ) − 𝔼3∼𝒟 𝑢$ (𝜋) = 𝑂 log 𝑛 + log 1/𝛿 𝑁 . 1 𝑁 = &'! ( 𝑢$(𝜋&) − 𝔼3∼𝒟 𝑢$(𝜋) ≤ ϵ w.p. 1 − 𝛿 ⼿元での平均効⽤ 今後の期待効⽤
34. 34 解析のアプローチ１︓双対関数の区分構造 Balcan, DeBlasio, Dick, Kingsford, Sandholm, and Vitercik. How much data is sufficient to learn high-performing algorithms? STOC, 2021; JACM 2024. Balcan et al. ’21; ‘24 𝒫 上の関数の集合を定義︓ 𝒰∗ = 𝑢": 𝜌 ↦ 𝑢 𝐴#, 𝜋 | 𝜋 ∈ Π ある 𝒢 ⊆ 0,1 𝒫 ℱ ⊆ ℝ𝒫 が存在し，任意の 𝑢" ∈ 𝒰∗ に対して • ⾼々 𝑘 個の境界関数 𝑔(&), … , 𝑔 ( ∈ 𝒢 が 𝒫 を細分し， • 各細分である 𝑓 ∈ ℱ が存在して 𝑢" ≡ 𝑓 ならば， Pdim 𝒰 = H 𝑂 Pdim ℱ∗ + VCdim 𝒢∗ log 𝑘 𝑔()): 𝜌 → {0,1} 𝑢 value 𝒫 𝑓: 𝜌 → ℝ 注．𝒢∗, ℱ∗ は 𝒰 と同じ型︓ 𝒢∗ = 𝑔∗: 𝜋 ↦ 𝑔 𝜌, 𝜋 | 𝜌 ∈ 𝒫 , ℱ∗ = 𝑓∗: 𝜋 ↦ 𝑓 𝜌, 𝜋 | 𝜌 ∈ 𝒫 𝑢 𝐴#, 𝜋 の値を 𝜌 の多項式等による場合分けで 列挙できるケースで有⽤
35. 35 解析のアプローチ２︓代数的計算⽊表現 Bartlett et al. ’22 Bartlett, Indyk and Wagner. Generalization bounds for data-driven numerical linear algebra. COLT 2022. Goldberg and Jerrum. Bounding the Vapnik–Chervonenkis dimension of concept classes parameterized by real numbers. Mach. Learn. 1995. 𝑣$ ← 𝑣 × 𝜌% 𝑣 ← 𝜌& + 𝜌' 𝜌 𝑣 ≥ 0 𝑣$ = 0 𝜋 ∈ Π, 𝑡 ∈ ℝ を固定したとき，𝜈 個のパラメータ 𝜌 を持つ アルゴリズム 𝐴# の出⼒値 𝑢#(𝜋) が 𝑡 以上かの判定⼿続きが • 四則演算ノード ☐ • 演算された値での場合分けによる分岐 ◇ によって⽊表現されていると仮定 ⼿続き中に現れ得る 𝜌 ∈ ℝ* の有理関数の次数 ≤ Δ 分岐ノードの数 ≤ 𝑝 ならば Pdim 𝒰 = 𝑂 𝜈 log(𝑝Δ) アルゴリズムがシンプル（特に分岐が少ない） 場合に使いやすい
36. 応⽤例 ヒューリスティック探索 低ランク近似 線形計画問題
37. 37 ヒューリスティック探索 ダイクストラ法 Start からの距離 𝑔D が ⼩さい 𝑣 から探索 A* 探索 ゴールへの推定距離 𝝆𝒗 と 𝑔D の 和が⼩さい 𝑣 から貪欲に探索 データから良い 𝝆 ∈ ℝ𝑽 を学習できれば効率的に良い経路を発⾒可能
38. 38 学習型ヒューリスティック探索の汎化誤差解析 Π = 同⼀の 頂点集合 𝑉 上の最短路問題（枝の有無や重みは可変） Sakaue and Oki. Sample complexity of learning heuristic functions for greedy-best-first and A* search. NeurIPS, 2022. Sakaue & Oki ’22 1 𝑁 = &'! ( 𝑢$(𝜋&) − 𝔼3∼𝒟 𝑢$(𝜋) = 𝑂 Pdim(𝒰) + log(1/𝛿) 𝑁 𝒰 = 𝑢$ : Π → ℝ 𝑢$ 𝜋 = “𝐴$ が 𝜋 ∈ Π で出⼒する経路⻑” 𝐴$ = ヒューリスティック関数値 𝜌 ∈ ℝG を使う探索アルゴリズム 𝜋! , … , 𝜋( ∼ 𝒟︓Π 上の分布 𝒟 からの i.i.d. サンプル 𝐏𝐝𝐢𝐦(𝓤) はどれくらい⼤きくなるか︖（どの程度⼤きな 𝑵 が必要か︖） w.p. 1 − 𝛿 for all 𝜌
39. 39 擬似次元のバウンド Sakaue and Oki. Sample complexity of learning heuristic functions for greedy-best-first and A* search. NeurIPS, 2022. Sakaue & Oki ’22 下界 上界 A* 探索 貪欲探索 𝑂 𝑉 # log |𝑉| 𝑂 𝑉 log 𝑊|𝑉| 枝重みが 𝑊 以下の⾮負整数なら 𝑂 𝑉 log 𝑉 Ω 𝑉 解析のアイデア • 𝑔D + 𝜌D の値を⽐較する不等式として現れ得るものを列挙 • 各細分の中では探索の挙動が固定され，経路⻑は定数関数 • 「解析のアプローチ１︓双対関数の区分構造」を使う
40. 40 低ランク近似のスケッチ⾏列の学習 縦⻑⾏列 𝐴 ∈ ℝ6×2 が i.i.d. で⽣成される (𝑛 ≫ 𝑑) Indyk, Vakilian and Yuan. Learning-Based Low-Rank Approximations. NeurIPS, 2019 𝐴 𝑑 𝑆𝐴 𝑆 = (𝜌&5 ) ⋅ 𝑛 𝑚 ← データから学習したスケッチ⾏列 𝑆 で前処理し，低ランク近似でランク 𝑘 に削減 経験的にも学習により性能向上 (Indyk et al. 2019)
41. 41 擬似次元のバウンド 𝑆 を学習可能パラメータとして，以下の損失関数クラスの擬似次元を抑える 𝒰 = 𝐿H : 𝐴 ↦ 𝐴 − LRA; 𝑆𝐴 I # | 𝑆 ∈ ℝJ×6; 各列の⾮零成分数 ≤ 𝑠 下界 Sakaue & Oki ’23 • 𝑂 𝑛𝑠𝑘 Ω 𝑛𝑠 Bartlett et al. ’22 • 𝑂 𝑛𝑠𝑚 Bartlett, Indyk and Wagner. Generalization bounds for data-driven numerical linear algebra. COLT 2022. Sakaue and Oki. Improved generalization bound and learning of sparsity patterns for data-driven low-rank approximation. AISTATS, 2023. 上界 （𝑚 ≥ 𝑘 は常に成⽴） Bartlett et al. ’22 解析のアイデア • 低ランク近似を冪乗法で近似し「解析のアプローチ２︓代数的計算⽊表現」 • Decell の定理で⽊表現のサイズを削減するとバウンドが改善
42. 42 線形計画問題の次元削減射影の学習 線形計画問題 max *∈ℝ! 𝑐1𝑥 s. t. 𝐴𝑥 ≤ 𝑏 の⼊⼒ (𝑐, 𝐴, 𝑏) が i.i.d. で⽣成される Sakaue & Oki ’24 𝐴 𝑐1 𝑃 ≤ max s. t. 𝑦 𝑏 𝑃 𝑦 射影⾏列 𝑃 ∈ ℝ6×; で 𝑘 次元に射影して効率的に解く (cf. Vu et al. 2018) Vu, Poirion and Liberti. Random Projections for Linear Programming. Math of OR, 2018. Sakaue and Oki. Generalization Bound and Learning Methods for Data-Driven Projections in Linear Programming. NeurIPS, 2024. データから 𝑃 を学習し経験的に良い解を得ることを⽬指す 射影⾏列 低次元
43. 43 擬似次元のバウンド Sakaue and Oki. Generalization Bound and Learning Methods for Data-Driven Projections in Linear Programming. NeurIPS, 2024. Sakaue & Oki ’24 𝑃 を学習可能パラメータとして，以下の関数クラスの擬似次元を抑える 𝒰 = 𝑢M: 𝑐, 𝐴, 𝑏 ↦ max 𝑐1𝑃𝑦 𝐴𝑃𝑦 ≤ 𝑏 | 𝑃 ∈ ℝ6×; 下界 Ω 𝑛𝑘 • 𝑂 𝑛𝑘# 上界 解析のアイデア • 射影後の LP の基底解をクラメールの公式で 𝑃&5 の多項式として表現 • 基底解の関数値の順序を定める多項式で細分︔細分内も 𝑃&5 の多項式 • 「解析のアプローチ１︓双対関数の区分構造」を使う
44. 44 次元削減射影を⽣成するニューラルネットの学習 線形計画問題から射影⾏列 𝑃 を⽣成する NN を構成 Iwata and Sakaue. Learning to Generate Projections for Reducing Dimensionality of Heterogeneous Linear Programming Problems. ICML, 2025. Iwata & Sakaue ’25 制約の置換について不変・変数の置換について合同 になるよう⼯夫 様々なサイズの線形計画問題から学習可能 • 多様なサイズで学習した NN の⽅が経験的に良い射影を⽣成 Sakaue & Oki の単⼀の 𝑃 の学習よりも経験的な性能が向上
45. 45 擬似次元のバウンド 射影⾏列を⽣成する NN が • 𝐿 層・𝑊 個のパラメータ・区分線形ユニットで構成され， • 射影後の次元が 𝑘 のとき， Iwata and Sakaue. Learning to Generate Projections for Reducing Dimensionality of Heterogeneous Linear Programming Problems. ICML, 2025. Iwata & Sakaue ’25 解析のアイデア • 𝑃&5 が NN パラメータの区分多項式になる • Sakaue and Oki ’24 と同様の「解析のアプローチ１︓双対関数の区分構造」 を NN のパラメータ空間上で適⽤ Pdim NN: LP ↦ ⽣成された射影による関数値 = • 𝑂 𝑊(𝐿 + 𝑘) 注．異なる問題サイズ間の汎化は説明できていない
46. まとめと今後の展望
47. 47 まとめ パラメータ 𝜌 を持つアルゴリズム 𝐴$ について，関数クラス インスタンス 𝜋 ↦ 𝐴$ の 𝜋 上での性能 𝜌 ∈ パラメータ空間 の複雑度が抑えられれば，汎化誤差バウンドが得られる 擬似次元を抑える主要な⽅針︓ 1. 双対関数の区分構造 2. 代数的計算⽊表現
48. 48 今後の展望 擬似次元によるバウンドは（𝑁 → +∞ 収束するが）経験的にはルーズ より抽象的に，アルゴリズムの仮設空間が⼤きいこと⾃体は汎化性能を 悪化させるとは考えにくい • アルゴリズムの引き出しが多い設計者の⽅が汎化するものを作れそう アルゴリズム設計のための データ依存 / ⾮⼀様 バウンドが必要︖ • Rademacher 複雑度，PAC-Bayes, etc. • 現実的なアルゴリズム設計と整合する理論が必要（⼀様バウンドは設計に⾮依存） アルゴリズム設計の最適化の⽅法論の整備も必要