AIで最適化を解けるか？

LLMや深層強化学習で組合せ最適化を解くためのアプローチと比較

Transcript

1. AIで最適化を解けるか？ MOAI Lab.
2. AIにおける古典最適化 • 制約プログラミング (CP) ：数理最適化の対抗馬；パズルのよ うに離散的な問題に特化 • 使い分け：多くの連続変数を含む実務 => MIP，スケジューリ ングや時間割 =>CP • メタヒューリスティクスをAI起源と称する場合もあり（所属す る研究分野が違うだけ） • 動的計画，強化学習，モデル予測制御などは，分野が違うだけ で本質は同じ
3. LLM でそのまま最適化 • Large Language Models as Optimizers (DeepMind) • OPRO (Optimization by PROmpting)
4. 実験結果 (TSP) 20点を超えると無理！
5. 深層強化学習 • AlphaZero (DeepMind) が有名 • Neural Combinatorial Optimizationという名前でたくさんある • グラフをGNNやtransformerでエンコーディング，次の点への推移を当 てるデコーダーで近似解 • 一様ユークリッドのランダム問題例での実験が多い • 小さな問題例での実験が多い • 比較対象がLKHなどのSOTA解法でなく，NNやFIなどが多い • 提案手法はGPU，比較対象はCPUが多い • SOTA解法の計算時間がおかしい（提案手法の時間にあわせてある）
6. LLMにコードを書かせる • LLMにコードを書かせる • 実験結果とコードをLLMに渡して（何らかの方法で）改善 • FunSearch (DeepMind), SelfRefine, ReEvo などいろいろ
7. 実験結果 (TSP) FrontierCO ベンチマーク
8. 実験結果 (CVRP)
9. まとめ • AI は制約プログラミング (CP) だけではなくなってきている • 深層強化学習やLLMベースの研究は，実験が不十分 • 実験的解析の長い研究（1980-）を踏まえて再評価すべき • 今のところ SOTA 解法にはかなわない • 自然言語からモデル抽出や，既存解法とLLMのハイブリッドが 正しい未来 • 過去の問題例が豊富にあれば，SOTA解法をさらに改善可能 （MOAIアプローチ）