Mathematical Optimization + Artificial Intelligence = MOAI

機械学習と数理最適化の融合による新しいパラダイムとSCMへの適用

Transcript

1. Mathematical Optimization + Artificial Intelligence = MOAI Mikio Kubo
2. 最適化：4つの流れとその融合 CPLEX 線形計画(LP) に対する単体法 LPに対する 内点法 Gurobi ヒューリスティクス メタヒューリスティクス 制約プログラミング OR-Tools ILOG 機械学習 (ML) 数理最適化 (MO) ルールベース/発⾒的⽅法 ⼈⼯知能 (AI) 動的計画 強化学習 深層学習 1950 2000 MOAI SCOP/OptSeq
3. 数理最適化ソルバーの性能向上 CPLEX 1.2 (1991) -> CPLEX 11 (2007) : 29000倍 Gurobi 1.0 (2009) -> Gurobi 9.0 (2019) : 59倍 合わせると．．． 170万倍 さらに計算機の速度向上 59.7 Gflops/s (1993) -> 93.0 Pflops/s (2016）-> 442.01PFLOPS(2021) 合わせると．．． 2.2兆倍 以前は 7 万年かかっていた計算が１秒以下！
4. メタヒューリスティクス • 問題に特化した解法 • プロがちゃんと作れば，⾼速で良好な解 （ただし最適性の保証なし） • SCOP, OptSeq （元）京⼤の茨⽊先⽣と野々部先⽣による⾼度なアルゴリズム • 複雑な付加条件にも対処できる • 実践的な問題例（ベンチマーク）で性能評価済み （元から⾼速だったが）計算機の⾼速化により爆速化 Pythonインタフェイスで容易にモデル構築
5. AI/ML • AI = コンピュータに知能を与えるための総合学問 • ML = コンピュータに明⽰的なプログラムを書くことなしに学習 する能⼒を与える学問分野 • 幅広い応⽤（スパムメールや画像認識） • 最適化関連だと，動的計画(DP)やモデル予測制御(MPC)の進化形 である(深層)強化学習 (RL: DeepMindのAlphaGo） • ⼤規模⾔語モデル（LLM: ChatGPT4o）
6. 数理最適化と機械学習の融合 (MOAI） 機械学習 実際問題 数理最適化 (MO) 最適化 ⼈⼯知能 (AI)
7. 融合パターンの概念図 ML MO ML -> MO (ML-first MO-second: ML先 MO後) MO -> ML (MO-first ML-second: MO先 ML後) ML MO MO ⊃ ML (ML assists MO, ML4MO） ML ⊃ MO（MO assists ML, MO4ML） 最適化の基礎理論で相互乗り⼊れ RL/MPC中⼼の融合型 MO ML MO ML ML MO ML MO RL/MPC LLM assists MODELING ML MO MODELING LLM
8. ML4MO（従来の研究） 機械学習 問題例 MIPLearn 数理最適化 解 解のヒント 問題例 Optimization Proxies 修復（層） 解 実⾏不能近似解 （プロキシ） 機械学習 問題例 線形⽅程式系求解 解 整数変数の値 等式になる不等式制約 Optimization Voice 深層学習 問題依存 連続変数のみ 問題依存（整数変数のみだと✘；不等式制約が少ないと✘） 問題依存 数値のみ変化（構造は同⼀） 数値のみ変化（構造は同⼀） 数値のみ変化（構造は同⼀） +制約をラグランジュ緩和 MO でたくさんのデータ（問題例と解の組）を⽣成し，MLで学習
9. ML4MO：提案⼿法 Encoding+Decoding 機械学習 問題例 デコーダー 解 解のエンコーディング 例：スケジューリング問題 作業の投⼊順（半順序）＋作業のモード : デコードはアクティブスケジュール⽣成スキーム 作業の投⼊順（半順序） : デコードはスケジューリング最適化 OptSeq 例：配送計画問題 事前巡回路 （デコードは動的最適化） 運搬⾞への割当（柔軟性のための重複あり）+ 事前巡回路（デコードはリコース戦略） エンコーディングを解に ⾼速に変換するアルゴリズム エンコーディング デコーダー MIPlearn 付加される制約 MIPソルバー Opt. Proxies （実⾏不能）解 修復層 Opt. Voice 等号制約，整数変数 連⽴⽅程式 エンコーディングの複雑度 << 解の複雑度
10. (A)DP/RL/MPC/提案⼿法 (MO Hybrid) 動的計画(DP) 近似DP (ADP) RL MPC MO Hybrid モデル あり あり なくても良い あり あり 予測 なし なし なし 過去の状態から 予測 過去の問題例と⽂ 脈（付加情報）か ら予測 価値関数 あり ⾏動後状態に対 して定義 あり あり ⾏動後状態と⾏動 前状態に対して定 義 最適化 基本は貪欲 1期の最適化 基本は貪欲 Tree Search， Beam Search, Rolloutを併⽤ 有限期間の最適 化 (2次の⾮線 形)をローリン グ・ホライズン (RH) 有限期間の問題を MOで最適化 即時決定とリコー ス変数で確率的最 適化+RH 価値関数の近似 の⼯夫 状態の特徴に対 する区分的線形 関数で近似 深層学習 (DL) 区分的線形，DL， 決定⽊をMOに組み 込む
11. MO-Hybrid = ML+(M)O+MPC+RL (M)O 予測 問題例⽣成 Solution 訓練データ Period Instance 𝑡 − 1 𝑡 𝑡 + 1 𝑡 + 2 ⋯ 𝑇 𝑇 + 1 ⋯ (𝐼! "!#, $ 𝐼!$% "!#, $ 𝐼!$& "!#, … , $ 𝐼' "!#) (𝑋! "!#, 𝑋!$% "!#, 𝑋!$& "!#, … , 𝑋' "!#) ($ 𝐼!$% , $ 𝐼!$& , … , $ 𝐼' , ⋯ ) ML ML (MIPlearn) ML (MIPlearn) State 𝐼( (𝑖 = ⋯ , 𝑡 − 1, 𝑡) (𝑋( "(#, 𝑋($% "(#, 𝑋($& "(#, ⋯ ) (𝑖 = ⋯ , 𝑡 − 1) (𝐼( "(#, $ 𝐼($% "(#, $ 𝐼($& "(#, ⋯ ) 固定制約 部分解 近似解 𝑆!)% 𝑆( ML (RL) V 𝑆( 𝑆'$% 𝑚𝑎𝑥 𝑣 𝑥 + 𝑉 𝑆'$% 𝑋! "!#, 𝑋!$% "!#, 𝑋!$& "!#, … , 𝑋'(% "!# ≈ 𝑋! "!(%#, 𝑋!$% "!(%#, 𝑋!$& "!(%#, … , 𝑋'(% "!(%# MPC 状態 価値関数
12. MOAI技術による SCM Solutions Metrics, Trade-offs and Beyond MOAI Lab
13. SCM Solutions - Metrics ⼤規模インスタンスでの求解可能性 (size) 計算速度 (speed) 解の誤差 (error) ロバスト性 (robustness) 拡張可能性 (extendability) 適応範囲 (range) 導⼊速度/費⽤ (implementation time/cost)
14. Size ⼤規模インスタンス（問題に数値を⼊れたもの）での求解可能性 ⼤規模でも解ける ⼩規模でないと 解けない Greedy Local search Exact solution methods metaheuristics 実際のSCMの多くの問題は NP-hard Sizeの⼤きいインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは（おそらく）できない
15. Speed 計算速度 終了判定基準をユーザー が指定し，その中で最良解を探索する インスタンスのサイズに 対して指数オーダーで 計算量が増⼤ Greedy Local search Exact solution methods metaheuristics インスタンスのサイズに 対する多項式オーダーで 計算が終わる
16. Error 解の誤差（精度 accuracy / 質 quality） ⼤きな相対誤差 Greedy Local search Exact solution methods metaheuristics 厳密解もしくは 相対誤差の保証を もった解 途中で打ち切ることによって 近似解法としても使える 近似解法
17. Robustness ロバスト性 インスタンスが 変わると悪い解 を算出する Greedy Local search Exact solution methods metaheuristics 様々なインスタンス が解ける（ただし 計算時間は変化） 少数のインスタンス に対して上⼿く動く 近似解法は，インスタンス パラメータの変化に弱い すべてのインスタンス テストしたインスタンス 新しいインスタンス
18. Spped と Error のトレードオフ 低速 ⾼速 Speed （近似解）誤差⼤ 厳密解（誤差⼩） Error Exact solution methods Greedy Local Search Metaheuristics Sizeの⼤きいインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは（おそらく）できない NP-困難性
19. パラダイムシフト すべてのインスタンスの集合 実際のインスタンスの集合 すべてのインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは（おそらく）できない たくさんの過去の 実際のインスタンス 過去のたくさんの実際問題の インスタンスと対応する解がある 対応する解 NP-困難性 すべてのインスタンスの集合 機械（深層）学習の利⽤ ?
20. MOAIによるNP-困難性の克服 低速 ⾼速 Speed 厳密解（誤差⼩） Error Exact solution methods Greedy Local Search Metaheuristics MOAI (機械学習+数理最適化） ⼤規模インスタンスに対する 誤差の⼩さい解を⾼速計算 + （近似解）誤差⼤
21. Extendability 拡張可能性 問題の拡張が容易 単純でモジュール化 されたアルゴリズム 複雑でモジュール化されていない アルゴリズム 問題の拡張が難しい （もしくは多⼤な 追加費⽤/時間がかかる） 数理最適化モデリング⾔語で 記述可能な付加条件 数理最適化モデリング⾔語で 記述が難しい付加条件 買収によって様々な問題に対応 開発者の退職によってメンテが悪化 新しい機能の追加が不可能
22. Range 適応範囲 狭い： 特化した問題に 対するソリューション Optimind Lyna Logics Asprova Flexche Forecast Pro SAP IBP Panasonic (Blue Yonder; JDA; i2) c3.ai o9.solutions Coupa (Llamasoft) Optilogic 広い： SCMの幅広い範囲 をカバー Anaplan Streamline • 配送 • スケジューリング • 予測 に対する個別ソリューション • ネットワーク設計 • 配送 • 多段階在庫 • 予測 • 多段階在庫 • + ERP 各々得意分野はあるが ほとんどすべての機能 + ERP
23. Implementation time/cost 導⼊速度/費⽤ ⽐較的安価で短時間 Coupa (Llamasoft) ⾼価で時間がかかる 企業規模⼤ 買収で機能を追加 プログラム設計者がすでに退職 Optilogic 数理最適化モデル をユーザーに公開 DB Schema GUI 企業規模⼩ プログラム設計者が現職 SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche
24. Extendability, Range, Impl. Timeのトレードオフ 拡張が容易 拡張が難しい Extendability 狭い 広い Range 安価で短時間 Implementation time/ cost ⾼価で時間がかかる SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche Forecast Pro Coupa Optilogic Anaplan Streamline
25. MOAIソリューション 拡張が容易 拡張が難しい Extendability 狭い 広い Range 安価で短時間 Implementation time/ cost ⾼価で時間がかかる SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche Forecast Pro Coupa Optilogic Anaplan Streamline + SCML (Supply Chain Modeling Language) Supply Chain全体をカバー 最先端の最適化ソリューション モジュール化とClass APIによって ユーザーがモデルを拡張可能
26. MOAIソリューション • サプライチェーン ü ロジスティクス・ネットワーク設計 ü サプライチェーン・リスク分析 • 需要予測・在庫コントロール ü 深層（機械）学習による需要予測 ü 動的在庫コントロール ü 動的価格付け • ⽣産計画 ü 安全在庫配置 ü ロットサイズ ü スケジューリング • 輸配送計画 ü サービス・ネットワーク設計 ü 配送計画 ü 船舶スケジューリング 個々のモジュールをSCMLで有機的に結合
27. MOAI サプライチェーン・ソリューション Logistics Network Design Safety Stock Allocation Lot-sizing Scheduling Multi-period Vehicle Routing Ship Scheduling Inventory Vehicle Routing Demand Forecasting Machine (Deep) Learning End-to-End Learning Dynamic Inventory Control Dynamic Pricing Supply Chain Risk Analysis Plant DC Demand Point Supply ⽣産計画 輸配送計画 需要予測・在庫コントロール
28. MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling Inventory Push Pull Boundary Customer demand Guaranteed Lead Time 単なるスケジューラー（処理的IT）ではなく，複数の最適化技術を融合 安全在庫配置モデル （⼀般有向グラフ10000点を最適化）
29. MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling 4 6 3 7 8 1 3 5 4 2 5 20 21 7 demand production 16 10 7 0 13 12 9 4 0 5 0 inventory 容量制約付きロットサイズ最適化モデル （ERPの⼭崩しヒューリスティクスを3割以上改善）
30. MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling Resource Network Ganntʼs Chart スケジューリング最適化モデル （10万以上のタスクを最適化）
31. MOAI 輸送ネットワーク・ソリューション Service Network Design Multi-period Vehicle Routing Ship Scheduling Inventory Vehicle Routing 10000地点×30⽇分の配送最適化