Share
Embed
Mathematical Optimization + Artificial Intelligence = MOAI
機械学習と数理最適化の融合による新しいパラダイムとSCMへの適用
MIKIO KUBO
May 30, 2024
Transcript
31 slides
-
最適化:4つの流れとその融合 CPLEX 線形計画(LP) に対する単体法 LPに対する 内点法 Gurobi ヒューリスティクス メタヒューリスティクス 制約プログラミング
OR-Tools ILOG 機械学習 (ML) 数理最適化 (MO) ルールベース/発⾒的⽅法 ⼈⼯知能 (AI) 動的計画 強化学習 深層学習 1950 2000 MOAI SCOP/OptSeq -
数理最適化ソルバーの性能向上 CPLEX 1.2 (1991) -> CPLEX 11 (2007) : 29000倍
Gurobi 1.0 (2009) -> Gurobi 9.0 (2019) : 59倍 合わせると... 170万倍 さらに計算機の速度向上 59.7 Gflops/s (1993) -> 93.0 Pflops/s (2016)-> 442.01PFLOPS(2021) 合わせると... 2.2兆倍 以前は 7 万年かかっていた計算が1秒以下! -
メタヒューリスティクス • 問題に特化した解法 • プロがちゃんと作れば,⾼速で良好な解 (ただし最適性の保証なし) • SCOP, OptSeq (元)京⼤の茨⽊先⽣と野々部先⽣による⾼度なアルゴリズム
• 複雑な付加条件にも対処できる • 実践的な問題例(ベンチマーク)で性能評価済み (元から⾼速だったが)計算機の⾼速化により爆速化 Pythonインタフェイスで容易にモデル構築 -
AI/ML • AI = コンピュータに知能を与えるための総合学問 • ML = コンピュータに明⽰的なプログラムを書くことなしに学習 する能⼒を与える学問分野
• 幅広い応⽤(スパムメールや画像認識) • 最適化関連だと,動的計画(DP)やモデル予測制御(MPC)の進化形 である(深層)強化学習 (RL: DeepMindのAlphaGo) • ⼤規模⾔語モデル(LLM: ChatGPT4o) -
融合パターンの概念図 ML MO ML -> MO (ML-first MO-second: ML先 MO後)
MO -> ML (MO-first ML-second: MO先 ML後) ML MO MO ⊃ ML (ML assists MO, ML4MO) ML ⊃ MO(MO assists ML, MO4ML) 最適化の基礎理論で相互乗り⼊れ RL/MPC中⼼の融合型 MO ML MO ML ML MO ML MO RL/MPC LLM assists MODELING ML MO MODELING LLM -
ML4MO(従来の研究) 機械学習 問題例 MIPLearn 数理最適化 解 解のヒント 問題例 Optimization Proxies
修復(層) 解 実⾏不能近似解 (プロキシ) 機械学習 問題例 線形⽅程式系求解 解 整数変数の値 等式になる不等式制約 Optimization Voice 深層学習 問題依存 連続変数のみ 問題依存(整数変数のみだと✘;不等式制約が少ないと✘) 問題依存 数値のみ変化(構造は同⼀) 数値のみ変化(構造は同⼀) 数値のみ変化(構造は同⼀) +制約をラグランジュ緩和 MO でたくさんのデータ(問題例と解の組)を⽣成し,MLで学習 -
ML4MO:提案⼿法 Encoding+Decoding 機械学習 問題例 デコーダー 解 解のエンコーディング 例:スケジューリング問題 作業の投⼊順(半順序)+作業のモード :
デコードはアクティブスケジュール⽣成スキーム 作業の投⼊順(半順序) : デコードはスケジューリング最適化 OptSeq 例:配送計画問題 事前巡回路 (デコードは動的最適化) 運搬⾞への割当(柔軟性のための重複あり)+ 事前巡回路(デコードはリコース戦略) エンコーディングを解に ⾼速に変換するアルゴリズム エンコーディング デコーダー MIPlearn 付加される制約 MIPソルバー Opt. Proxies (実⾏不能)解 修復層 Opt. Voice 等号制約,整数変数 連⽴⽅程式 エンコーディングの複雑度 << 解の複雑度 -
(A)DP/RL/MPC/提案⼿法 (MO Hybrid) 動的計画(DP) 近似DP (ADP) RL MPC MO Hybrid
モデル あり あり なくても良い あり あり 予測 なし なし なし 過去の状態から 予測 過去の問題例と⽂ 脈(付加情報)か ら予測 価値関数 あり ⾏動後状態に対 して定義 あり あり ⾏動後状態と⾏動 前状態に対して定 義 最適化 基本は貪欲 1期の最適化 基本は貪欲 Tree Search, Beam Search, Rolloutを併⽤ 有限期間の最適 化 (2次の⾮線 形)をローリン グ・ホライズン (RH) 有限期間の問題を MOで最適化 即時決定とリコー ス変数で確率的最 適化+RH 価値関数の近似 の⼯夫 状態の特徴に対 する区分的線形 関数で近似 深層学習 (DL) 区分的線形,DL, 決定⽊をMOに組み 込む -
MO-Hybrid = ML+(M)O+MPC+RL (M)O 予測 問題例⽣成 Solution 訓練データ Period Instance
𝑡 − 1 𝑡 𝑡 + 1 𝑡 + 2 ⋯ 𝑇 𝑇 + 1 ⋯ (𝐼! "!#, $ 𝐼!$% "!#, $ 𝐼!$& "!#, … , $ 𝐼' "!#) (𝑋! "!#, 𝑋!$% "!#, 𝑋!$& "!#, … , 𝑋' "!#) ($ 𝐼!$% , $ 𝐼!$& , … , $ 𝐼' , ⋯ ) ML ML (MIPlearn) ML (MIPlearn) State 𝐼( (𝑖 = ⋯ , 𝑡 − 1, 𝑡) (𝑋( "(#, 𝑋($% "(#, 𝑋($& "(#, ⋯ ) (𝑖 = ⋯ , 𝑡 − 1) (𝐼( "(#, $ 𝐼($% "(#, $ 𝐼($& "(#, ⋯ ) 固定制約 部分解 近似解 𝑆!)% 𝑆( ML (RL) V 𝑆( 𝑆'$% 𝑚𝑎𝑥 𝑣 𝑥 + 𝑉 𝑆'$% 𝑋! "!#, 𝑋!$% "!#, 𝑋!$& "!#, … , 𝑋'(% "!# ≈ 𝑋! "!(%#, 𝑋!$% "!(%#, 𝑋!$& "!(%#, … , 𝑋'(% "!(%# MPC 状態 価値関数 -
SCM Solutions - Metrics ⼤規模インスタンスでの求解可能性 (size) 計算速度 (speed) 解の誤差 (error)
ロバスト性 (robustness) 拡張可能性 (extendability) 適応範囲 (range) 導⼊速度/費⽤ (implementation time/cost) -
Size ⼤規模インスタンス(問題に数値を⼊れたもの)での求解可能性 ⼤規模でも解ける ⼩規模でないと 解けない Greedy Local search Exact solution
methods metaheuristics 実際のSCMの多くの問題は NP-hard Sizeの⼤きいインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは(おそらく)できない -
Speed 計算速度 終了判定基準をユーザー が指定し,その中で最良解を探索する インスタンスのサイズに 対して指数オーダーで 計算量が増⼤ Greedy Local search
Exact solution methods metaheuristics インスタンスのサイズに 対する多項式オーダーで 計算が終わる -
Error 解の誤差(精度 accuracy / 質 quality) ⼤きな相対誤差 Greedy Local search
Exact solution methods metaheuristics 厳密解もしくは 相対誤差の保証を もった解 途中で打ち切ることによって 近似解法としても使える 近似解法 -
Robustness ロバスト性 インスタンスが 変わると悪い解 を算出する Greedy Local search Exact solution
methods metaheuristics 様々なインスタンス が解ける(ただし 計算時間は変化) 少数のインスタンス に対して上⼿く動く 近似解法は,インスタンス パラメータの変化に弱い すべてのインスタンス テストしたインスタンス 新しいインスタンス -
Spped と Error のトレードオフ 低速 ⾼速 Speed (近似解)誤差⼤ 厳密解(誤差⼩) Error
Exact solution methods Greedy Local Search Metaheuristics Sizeの⼤きいインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは(おそらく)できない NP-困難性 -
パラダイムシフト すべてのインスタンスの集合 実際のインスタンスの集合 すべてのインスタンスに対して ⾼速に誤差の⼩さい解を⽣成する ことは(おそらく)できない たくさんの過去の 実際のインスタンス 過去のたくさんの実際問題の インスタンスと対応する解がある
対応する解 NP-困難性 すべてのインスタンスの集合 機械(深層)学習の利⽤ ? -
MOAIによるNP-困難性の克服 低速 ⾼速 Speed 厳密解(誤差⼩) Error Exact solution methods Greedy
Local Search Metaheuristics MOAI (機械学習+数理最適化) ⼤規模インスタンスに対する 誤差の⼩さい解を⾼速計算 + (近似解)誤差⼤ -
Extendability 拡張可能性 問題の拡張が容易 単純でモジュール化 されたアルゴリズム 複雑でモジュール化されていない アルゴリズム 問題の拡張が難しい (もしくは多⼤な 追加費⽤/時間がかかる)
数理最適化モデリング⾔語で 記述可能な付加条件 数理最適化モデリング⾔語で 記述が難しい付加条件 買収によって様々な問題に対応 開発者の退職によってメンテが悪化 新しい機能の追加が不可能 -
Range 適応範囲 狭い: 特化した問題に 対するソリューション Optimind Lyna Logics Asprova Flexche
Forecast Pro SAP IBP Panasonic (Blue Yonder; JDA; i2) c3.ai o9.solutions Coupa (Llamasoft) Optilogic 広い: SCMの幅広い範囲 をカバー Anaplan Streamline • 配送 • スケジューリング • 予測 に対する個別ソリューション • ネットワーク設計 • 配送 • 多段階在庫 • 予測 • 多段階在庫 • + ERP 各々得意分野はあるが ほとんどすべての機能 + ERP -
Implementation time/cost 導⼊速度/費⽤ ⽐較的安価で短時間 Coupa (Llamasoft) ⾼価で時間がかかる 企業規模⼤ 買収で機能を追加 プログラム設計者がすでに退職
Optilogic 数理最適化モデル をユーザーに公開 DB Schema GUI 企業規模⼩ プログラム設計者が現職 SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche -
Extendability, Range, Impl. Timeのトレードオフ 拡張が容易 拡張が難しい Extendability 狭い 広い Range
安価で短時間 Implementation time/ cost ⾼価で時間がかかる SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche Forecast Pro Coupa Optilogic Anaplan Streamline -
MOAIソリューション 拡張が容易 拡張が難しい Extendability 狭い 広い Range 安価で短時間 Implementation time/
cost ⾼価で時間がかかる SAP IBP Panasonic (BY) c3.ai o9solutions Optimind Lyna Logics Asprova Flexche Forecast Pro Coupa Optilogic Anaplan Streamline + SCML (Supply Chain Modeling Language) Supply Chain全体をカバー 最先端の最適化ソリューション モジュール化とClass APIによって ユーザーがモデルを拡張可能 -
MOAIソリューション • サプライチェーン ü ロジスティクス・ネットワーク設計 ü サプライチェーン・リスク分析 • 需要予測・在庫コントロール ü
深層(機械)学習による需要予測 ü 動的在庫コントロール ü 動的価格付け • ⽣産計画 ü 安全在庫配置 ü ロットサイズ ü スケジューリング • 輸配送計画 ü サービス・ネットワーク設計 ü 配送計画 ü 船舶スケジューリング 個々のモジュールをSCMLで有機的に結合 -
MOAI サプライチェーン・ソリューション Logistics Network Design Safety Stock Allocation Lot-sizing Scheduling
Multi-period Vehicle Routing Ship Scheduling Inventory Vehicle Routing Demand Forecasting Machine (Deep) Learning End-to-End Learning Dynamic Inventory Control Dynamic Pricing Supply Chain Risk Analysis Plant DC Demand Point Supply ⽣産計画 輸配送計画 需要予測・在庫コントロール -
MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling
Inventory Push Pull Boundary Customer demand Guaranteed Lead Time 単なるスケジューラー(処理的IT)ではなく,複数の最適化技術を融合 安全在庫配置モデル (⼀般有向グラフ10000点を最適化) -
MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling
4 6 3 7 8 1 3 5 4 2 5 20 21 7 demand production 16 10 7 0 13 12 9 4 0 5 0 inventory 容量制約付きロットサイズ最適化モデル (ERPの⼭崩しヒューリスティクスを3割以上改善) -
MOAI ⽣産計画ソリューション Bill Of Materials Safety Stock Allocation Lot-sizing Scheduling
Resource Network Ganntʼs Chart スケジューリング最適化モデル (10万以上のタスクを最適化) -
MOAI 輸送ネットワーク・ソリューション Service Network Design Multi-period Vehicle Routing Ship Scheduling
Inventory Vehicle Routing 10000地点×30⽇分の配送最適化