An Introduction to Combinatorial Optimization through Traveling Salesman Problem

Slide 1

Slide 1 text

組合せ最適化⼊⾨巡回セールスマン問題を中⼼に⼤阪⼤学⼤学院情報科学研究科梅⾕俊治 2019年7⽉19⽇

Slide 2

Slide 2 text

講演の概要 • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 2

Slide 3

Slide 3 text

講演の概要 • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 3

Slide 4

Slide 4 text

数理最適化による問題解決アプローチ • ビッグデータが取得・処理できた︕ビッグデータが分析できた︕ ところで，どうやって意思決定・問題解決を実現すれば良い︖ • 数理最適化は意思決定・問題解決のための1つの⼿段*． • 最適化問題＝制約条件を満たす解の中で⽬的関数を最⼩(最⼤)にする解を求める問題． • 最適化問題に定式化+アルゴリズムの開発・適⽤+(近似)最適解の分析・検証+最適化モデルの検証． 4 現実世界数理の世界⾃動翻訳電⼒運⽤医療診断最適化物流・配送計画資産運⽤信号処理制御機械学習待ち⾏列数値解析情報理論学術から産業まで幅広い分野の事例が最適化問題に定式化できる *個⼈的には，数理最適化がAIと銘打ってプレスリリースされる事例が少なくない気がします．

Slide 5

Slide 5 text

数理最適化による問題解決アプローチ • ビッグデータが取得・処理できた︕ビッグデータが分析できた︕ ところで，どうやって意思決定・問題解決を実現すれば良い︖ • 数理最適化は意思決定・問題解決のための1つの⼿段*． • 最適化問題＝制約条件を満たす解の中で⽬的関数を最⼩(最⼤)にする解を求める問題． • 最適化問題に定式化+アルゴリズムの開発・適⽤+(近似)最適解の分析・検証+最適化モデルの検証． 5 現実問題最適化モデル ( 近似 ) 最適解解決策定式化アルゴリズムの開発と適⽤分析・検証最適化モデルの修正 *個⼈的には，数理最適化がAIと銘打ってプレスリリースされる事例が少なくない気がします．

Slide 6

Slide 6 text

最適化問題に定式化する • あるワイン⽣産⼯場では，3種類のブドウ，カベルネ，メルロー，セミヨンを原料として，3種類のワイン，⾚ワイン，⽩ワイン，ロゼワインを製造している． • 収益が最⼤となる各ワインの製造量を求めよ． 6 種類⾚ワイン⽩ワインロゼワイン最⼤供給量カベルネ 2 0 0 4(t) メルロー 1 0 2 8(t) セミヨン 0 3 1 6(t) 収益 3 4 2 (百万円) → 収益を最⼤化 → カベルネの使⽤量は4t以内 → メルローの使⽤量は8t以内 → セミヨンの使⽤量は6t以内 → 各ワインの製造量は⾮負 maximize 3x1 + 4x2 + 2x3 subject to 2x1  4, x1 + 2x3  8, 3x2 + x3  6, x1 , x2 , x3 0.

Slide 7

Slide 7 text

線形計画問題と整数計画問題 • 線形計画問題(Linear Program; LP) ü 線形制約の下で線形関数を最⼩化（最⼤化） • 整数計画問題(Integer Program; IP) ü 広義︓変数に整数条件の付いた最適化問題 ü 狭義︓線形計画問題＋変数の整数条件 7 連続変数と整数変数が混在する問題は，混合整数計画問題(Mixed Integer Program; MIP) LPの実⾏可能領域 IPの実⾏可能領域 MIPの実⾏可能領域のようにベクトルと⾏列を⽤いて書く場合も多い．

Slide 8

Slide 8 text

組合せ最適化問題とその応⽤事例 • 組合せ最適化問題＝探索空間が離散的であるもしくは離散的なものに減らせる最適化問題，解が集合，順序，割り当て，グラフ，論理，整数などの離散構造で記述される場合が多い． 8 多くの現実問題が組合せ最適化問題に定式化できる

Slide 9

Slide 9 text

講演の概要 • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 9

Slide 10

Slide 10 text

組合せ最適化問題の難しさ • n都市をちょうど1回ずつ訪問する最短の巡回路を求める巡回セールスマン問題の解候補を列挙すると通り． 10 Newsweek, July 26, 1954 PCB3038 D15112 都市数巡回路の総数計算時間(秒) 6 60 4.32×10-10 8 2520 3.23×10-8 10 1.81×105 3.63×10-6 15 4.36×1010 1.96 20 6.08×1016 4.87×106 約56⽇ 25 3.10×1023 3.88×1013 約122万年 30 4.42×1030 7.96×1020 約25233億年 100TFlopsのコンピュータを⽤いて巡回路を列挙したときの計算時間全ての解を列挙することは現実的には不可能⼤規模な巡回セールスマン問題を解く必要が⽣じることは少なくない

Slide 11

Slide 11 text

問題の難しさの評価 • 問題(problem)の難しさとは︖ • アルゴリズム(algorithm)によって求解に必要な計算時間は異なる． • 問題例(instance)によって求解に必要な計算時間は異なる． • アルゴリズムの性能︓「全て」の問題例に適⽤した際の最悪計算時間 • 問題の難しさ︓「全て」のアルゴリズムの最良計算時間 11 問題S 問題Sを解くアルゴリズムの集合 A 1 問題例I 1 *このスライドでは問題例の規模は全て同じものと考える．

Slide 12

Slide 12 text

アルゴリズムの計算量の評価 • 計算量(computational complexity) ü ⼊⼒データ⻑Nの問題例に対して，アルゴリズムの実⾏に必要な計算時間(時間量) アルゴリズムの実⾏に必要なメモリ領域の⼤きさ(領域量) を，それぞれNを変数とする関数で表したもの*． • オーダ表記 ü アルゴリズムの細部の違いを除外して計算量を評価するための記法． ü はオーダーと呼び，ある定数cとN 0 が存在して，となるNに対して常にが成⽴することを表す．例えば，N2, 100N2, 1000N + 2N2などは全てO(N2)と表せる． 12 *計算量については時間量のみ議論されることが多い．

Slide 13

Slide 13 text

簡単な問題と難しい問題 • 多項式時間アルゴリズム(polynomial time algorithm) ü 多項式オーダーの時間計算量を持つアルゴリズム ü 多項式オーダー︓⼊⼒Nに対してある定数kを⽤いてO(Nk)と書ける関数． ü 例えば，O(log N), O(N), O(N log N), O(N2), O(N3)など． • クラスP(polynomial time solvable) ü 多項式時間アルゴリズムが存在する問題の集合． ü 例えば，最短路問題，割当て問題など． • 難しい問題とは︖ ü 指数時間で解けるではなく「多項式時間で解けない」ことを⽰したい︕ ü 多項式時間アルゴリズムが存在しないことを証明するのは⾮常に困難． 13 簡単な問題クラスNP完全，クラスNP困難

Slide 14

Slide 14 text

決定問題と最適化問題 • 決定問題(decision problem) ü 出⼒データ⻑は計算量に含めたくない → Yes/Noを出⼒とする問題 ü 計算の複雑さの理論では決定問題について考えることが多い． 14 ハミルトン閉路問題全ての頂点をちょうど⼀度ずつ通過して出発点に戻る路が存在するか︖ 巡回セールスマン問題(最適化問題) 最短の巡回路を求めよ巡回セールスマン問題(決定問題) ⻑さK以下の巡回路は存在するか︖

Slide 15

Slide 15 text

問題の複雑さのクラス • 多項式時間変換(polynomial time transformation) ü 問題Aを問題Bに変換する多項式時間アルゴリズムを与える． ü 例えば，ハミルトン閉路問題で，辺のある頂点間の距離を0，それ以外の頂点間の距離を1とすれば，巡回セールスマン問題に変換できる． ü 問題Bが多項式時間で解ける → 問題Aが多項式時間で解ける． 15 「問題Bの複雑さ ≧ 問題Aの複雑さ」が⽰せる問題A 問題Aを問題Bに変換する多項式時間アルゴリズム問題B 問題Bを解くアルゴリズム Yes / No 問題Aを解くアルゴリズム

Slide 16

Slide 16 text

クラスNP • クラスNP(non-deterministic polynomial solvable)* ü 問題例に対する解がYesの場合に，その証拠が正しいことを多項式時間でチェックできる問題の集合． ü 処理の分岐に達したときに都合の良い⽅を選んで処理を進める⾮決定性計算の下で，多項式時間で解ける問題の集合に由来する． ü 定義より「クラスP ⊆クラス NP」である． 16 *決して「non-polynomial solvable」ではないので要注意． 1 2 3 4 5 6 7 8 9 10 答えYesに対する証拠 P = {1,2,7,3,4,9,6,8,10,5} 1. 全ての頂点をただ⼀度だけ通過しているか︖ 2. 通過した各頂点間に枝はあるか︖ 実務に現れる多くの組合せ問題はクラスNPに含まれるハミルトン閉路問題

Slide 17

Slide 17 text

NP完全問題 • NP完全問題(NP-complete problem) ü ⼀⾔でいえば「クラスNPの中で最も難しい問題」 ü クラスNPに含まれる全ての問題を問題Aに多項式時間変換できるとき，問題AをNP完全問題と呼ぶ． • クックの定理(Cookʼs theorem) ü 充⾜可能性問題(satisfiability problem; SAT)はNP完全問題である． 17 クラスNP 充⾜可能性問題ハミルトン閉路問題頂点被覆問題多項式時間変換巡回セールスマン問題 SAT以降は多項式時間変換で NP完全性を証明できる

Slide 18

Slide 18 text

NP困難問題 • NP困難問題(NP-hard problem) ü NP完全問題から多項式時間変換が可能な問題の集合．例えば，巡回セールスマン問題(最適化問題)は，巡回セールスマン問題 (決定問題)から多項式時間変換できる． ü クラスNPに含まれない問題も含む． 18 クラスNP完全クラスNP クラスNP困難実務に現れる多くの組合せ最適化問題はNP困難

Slide 19

Slide 19 text

P≠NP問題 • 数学における最⼤の未解決問題の1つ． • クラスNPの定義より「クラスP⊆クラスNP」． • あるNP完全問題に対して多項式時間アルゴリズムが存在すれば「クラスP=クラスNP」が⽰される． • 数多くのNP完全問題が知られているにも関わらず，多項式時間で解けた問題は1つもない︕ • おそらくP≠NPであろうと予想する研究者は多いが「多項式時間で解けない」ことの証明はやはり⾮常に困難． 19 クラスP クラスNP完全クラスNP P≠NP? クラスP=NP P=NP?

Slide 20

Slide 20 text

NP困難な組合せ最適化問題の解法 • 厳密解法(exact algorithm) ü 任意の問題例に対して最適解を1つ出⼒する．指数時間アルゴリズム．例︓列挙法，分枝限定法，動的計画法など． • 近似解法(approximation algorithm)* ü 任意の問題例に対する精度保証を持つ実⾏可能解を1つ出⼒する．その多くは多項式時間アルゴリズム．例︓貪欲法，動的計画法など． • 発⾒的解法(heuristic algorithm) ü 最適値に対する精度保証が⽰されていない実⾏可能解を1つ出⼒するアルゴリズム．例︓貪欲法，局所探索法，メタヒューリスティクスなど． 20 *近似解法と発⾒的解法を区別なく全て近似解法と呼ぶこともある．特に，前者を精度保証付き近似解法と呼ぶこともある．

Slide 21

Slide 21 text

講演の概要 • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 21

Slide 22

Slide 22 text

近似解法の評価 • 以下の条件を満たすアルゴリズムAをR A -近似アルゴリズムと呼ぶ． ü アルゴリズムAは多項式時間アルゴリズム． ü 問題例IにアルゴリズムAを適⽤して得られた解の⽬的関数値をA(I)，最適値をOPT(I)とするとき，任意の問題例Iに対して以下の式が成⽴する． • NP困難問題は，さらに以下の3つのクラスに分類できる． ü どんなに⼩さな正の定数εに対しても(1+ε)近似アルゴリズムが存在する． ü ある定数εに対して(1+ε)近似アルゴリズムが存在するが，定数εに下限が存在する． ü 定数近似アルゴリズムが存在しない*． 22 *正確には，定数近似アルゴリズムが存在すればNP完全問題が多項式時間で解ける．最⼤化問題ならば

Slide 23

Slide 23 text

近似解法の精度保証 • 同時に緩和問題を解いて下界も求めるアルゴリズムを設計できれば，任意の問題例に対して精度を保証できる場合がある*． • 緩和問題︓原問題の⼀部の制約条件を緩めた問題 • 線形計画緩和問題︓整数変数の整数条件を外す→線形計画問題 23 最⼩化最適値上界下界実⾏不可能実⾏可能整数計画問題線形計画緩和問題⽬的関数値線形計画緩和問題の実⾏可能領域整数計画問題の実⾏可能領域 *独⽴に緩和問題を解いて下界を求めれば，近似解の精度を(保証はできないが)評価できる．

Slide 24

Slide 24 text

ナップサック問題 • 最⼤でc(>0)の重さまで荷物を詰め込める袋が1つとn個の荷物が与えられる．重さの合計がcを超えない範囲で荷物の価値の合計が最⼤となる詰込み⽅は︖ 24 袋に詰め込める重さ合計の上限(定数) 荷物iの重さ(定数) 荷物iの価値(定数) 荷物iを袋に詰め込む→x i =1, つめ込まない→x i =0(変数) c : wi : pi : xi : max n X i=1 pi xi s.t. n X i=1 wi xi  c, xi 2 {0, 1}, i = 1, ... , n.

Slide 25

Slide 25 text

ナップサック問題の1/2-近似解法 • ナップサック問題の線形計画緩和解は簡単に求められる． 25 荷物をと並べ直すとLP緩和解は以下の通りはかつを満たすkを⽤いて詰め込めるだけ詰め込んで袋からはみ出したところで荷物を切る切り分け可能

Slide 26

Slide 26 text

ナップサック問題の1/2-近似解法 • 下記の2通りの解の⽬的関数値の良い⽅をA(I)とする ü LP緩和解から(k+1)番⽬の荷物を除いて得られる解 → 貪欲法 ü 最も価値の⾼い荷物を1つだけ詰めて得られる解 • LP緩和解の最適値をLP(I)とすると 26 以上より

Slide 27

Slide 27 text

巡回セールスマン問題 • 都市の集合と各2都市間の移動コスト(例えば距離)が与えられたとき，全ての都市をちょうど⼀度ずつ訪問し，出発した都市に戻る巡回路の中で総移動コストが最⼩となるものを求める問題． • ⾮対称TSP︓都市間の距離が向きにより異なっても良い． • 対称TSP︓都市間の距離は向きによらず同じ． • △TSP︓都市間の距離が三⾓不等式を満たす． • ユークリッドTSP︓都市はd次元空間内の点，都市間の距離は 2点間のユークリッド距離で与えられる． 27 Newsweek, July 26, 1954 PCB3038 D15112 ⼀般特殊基板のドリル⽳あけ計画，配送計画などの応⽤を持つ

Slide 28

Slide 28 text

巡回セールスマン問題の近似困難性 • ⼀般の巡回セールスマン問題では以下の定理が成⽴する． • 「最適巡回路のr倍以下の巡回路が存在するか︖」という問題はNP完全問題である． • 巡回セールスマン問題に対するr近似アルゴリズムAが存在すると，アルゴリズムAを⽤いてハミルトン閉路問題が解けてしまう︕ 28 ハミルトン閉路問題の⼊⼒I ハミルトン閉路問題を巡回セールスマン問題に変換するアルゴリズム巡回セールスマン問題の r近似アルゴリズム Yes / No 巡回セールスマン問題の⼊⼒Iʼ 多項式時間の変換アルゴリズムが作れる

Slide 29

Slide 29 text

巡回セールスマン問題の近似困難性 • ハミルトン閉路問題を巡回セールスマン問題に変換する ü ハミルトン閉路が存在する ⇔ 最適解の巡回路⻑ = n ü ハミルトン閉路が存在しない ⇔ 最適解の巡回路⻑ > rn どの巡回路も距離 rn の枝を少なくとも1本通るので，最適解の巡回路⻑は rn + (n-1) ≧ rn + 1 > rn となる． • ここで，r近似アルゴリズムを適⽤すると… ü A(I) > rn ならば → A(I) ≦ r OPT(I) より OPT(I) > n ü A(I) ≦ rn ならば → 巡回路の枝の距離は全て1なので OPT(I) = n 29 ハミルトン閉路問題巡回セールスマン問題 1 1 1 rn (i,j)がグラフの枝 otherwise 都市(i,j)間の距離

Slide 30

Slide 30 text

巡回セールスマン問題に対する解法* • 構築法(construction method) ü 最⼩全域⽊を⽤いた2-近似解法，Christofidesの1.5-近似解法 ü 最近追加法，最近挿⼊法 ü 最近近傍法 ü 貪欲法 ü 節約法 ü 凸包挿⼊法 ü Karpの分割法 ü その他 • 改善法(improvement method) ü 2-opt法，3-opt法，Or-opt法 ü Lin-Kernighan法 ü 焼きなまし法 ü 遺伝的アルゴリズム ü タブー探索法 ü その他 30 *ここでは，近似解法と発⾒的解法のみ紹介している．

Slide 31

Slide 31 text

最⼩全域⽊を⽤いた2-近似解法 • 貪欲法を⽤いて最⼩全域⽊を求める(クラスカル法，プリム法など)． • 最⼩全域⽊に沿って全ての都市を巡回する*． • ⼀度訪れた都市は⾶ばして全ての都市を⼀度だけ訪問するように巡回路を繋ぎ替える． 31 ＜最⼩全域⽊最適巡回路 ≧ 最⼩全域⽊に沿って全ての都市を訪問出⼒された巡回路各都市を⼀度ずつ訪問するように修正 MST(I) OPT(I) 2MST(I) A(I) < 2MST(I) < 2OPT(I) A(I) *同じ都市を複数回訪れても構わないので正確には巡回路ではない．

Slide 32

Slide 32 text

最⼩全域⽊問題 • 有向グラフG=(V,E)，各辺 (i,j)∈E の⻑さc ij >0が与えられる． • グラフGの全点を繋ぐ辺の部分集合T⊆Eで距離の和が最⼩のものは︖ • クラスカル法，プリム法など多項式時間アルゴリズムが存在する． 32 3 5 4 2 3 2 3 1 2 3 4 最⼩全域⽊閉路を持つ辺集合閉路を持つと距離の和は最⼩にならない全点を繋いでいない辺集合

Slide 33

Slide 33 text

クラスカル法 • 距離の⼩さい順に辺を追加する． • 各反復では閉路ができないように距離最⼩の辺を追加する． 33 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4

Slide 34

Slide 34 text

プリム法 • 適当な点sを根とし辺を⼀つずつ追加して⽊を成⻑させる． • 各反復では閉路ができないように距離最⼩の辺を追加する． 34 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4 2 5 7 9 8 9 4

Slide 35

Slide 35 text

最近追加法(2-近似アルゴリズム) • 部分巡回路Tに都市を1つずつ追加する操作を繰り返す． • 部分巡回路Tからの距離d(T,i)が最⼩となる都市iを選ぶ． • 都市jと隣接する都市kの間の辺(k,j)を繋ぎ替えて巡回路を更新する． 35 部分巡回路T 枝(k,j)もしくは枝(j,l)を繋ぎ替える最近挿⼊法 d(i,k)+d(i,j)-d(k,j)が最⼩となる都市k,jの間に都市iを挿⼊するように辺を繋ぎ替える．

Slide 36

Slide 36 text

Christofidesの1.5-近似アルゴリズム • 貪欲法を⽤いて最⼩全域⽊を求める(クラスカル法，プリム法など) • 次数が奇数の都市に対する最⼩重みマッチングを求める(主双対法など)． • 選んだ枝に沿って全ての都市を巡回する． • ⼀度訪れた都市は⾶ばして全ての都市を⼀度だけ訪問するように巡回路を繋ぎ替える． 36 x2 ≦ 最⼩全域⽊最適巡回路最⼩重みマッチング最⼩全域⽊で次数が奇数の都市出⼒された巡回路 MST(I) OPT(I) A(I) MWM(I) A(I) < MST(I)+MWM(I) < 1.5OPT(I)

Slide 37

Slide 37 text

最近近傍法* • 出発する都市を適当に選ぶ． • いま訪問している都市から最も近い未訪問の都市に移動する． • 全ての都市を訪問したら出発した都市に戻る． 37 *データマイニングにおけるk-近傍法と名前が似ているので注意すること．

Slide 38

Slide 38 text

貪欲法 • 部分閉路が⽣じたり，各都市の次数が2を超えないように，距離の短い枝から順に加える． 38 部分巡回路次数が2を超える都市

Slide 39

Slide 39 text

節約法* • 適当な都市を選び(都市0とする)，そこから全ての都市を往復する巡回路を考える． • 都市0以外の各都市間(i,j)について，都市i,jを繋ぐことで削減できる距離(セービング値)を計算し，セービング値の降順に整列する． • 巡回路ができるまでセービング値の降順に都市の組i,jを繋ぐ． 39 都市0 都市i 都市j 都市0 都市i 都市j セービング値 *時間枠付き配送計画問題では節約法が使われる場合が多い．

Slide 40

Slide 40 text

節約法 40 2 1 3 1 4 4 セービング値 =2+3-1=4 2 1 3 4 4 1 5 セービング値 =4+4-5=3 2 1 3 4 4 5 1 3 セービング値 =1+4-3=2 2 1 3 4 5 1 3 3 セービング値 =3+1-3=1 2 1 4 5 3 3 • 適当な都市を選び(都市0とする)，そこから全ての都市を往復する巡回路を考える． • 都市0以外の各都市間(i,j)について，都市i,jを繋ぐことで削減できる距離(セービング値)を計算し，セービング値の降順に整列する． • 巡回路ができるまでセービング値の降順に都市の組i,jを繋ぐ．

Slide 41

Slide 41 text

凸包挿⼊法 • 凸包＝全ての頂点を含む最⼩の凸多⾓形 • 都市の凸包を初期の部分巡回路とする． • 部分巡回路上にない各都市kについて min{c ik +c kj -c ij } を部分巡回路上の連続した都市i,jについて計算し，挿⼊する場所を求める． • 上記で求めたi,j,kの組について min(c ik +c kj )/c ij を達成するi*,j*,k*を求めて，都市k*を都市i*,j*の間に挿⼊する． 41

Slide 42

Slide 42 text

Karpの分割法 • 各都市をバケットに⼊れて，バケット毎の最適な巡回路を求める． • 各バケットから代表都市を選出し，代表都市に対する巡回路を求める． • バケット毎の巡回路と代表都市に対する巡回路を合わせる． • ⼀度訪れた都市は⾶ばして全ての都市を⼀度だけ訪問するように巡回路を繋ぎ替える． 42

Slide 43

Slide 43 text

構築法の実験的評価 • 100都市の問題例5題に対して，各構築法を実⾏したときの最適値からの誤差(%)を⽐較． 43 問題番号/都市数解法 24/100 25/100 26/100 27/100 28/100 平均 Christofides(1.5-近似) 7.53 3.93 5.36 14.44 8.51 7.95 最近挿⼊法(2-近似) 18.69 17.81 22.96 14.44 20.33 18.85 最近近傍法 16.67 16.88 13.35 16.51 13.27 15.34 節約法 1.62 3.77 6.37 3.41 2.85 3.60 最遠近傍法 5.14 6.97 3.17 1.99 7.42 4.94 凸包挿⼊法 3.64 2.52 2.54 2.35 3.45 2.90 出典︓ E.L.Lawler, J.K.Lenstra, A.H.G.Rinnooy and D.B.Shmoys,“The Traveling Salesman Problem”, John-Wiley and Sons (1985)

Slide 44

Slide 44 text

局所探索法 • 適当な初期解 x から始めて，現在の解 x の近傍 xʼ∈NB(x)に改善解があれば移動する(近傍探索)． • 勾配法では微分∇f(x)を⽤いるが，局所探索法では差分 Δf(x) = f(xʼ) – f(x)を⽤いて探索⽅向を決定する． • 0-1整数計画問題の近傍の例 ü 1-flip近傍︓xj =0→1 (or 1→0) ü 2-flip近傍︓xj1 =1→0, xj2 =0→1 44 初期解局所最適解近傍初期解の⽣成近傍解の⽣成と評価近傍内に改善解あり︖ 改善解に移動局所最適解 yes no

Slide 45

Slide 45 text

2-opt法 • 現在の巡回路から辺を2本交換する． • 巡回路を順列で表現している場合は⼀部を反転する操作に対応する． 45 巡回順順列を反転

Slide 46

Slide 46 text

3-opt法, Or-opt法 • 3-opt法︓現在の巡回路から辺を3本交換する． • Or-opt法︓部分路を別の場所に挿⼊する． 46 3-opt近傍の例 Or-opt近傍の例 *時間枠付き配送計画問題ではOr-opt法が使われる場合が多い．

Slide 47

Slide 47 text

Lin-Kernighan法* • 巡回路⻑が短くなる間は，続けて繋ぎ替えることで近傍解を⽣成する． 47 i1 i2 i1 i2 i1 i2 i3 i4 i1 i4 i3 i2 = i1 i4 i6 i5 *基本的なアイデアの紹介のみです．

Slide 48

Slide 48 text

2-opt法の効率化 • 現在の巡回路から辺{i 1 ,i 2 }と{i 3 ,i 4 }を除き，辺{i 2 ,i 3 }と{i 4 ,i 1 }を加える 2-opt近傍の操作を考える． • [Step1] 辺{i 1 ,i 2 }を削除して{i 2 ,i 3 }を追加し，[Step2] 辺{i 3 ,i 4 }を削除して{i 1 ,i 4 }を追加すると2段階に分ける． • が成り⽴つためには , の少なくとも⼀⽅が成⽴しているはず． • 削除する辺{i 1 ,i 2 }を決めたら追加する辺{i 2 ,i 3 }はを満たす辺に限定する． 48

Slide 49

Slide 49 text

2-opt法の効率化 • 最適巡回路は近隣の都市間を繋ぐ枝を含む場合が多い． • 各都市に対して近隣にある都市を列挙して隣接リストに保持する． • 平⾯上の巡回セールスマン問題であれば，k-d⽊などのデータ構造を⽤いて近隣にある都市を⾼速に検索できる． 49 1 2 3 4 5 6 7 8 9 10 11 12 13 15 16 14 2,3,5,16 領域分割を繰返して都市をクラスタに分割する 1,3,4 2,4,5 1,2,4,5 3,16,15,14 6,7,10,11 8,9,13,12 cutdim=x cutval=x(14) cutdim=y cutval=y(2) cutdim=y cutval=y(6) ⽣成されたk-d⽊

Slide 50

Slide 50 text

改善法の実験的評価 • 平⾯上にランダムに都市を配置した問題例に対するHeld-Karp下界値からの誤差(%)（上表）と計算時間(秒)（下表）． 50 %!$ (&" '#" %!$ (&" '#" 出典︓ E.L.Lawler, J.K.Lenstra, A.H.G.Rinnooy and D.B.Shmoys,“The Traveling Salesman Problem”, John-Wiley and Sons (1985)

Slide 51

Slide 51 text

講演の概要 • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 51

Slide 52

Slide 52 text

メタヒューリスティクス • ヒューリスティクス üもともとは発⾒的法則，経験則に基づく問題解決の⽅法を指す．それが転じて，最適化問題における最適性の保証のないアルゴリズムの総称として呼ばれる． • メタヒューリスティクス ü最適化問題に対する実⽤的なアルゴリズムを設計するための⼀般的な枠組み(レシピ集)，もしくはそのような考え⽅に従って設計された様々なアルゴリズムの総称として呼ばれる． üアニーリング法，タブー探索法，遺伝アルゴリズムを始めとして多くの探索戦略が提案されている． ü⾃然現象にアナロジーを持つ⼿法が多いが，⾃然現象を模倣すればアルゴリズムの性能が良くなるわけではない． 52

Slide 53

Slide 53 text

メタヒューリスティクス • 多くの最適化問題は近接最適性(良い解の近くに良い解がある)と多峰性(局所最適解が多数存在する)を持つ． • 近似解法の基本戦略は貪欲法(構築法)と局所探索法(改善法)． • 貪欲法や局所探索法などの基本的な⼿法に様々な⼿法を組み合わせて，探索の集中化と多様化をバランス良く実現する． • 計算の効率化，探索空間の削減，問題構造の利⽤など，アルゴリズム，最適化，離散数学の知識を活⽤すれば⾼性能なメタヒューリスティクスを開発できる． 53 解空間⽬的関数値⼤域最適解局所最適解

Slide 54

Slide 54 text

メタヒューリスティクスの実現 • メタヒューリスティクスが向いている場合 ü厳密な最適解を求めるのが困難である効率的な解法が知られている or 問題規模が⼗分に⼩さい場合は向かない． ü解の評価が⾼速にできる評価関数がblack-boxで評価にシミュレーションや実験を要する場合は向かない． ü近接最適性が成り⽴つ微⼩な変形で評価関数の値が⼤きく変わる場合は向かない． • メタヒューリスティクスの多くは局所探索法の⼀般化なので，まずは⾼性能な局所探索法を設計することが重要． • 局所探索法では，探索空間，解の評価，近傍の定義，移動戦略などの各要素を注意深く設計することで⾼性能なアルゴリズムを実現できる． 54

Slide 55

Slide 55 text

探索空間 • 問題によっては実⾏可能領域とは異なる探索空間を定義する⽅が有効な場合も多い． • 探索空間の定義は⼤きく以下の3通りに分類できる． a. 実⾏可能解のみ探索する． b. 実⾏不可能解も含めて探索する →実⾏不可能解の評価が必要 c. 解空間とは異なる探索空間を導⼊して，探索空間から解空間への写像を⽤いて探索する． 55 a. 実⾏可能解のみ探索 b. 実⾏不可能解も探索 c. 解空間と異なる探索空間を導⼊実⾏可能領域実⾏不可能領域実⾏可能領域探索空間解空間

Slide 56

Slide 56 text

実⾏不可能領域の探索 • 実⾏可能解を1つ⾒つけることも⾮常に難しい問題も少なくない． • 制約条件を緩和して実⾏不可能解も探索空間に含める． • 各制約iに対する違反度に重みwiを掛けた値をペナルティとして⽬的関数に加える． • ペナルティ重みwiの設定は容易ではないので適応的に調整する．(実⾏可能領域の境界近辺を集中的に探索できると嬉しい) 56 各制約式の重みパラメータを適応的に増減しつつ探索する違反度実⾏不可能領域実⾏可能領域有望な解が含まれる領域

Slide 57

Slide 57 text

解空間と異なる探索空間 • ⻑⽅形詰込み問題の例 ü BL法(Bottom-Left Algorithm)︓順列σの順にBL点に⻑⽅形を配置する． ü BL点︓配置可能な最も低い位置の中で最も左の位置． ü 順列σ全ての集合を探索空間として，対応する配置の⽬的関数でσを評価する． 57 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 s : 1 2 3 4 5 6 7 8 の場合 1 2 3 4 5 6 7 8 s : 8 7 6 5 4 3 2 1 の場合 1 2 3 4 5 6 7 8

Slide 58

Slide 58 text

移動戦略 • 近傍内に改善解は複数存在するので，近傍の探索順序や改善解の選択で局所探索法の振る舞いは⼤きく変わる． • 即時移動戦略 ü 近傍内の解をランダムあるいは⼀定の順序で調べて，最初に⾒つかった改善解に移動する． • 最良移動戦略 ü 近傍内の全ての解を調べた上で最良の改善解に移動する． • 適当な初期解から始めて局所最適解にたどり着くまでの時間は即時移動戦略の⽅が短い． • 即時移動戦略では，近傍内の解の探索順序が局所探索法の性能に影響をあたえるので，近傍内の探索に極端な偏りが⽣じないように実装する必要がある． 58

Slide 59

Slide 59 text

評価関数の計算の効率化 • 近傍操作ではごく少数の変数のみ値が変化するため，現在の解xと近傍解 xʼ ∈NB(x) の間で値が変化した変数に関わる部分のみ再計算すれば，評価関数値の変化量 Δz(x) = z(xʼ) – z(x) を⾼速に計算できる場合が多い． • 局所探索法では，近傍内の解を評価する回数に⽐べて，現在の解が移動する回数ははるかに少ないので，補助記憶の更新に多少時間がかかっても，全体では⼗分な⾼速化が実現できる． 59 評価関数の変化量補助記憶係数⾏列補助記憶を利⽤すれば定数時間で計算できる疎な⾏列だと効率良く補助記憶が更新できる本来は⽬的関数と制約条件の評価に⼊⼒サイズの計算量が必要 A b c

Slide 60

Slide 60 text

メタヒューリスティクスの枠組み • 局所探索法を1回適⽤しただけでは精度の悪い局所最適解しか得られないので，探索の集中化と多様化を実現する⼿法を導⼊する． • 集中化︓過去の探索で得られた良い解に似通った構造を持つ解を集中的に探索する． • 多様化︓探索が狭い領域で停滞するのを避けるために，未探索の領域を強制的に探索する． 60 ① 複数の初期解に対して局所探索法を適⽤する． a. ランダムに初期解を⽣成する． b. 貪欲法を適⽤する． c. 過去の探索で得られた良い解に変形を加える． ② 改悪解への移動を許容して局所最適解から探索を再開する． ③ ⽬的関数 f と異なる評価関数を解の評価に⽤いて探索を制御する．

Slide 61

Slide 61 text

多スタート局所探索法 • ランダムに⽣成した解を初期解として局所探索法を適⽤する⼿続きを終了条件が満たされるまで繰返し，終了時点における最良解を出⼒する． • 各試⾏が独⽴なため，局所探索法の反復回数を増やしてもより良い解が得られる効果は急速に⼩さくなる． 61 解空間⽬的関数値

Slide 62

Slide 62 text

ランダム化貪欲法 • 貪欲法にランダム性を組み込むことにより多様な解を構築する． • 構築された解を局所探索法で改善する． • 巡回セールスマン問題の例︓ 1. 適当な都市を選ぶ 2. 最も近い都市へ移動する 3. 全ての都市を訪問したら終了 • ランダム性を組み込む⽅法 → ステップ2を修正 2. 近い⽅から3番⽬までの都市をランダムに選ぶ 2ʼ. 距離に反⽐例した確率で選ぶ 2ʼʼ. 最も近い都市への距離の1.1倍以内の都市から選ぶ 62

Slide 63

Slide 63 text

アント法 • ランダム性を導⼊した貪欲法において，部分解の評価に過去の探索で得た知⾒(フェロモン)を⽤いる． • 良い解に含まれる枝に得点を与える．総距離︓⼩ → 得点︓⼤ • 距離が⼩さく得点の⼤きい枝を⾼確率で選ぶ． • 得点は蓄積する．ただし，古い得点は徐々に減る． 63 総距離: 80 総距離: 65 総距離: 70 67.5 70 65 80 80 枝{i,j}を含む解の総距離が短い傾向 → 都市間の距離dij が多少⻑くても選ばれ易くなるように確率を制御

Slide 64

Slide 64 text

反復局所探索法 • 良い解(例︓暫定解)にランダムな摂動(キック)を加えて得られる解を初期解として，局所探索法を適⽤する⼿続きを繰返し⾏う． • 実装やパラメータの調整が簡単なので使い勝⼿が良い． 64 解空間⽬的関数値局所探索では2-opt近傍キックにdouble bridge近傍

Slide 65

Slide 65 text

可変近傍探索法 • 初期解⽣成⽤のランダムな摂動（キック）に複数の操作を⽤意 • キック前の局所最適解sB ，キック後の局所最適解sA • 解sA が解sB より悪い ® 解sB に戻り，キックを⼤きく • 解sA が解sB より良い ® 解sA より探索を続⾏．キックを⼩さく 65 局所最適解sA 近傍探索初期解⽣成局所最適解sB

Slide 66

Slide 66 text

遺伝的アルゴリズム • 染⾊体の交叉や突然変異によって新しい世代の個体が形成され，弱い個体が淘汰されて強い個体が⽣き残るという，⽣物進化のメカニズムを最適化に応⽤したアルゴリズム． 66 解集合P 新たな解集合Q 交叉突然変異淘汰次世代集合P¢ 繰返し新しい個体を局所探索法で改善する⽅法は，遺伝的局所探索法もしくはミームアルゴリズムと呼ばれる．

Slide 67

Slide 67 text

アニーリング法 • 近傍内からランダムに解を選び，改善なら移動し，改悪ならその度合と温度に応じた確率で移動する． • 遷移確率は，物理現象の焼きなまし(annealing)にアイデアを借りて，温度と呼ばれるパラメータtにより調整する． • 時間の経過に従ってt→0となり改悪時の遷移確率は限りなく0に近づく． 67 解空間⽬的関数値遷移確率 0 1

Slide 68

Slide 68 text

タブー探索法 • 近傍内で最も良い解(改悪であっても)常に移動する． • 探索済みの解に後戻りする巡回(cycling)を防ぐため，タブーリストを⽤いて後戻りを「しばらくの間」禁⽌する． 68 解空間⽬的関数値 1 2 3 4 5 現在の解タブーリスト（⻑さ３） 1 －－－ 2 1 －－ 3 1 2 － 4 1 2 3 5 2 3 4 6 3 4 5 6 タブーリストにある解には移動できない近傍内からタブーリストにある解を除いたものを次の移動先の候補とする

Slide 69

Slide 69 text

タブー探索法 • 解そのものをタブーリストに記憶すると… • ⽣成した解がタブーリストに含まれるかどうかチェックが⼤変 • 禁⽌できるのがその解だけなので同じ領域内を巡回する • 解そのものではなく移動にともなう属性(attribute)を記憶する． 69 例︓解が0-1ベクトルで表される場合解1. 1 0 1 1 0 0 1 解2. 1 0 1 0 0 0 1 1反転近傍により解1から解2に移動このビットを再び1に戻すことをしばらく禁⽌ a b c d a b c d 例︓2-opt近傍の場合 (1) 都市aを使う近傍操作を禁⽌する (2) 加えられた枝ab,cdを除く操作を禁⽌ (3) 除かれた枝ad,bcを加える操作を禁⽌ (4) j番⽬の都市dおよび，k番⽬の都市bをそれぞれj番⽬，k番⽬に置く操作を禁⽌

Slide 70

Slide 70 text

4 誘導局所探索法 • 現在の局所最適解の評価値が悪くなるように評価関数を変形する． • 直前の局所最適解が局所最適でなくなり探索が継続する． • 例︓巡回セールスマン問題 ü 局所最適解に⽤いられている枝の中で距離が⼤きくペナルティの⼩さなものにペナルティを追加する． ü ペナルティ付きの距離の総和を評価関数とする． 70 解空間評価関数値 1 2 3 4 解空間評価関数値 1 2 3 5 6 7 変形後の評価関数

Slide 71

Slide 71 text

本⽇のまとめ • 組合せ最適化問題とその応⽤ • 組合せ最適化問題の難しさ • 巡回セールスマン問題に対する近似解法と発⾒的解法 • メタヒューリスティクス 71

Slide 72

Slide 72 text

参考⽂献 • M.R.Garey, D.S.Johnson, Computers and Intractability: A Guide to the Theorey of NP-Completeness, W.H.Freeman & Company, 1979. • V.V.Vazirani, Approximation Algorithms, Springer, 2001. (浅野孝夫(訳)，近似アルゴリズム，丸善出版，2012．) • E.Aarts, K.Lenstra (eds.), Local Search in combinatorial optimization, Princeton University Press, 1997. • M.Gendreau, J.-Y.Potvin(eds.), Handbook of Metaheuristics (3rd ed.), Springer, 2019. • 渡辺治，今度こそ分かるP≠NP予想，講談社，2014． • ⼭本芳嗣，久保幹雄，巡回セールスマン問題への招待，朝倉書店，1997． • 柳浦睦憲，茨⽊俊秀，組合せ最適化―メタ戦略を中⼼として―，朝倉書店，2001． • 久保幹雄，J.P.ペドロソ，メタヒューリスティクスの数理，共⽴出版，2012． • 梅⾕俊治，メタヒューリスティクス事始め︓まずは局所探索法から，オペレーションズ・リサーチ，58 (2013)，689-694． • 今堀慎治，柳浦睦憲，概説メタヒューリスティクス，オペレーションズ・リサーチ， 58(2013)，695-702． 72