「これが最小になる値はな〜んだ？」問題_最適化問題を考える_近藤憲児

Slide 1

Slide 1 text

「これが最小になる値はな〜んだ？」問題 ~ 最適化問題を考える ~

Slide 2

Slide 2 text

ここでお話することこの関数が最小となる x の値はな〜んだ？という問題が、いろんなところで観察できるという面白い話です

Slide 3

Slide 3 text

例) シンプルな数学の問題最小値問題とはこの関数が最小となる x の値はな〜んだ？

Slide 4

Slide 4 text

例) シンプルな数学の問題最小値問題とは x = 1 のとき f(x) は最小値の 2 をとる → 答え: x = 1

Slide 5

Slide 5 text

例) シンプルな数学の問題 2 最小値問題とはこの関数が最小となる x の値はな〜んだ？ただし、制約条件の範囲内で！

Slide 6

Slide 6 text

例) シンプルな数学の問題 2 最小値問題とは x = 1 のとき f(x) は最小値の 2 をとるが、今回の範囲は x <= -1 なので f(x) = 6 となる x = -1 が答え → 答え x = -1 x=-1

Slide 7

Slide 7 text

最適化問題関数 f(x) が最小となる x はな〜んだ？ただし、制約条件の範囲内で！こういうタイプの問題を最適化問題と言う f(x) は「評価関数」「目的関数」「誤差関数」などいろいろ呼び方がある

Slide 8

Slide 8 text

ちなみに、最大値問題関数 f(x) が最大となる x はな〜んだ？関数 -f(x) が最小となる x はな〜んだ？答えとなる x の値はどちらも構わないので、最大にしたいか最小にしたいかは別にこだわらなくてもいい

Slide 9

Slide 9 text

なぜこのタイプの問題に興味がある？この関数が最小となる x の値はな〜んだ？

Slide 10

Slide 10 text

そもそも、なぜこのタイプの問題に興味があるのか次の部屋の家賃は、大体万円くらいかなあ安すぎず、高すぎない金額

Slide 11

Slide 11 text

そもそも、なぜこのタイプの問題に興味があるのか : 家賃(円) : 家賃円の部屋に住んだことで、ストレスを感じる回数 “最適な家賃” 0円家賃 (円) ストレスを感じる回数

Slide 12

Slide 12 text

なぜこのタイプの問題に興味がある？ → 日常的にやっている思考プロセスに似てるからこの関数が最小となる x の値はな〜んだ？

Slide 13

Slide 13 text

最適化問題をみていく

Slide 14

Slide 14 text

例) 最短経路問題「バスで A 地点から E 地点に行くのに、もっとも運賃が少ない経路は？」運賃が最小となる P(=経路) はな〜んだ？選んだ経路 P における総運賃 =

Slide 15

Slide 15 text

例) スケジューリング問題「さまざまな制約のもとで、納期がもっとも最小になるような生産計画を立てたい」納期遅れがもっとも最小となるスケジュールはな〜んだ？納期遅れの合計 =

Slide 16

Slide 16 text

例) 線形回帰「与えられたデータセットを最もうまく近似する y = mx + b の直線を求めたい」誤差が最小となる m, b の組合せはな〜んだ？直線と与えられたデータセットの誤差 =

Slide 17

Slide 17 text

例) ディープラーニング「あたえられたデータセットを近似する(複雑な)関数を得たい」与えられた学習データセットとの誤差が最小となる (数億、数兆の) パラメータ θ の組合せはな〜んだ？関数と与えられたデータセットの誤差

Slide 18

Slide 18 text

例) 検索・推薦「ユーザーの検索キーワードに最も適したドキュメントを提示したい」ユーザーのクエリ q (検索キーワード、ユーザー属性...) と関連度が最大となるドキュメント d はな〜んだ？ユーザーのクエリ q と、ドキュメント d の関連度ドキュメント1 「AI の発展で...」ドキュメント2 「おいしいオムライスの作り方...」ユーザーのクエリ「AI 技術の発展について知りたい」 =

Slide 19

Slide 19 text

ちなみに、複数の関数を一つの関数に見立てる方法例えば2つの評価があるときには、以下のようにすると、一つの評価関数として扱えたりする重みをつける調和平均を考える

Slide 20

Slide 20 text

● 線形計画問題 ● 非線形計画問題 ● 整数計画問題 ● 混合整数計画問題 ● 二次計画問題 ● 二次錐計画問題 ● 半正定値計画問題 ● 多目的最適化問題 ● 組合せ最適化問題 ● ネットワークフロー問題 ● 最短経路問題 ● 最小全域木問題 ● 巡回セールスマン問題 ● ナップサック問題 ● 施設配置問題 ● スケジューリング問題他にもたくさん

Slide 21

Slide 21 text

より深みへ

Slide 22

Slide 22 text

汎関数(functional) ← ”関数を引数とする関数” 汎関数汎関数 I が最小となるような関数・確率分布はな〜んだ？

Slide 23

Slide 23 text

例) GAN 「まるで写真のような画像を生成したい」学習データの画像の確率分布 p_data と、最も JS divergence (=確率分布同士の距離みたいなもの)が最小となるような確率分布 p_g はな〜んだ？ Yifan Jiang, Shiyu Chang, & Zhangyang Wang. (2021). TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up.

Slide 24

Slide 24 text

例) 変分原理(最速降下線) 到達時間を表現した汎関数 I が最小となるような曲線 y はな〜んだ？「もっとも速くボールが転げ落ちる坂道の形を考えたい」変分原理は量子力学でも熱力学でも現れる。こうした最小値問題が自然界でも見いだせるのはすごい https://ja.wikipedia.org/wiki/%E6%9 C%80 %E9% 80%9F%E9%99%8D%E4%B8%8B%E6%9B%B2 %E7%B7%9A

Slide 25

Slide 25 text

例) 数独ソルバー「数独を瞬時に解きたい」数独の数字の出現率 p に基づくエントロピーが最大となるような数字の分布はな〜んだ？ https://note.com/kondokenji/n/n9b4cc9c052ef これは統計力学的な発想を援用した。こういう物理学的側面で最適化アルゴリズムを考える向きも最近ある → ”学習物理学”

Slide 26

Slide 26 text

この関数が最小となる x の値はな〜んだ？は、やばい