Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
Search
Kenji KONDO
May 31, 2024
Technology
0
190
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
キーワード: 最小値問題/最適化理論/最適化問題/AI/変分原理/学習物理学/アルゴリズム
Kenji KONDO
May 31, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
6.9k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
5.9k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
3.9k
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
200
最適ワークスとAI-近藤憲児
kenjikondobai
0
77
LLMの評価-近藤憲児
kenjikondobai
1
400
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
320
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
350
Other Decks in Technology
See All in Technology
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
430
相互運用可能な学修歴クレデンシャルに向けた標準技術と国際動向
fujie
0
120
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
2k
【CEDEC2025】ブランド力アップのためのコンテンツマーケティング~ゲーム会社における情報資産の活かし方~
cygames
PRO
0
160
AI時代の経営、Bet AI Vision #BetAIDay
layerx
PRO
0
420
alecthomas/kong はいいぞ
fujiwara3
6
1.2k
風が吹けばWHOISが使えなくなる~なぜWHOIS・RDAPはサーバー証明書のメール認証に使えなくなったのか~
orangemorishita
10
3.2k
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
620
Claude Codeが働くAI中心の業務システム構築の挑戦―AIエージェント中心の働き方を目指して
os1ma
9
1.2k
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
120
ecspressoの設計思想に至る道 / sekkeinight2025
fujiwara3
12
2.2k
Wasmで社内ツールを作って配布しよう
askua
0
170
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
72
4.9k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The Invisible Side of Design
smashingmag
301
51k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Designing for humans not robots
tammielis
253
25k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
GitHub's CSS Performance
jonrohan
1031
460k
Testing 201, or: Great Expectations
jmmastey
44
7.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Embracing the Ebb and Flow
colly
86
4.8k
Transcript
「これが最小になる値はな〜んだ?」 問題 ~ 最適化問題を考える ~
ここでお話すること この関数が最小となる x の値はな〜んだ? という問題が、いろんなところで観察できる という面白い話です
例) シンプルな数学の問題 最小値問題とは この関数が最小となる x の値はな〜んだ?
例) シンプルな数学の問題 最小値問題とは x = 1 のとき f(x) は最小値の 2
をと る → 答え: x = 1
例) シンプルな数学の問題 2 最小値問題とは この関数が最小となる x の値はな〜んだ? ただし、制約条件の範囲内で!
例) シンプルな数学の問題 2 最小値問題とは x = 1 のとき f(x) は最小値の
2 をとる が、今回の範囲は x <= -1 なので f(x) = 6 となる x = -1 が答え → 答え x = -1 x=-1
最適化問題 関数 f(x) が最小となる x はな〜んだ? ただし、制約条件の範囲内で! こういうタイプの問題を最適化問題と言う f(x) は
「評価関数」「目的関数」「誤差関数」 などいろいろ呼び方がある
ちなみに、最大値問題 関数 f(x) が最大となる x はな〜んだ? 関数 -f(x) が最小となる x
はな〜んだ? 答えとなる x の値はどちらも構わないので、最大にしたいか最小にしたいか は別にこだわらなくてもいい
なぜこのタイプの問題に興味がある? この関数が最小となる x の値はな〜んだ?
そもそも、なぜこのタイプの問題に興味があるのか 次の部屋の家賃は、 大体 万円くらいかなあ 安すぎず、高すぎない金額
そもそも、なぜこのタイプの問題に興味があるのか : 家賃(円) : 家賃 円の部屋に住んだことで、 ストレスを感じる回数 “最適な家賃” 0円 家賃
(円) ス ト レ ス を 感 じ る 回 数
なぜこのタイプの問題に興味がある? → 日常的にやっている思考プロセスに似てるから この関数が最小となる x の値はな〜んだ?
最適化問題をみていく
例) 最短経路問題 「バスで A 地点から E 地点に行くのに、もっとも運賃 が少ない経路は?」 運賃が最小となる P(=経路)
はな〜んだ? 選んだ経路 P における 総運賃 =
例) スケジューリング問題 「さまざまな制約のもとで、納期がも っとも最小になるような生産計画を立 てたい」 納期遅れがもっとも最小となるスケジュールはな〜んだ? 納期遅れの合計 =
例) 線形回帰 「与えられたデータセットを最もうまく近 似する y = mx + b の直線を求めたい」
誤差が最小となる m, b の組合せはな〜んだ? 直線と与えられたデータセットの誤差 =
例) ディープラーニング 「あたえられたデータセットを近似す る(複雑な)関数を得たい」 与えられた学習データセットとの誤差が最小となる (数億、数兆の) パラメータ θ の組合せはな〜んだ? 関数と与えられたデータセットの誤差
例) 検索・推薦 「ユーザーの検索キーワードに最も適 したドキュメントを提示したい」 ユーザーのクエリ q (検索キーワード、ユーザー属性...) と関 連度が最大となるドキュメント d
はな〜んだ? ユーザーのクエリ q と、ドキュメント d の関連度 ドキュメント1 「AI の発展で...」 ドキュメント2 「おいしいオムライスの作り 方...」 ユーザーのクエリ 「AI 技術の発展について知りた い」 =
ちなみに、複数の関数を一つの関数に見立てる方法 例えば2つの評価があるときには、以下のようにすると、 一つの評価関数として扱えたりする 重みをつける 調和平均を考える
• 線形計画問題 • 非線形計画問題 • 整数計画問題 • 混合整数計画問題 • 二次計画問題
• 二次錐計画問題 • 半正定値計画問題 • 多目的最適化問題 • 組合せ最適化問題 • ネットワークフロー問題 • 最短経路問題 • 最小全域木問題 • 巡回セールスマン問題 • ナップサック問題 • 施設配置問題 • スケジューリング問題 他にもたくさん
より深みへ
汎関数(functional) ← ”関数を引数とする関数” 汎関数 汎関数 I が最小となるような 関数・確率分布 はな〜んだ?
例) GAN 「まるで写真のような画像を生成したい」 学習データの画像の確率分布 p_data と、 最も JS divergence (=確率分布同士の距離み
たいなもの)が最小となるような確率分布 p_g はな〜んだ? Yifan Jiang, Shiyu Chang, & Zhangyang Wang. (2021). TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up.
例) 変分原理(最速降下線) 到達時間を表現した汎関数 I が 最小となるような曲線 y はな〜んだ? 「もっとも速くボールが転げ落ちる坂道の形を考えたい」 変分原理は量子力学でも熱
力学でも現れる。 こうした最小値問題が自然 界でも見いだせるのはすご い https://ja.wikipedia.org/wiki/%E6%9 C%80 %E9% 80%9F%E9%99%8D%E4%B8%8B%E6%9B%B2 %E7%B7%9A
例) 数独ソルバー 「数独を瞬時に解きたい」 数独の数字の出現率 p に基づくエントロピ ーが最大となるような数字の分布は な〜んだ? https://note.com/kondokenji/n/n9b4cc9c052ef これは統計力学的な発想を援
用した。 こういう物理学的側面で最適 化アルゴリズムを考える向き も最近ある → ”学習物理学”
この関数が最小となる x の値はな〜んだ? は、やばい