Slide 1
Slide 1 text
2025-11-06 | 2025年11⽉CVIM研究発表会 [CVIM/CGVI/DCC/PRMU合同] | 松江テルサ
チュートリアル講演：
ベイズ最適化の基礎とデザイン⽀援への応⽤
⼩⼭ 裕⼰
東京⼤学⼤学院⼯学系研究科精密⼯学専攻 准教授
https://koyama.xyz/
Slide 2
Slide 2 text
⼩⼭ 裕⼰ / Yuki Koyama
2
https://koyama.xyz/
研究テーマ
• ベイズ最適化を⽤いたデザイン⽀援（本⽇の内容）
• デジタルファブリケーションのためのデザイン⽀援
• アニメ制作のための技術開発（兼業 + JST CRONOS分担 2025.10〜）
准教授
[2025.04—現在]
⼯学系研究科精密⼯学専攻
客員研究員
[2025.04—現在]
※ 主任研究員 [—2025.03]
技術顧問
[2021.05—現在]
アニメ制作のためのR&Dに従事
ຊۀɿ ݉ۀɿ
݉ۀɿ
Slide 3
Slide 3 text
3
研究分野と研究トピック
Computer Graphics
(CG)
Human-Computer
Interaction (HCI)
Computer Science (情報学)
形状処理、レンダリング、画像処理、
アニメーションなど、視覚コンテンツ
技術を扱う分野（SIGGRAPHなど）
! ⼈と情報技術とのインタラクションを
理解したり、設計して提案したりする
学際的な分野（CHI、UISTなど）
"
⭐️
⼆つの分野が重なる部分で
数理技術に基づくデザイン⽀援の研究に従事
3
Slide 4
Slide 4 text
Part : デザイン⽀援への応⽤
• 話すこと：⼈間の評価を取り込むHuman-in-the-Loopビジュアルデザイン最適化の研究
• 話さないこと：創薬や材料科学の分野における実験デザイン⽀援など
Part : ベイズ最適化の基礎
• 話すこと：基本的なアイディア、典型的な計算⽅法、利点と⽋点など
• 話さないこと：理論と導出、典型的でない計算⽅法など
Slide 5
Slide 5 text
Part ：ベイズ最適化の基礎
1.1. ベイズ最適化の概要
Slide 6
Slide 6 text
問題設定：評価コストの⾼いブラックボックス最適化
• “ブラックボックス” 関数の最⼤化問題
• 勾配を観測できない
• 局所解を持つかもしれない
• 特に、評価コストが⾼い関数を考える
• ある に対して の値を観測するのに
時間的‧⾦銭的コストがかかる
x′ f(x′ )
6
?
Slide 7
Slide 7 text
問題設定：評価コストの⾼いブラックボックス最適化
• “ブラックボックス” 関数の最⼤化問題
• 勾配を観測できない
• 局所解を持つかもしれない
• 特に、評価コストが⾼い関数を考える
• ある に対して の値を観測するのに
時間的‧⾦銭的コストがかかる
x′ f(x′ )
7
?
?
最も素朴な⽅法：ランダムサンプリング
Slide 8
Slide 8 text
問題設定：評価コストの⾼いブラックボックス最適化
• “ブラックボックス” 関数の最⼤化問題
• 勾配を観測できない
• 局所解を持つかもしれない
• 特に、評価コストが⾼い関数を考える
• ある に対して の値を観測するのに
時間的‧⾦銭的コストがかかる
x′ f(x′ )
8
?
できるだけ関数評価の回数を減らすには、
どのような戦略でサンプリングするべきか？
Slide 9
Slide 9 text
ベイズ最適化 Bayesian Optimization (BO)
• ブラックボックス最適化アルゴリズムの⼀つ
• 少ない反復回数で良い解を発⾒できる性質
➡ 評価コストが⾼い最適化問題で活躍
• 賢いサンプリング戦略：獲得関数（acquisition
function）を最⼤化する点を毎度サンプリングする
• 性質1. 探索：まだ探索していない領域を優先
• 性質2. 活⽤：期待値の⾼い領域を優先
• 活⽤例：
• 深層学習のハイパーパラメタ調整
• インタフェースやビジュアルデザインの最適化
• 創薬‧材料科学などの実験科学
9
⼀次元の最⼤化問題にベイズ最適化を適⽤した例
CV/CG/DCCのいずれの分野とも関連が深い
Slide 10
Slide 10 text
Step-by-Step解説
Slide 11
Slide 11 text
No content
Slide 12
Slide 12 text
最初はランダムサンプリング
Slide 13
Slide 13 text
No content
Slide 14
Slide 14 text
ガウス過程回帰モデル
（薄い⻘は不確実性を表す）
Slide 15
Slide 15 text
獲得関数
Slide 16
Slide 16 text
獲得関数の最⼤点
Slide 17
Slide 17 text
No content
Slide 18
Slide 18 text
獲得関数の最⼤点
Slide 19
Slide 19 text
No content
Slide 20
Slide 20 text
No content
Slide 21
Slide 21 text
No content
Slide 22
Slide 22 text
No content
Slide 23
Slide 23 text
現在予測される
最⼤値の周辺を
優先的にサンプリング
（活⽤）
Slide 24
Slide 24 text
No content
Slide 25
Slide 25 text
観測データが少ない
不確実な領域を
優先的にサンプリング
（探索）
Slide 26
Slide 26 text
No content
Slide 27
Slide 27 text
No content
Slide 28
Slide 28 text
No content
Slide 29
Slide 29 text
No content
Slide 30
Slide 30 text
12回程度の反復でも
かなり良い解が得られた
Slide 31
Slide 31 text
ベイズ最適化のアルゴリズム
31
while 終了条件が満たされていない：
観測データ を⽤いて⽬的関数 の統計モデルを構築する
獲得関数 を最⼤化して次の候補点 を選択する：
候補点 の評価値 を観測する
観測データに追加する：
end while
最⼤値を与える点とその値 を出⼒する
𝒟
t
f
α x
t+1
x
t+1
= argmaxx
α(x; 𝒟
t
)
x
t+1
y
t+1
𝒟
t+1
= 𝒟
t
∪ {(x
t+1
, y
t+1
)}
t ← t + 1
(x*, y*)
後述
後述
Slide 32
Slide 32 text
適応的実験計画のための⼿法としての位置付け
適応的実験計画（実験結果を逐次的に解析しながら次に観測するべき実験条件を適
応的に決定する）を実現する⼿段の⼀つとしてベイズ最適化が⽤いられる
32
ユーザ実験を伴うインタラクション設計における実験計画の模式図。従来の実験計画（右）。適応的実験計画（左）。
[Yoshida+24] Toward AI-Mediated Avatar-Based Telecommunication: Investigating Visual Impression of Switching Between User- and AI-Controlled Avatars
in Video Chat. IEEE Access (2024). [doi]
Slide 33
Slide 33 text
Part ：ベイズ最適化の基礎
1.2. ベイズ最適化の統計モデル（ガウス過程）
Slide 34
Slide 34 text
ベイズ最適化における⽬的関数の統計モデル
• ガウス過程回帰モデル（Gaussian Process; GP）
• 本講演ではこの統計モデルを想定
• ベイズ線形回帰モデル
• ⽊構造Parzen推定量モデル（TPE）
•
34
⽬的関数がガウス過程に従うと仮定 不確実性を考慮できるガウス過程回帰
f ∼ GaussianProcess(μ, k)
Slide 35
Slide 35 text
ガウス過程：直感「関数に対する正規分布」
「変数が正規分布に従う」
• サンプリングすると値が得られる
• 分布は平均値 と分散値 で定義される
「関数が “正規分布” に従う」（？）
• サンプリングすると関数が得られる
• 分布は平均関数 とカーネル関数 で定
義される
μ σ2
μ k
35
f ∼ GaussianProcess(μ, k)
x ∼ Normal(μ, σ2)
Slide 36
Slide 36 text
ガウス過程：定義
任意の 個の⼊⼒点 に対して、その関数値ベクトル
が多変量ガウス分布 に従う：
ただし と は , で定義される。
つまり：
n x
1
, …, x
n
∈ 𝒳
f = (f(x
1
), …, f(x
n
)) Normal(m, K)
f ∼ Normal ( m, K )
m K m = (μ(x
1
), …, μ(x
n
)) K
i,j
= k(x
i
, x
j
)
f(x
1
)
⋮
f(x
n
)
∼ Normal
μ(x
1
)
⋮
μ(x
n
)
,
k(x
1
, x
1
) ⋯ k(x
1
, x
n
)
⋮ ⋱ ⋮
k(x
n
, x
1
) ⋯ k(x
n
, x
n
)
36
(x
1
, f
1
)
(x
2
, f
2
)
(x
3
, f
3
)
f
関数 が、平均関数 とカーネル関数 で定義されるガウス過程に従う：
f : 𝒳 → ℝ μ k
f ∼ GaussianProcess(μ, k)
Slide 37
Slide 37 text
ガウス過程回帰モデル [1/4]
37
⽬標：「関数がガウス過程に従う」という事前知識のもとで、回帰（これまでの観
測データ をもとに、未観測の点 の値 を予測）したい
{x
i
, f(x
i
)}n
i=1
x
*
f
*
= f(x
*
)
(x
1
, f
1
)
(x
2
, f
2
)
(x
3
, f
3
)
f
* ?
x
*
Slide 38
Slide 38 text
ガウス過程回帰モデル [2/4]
• （関数値ベクトルの⻑さは任意なので）未知の値 を追加して 次元の関数値ベク
トルに拡張しても（それでもやはり）多変量ガウス分布に従う：
• このあとのために記法を少し整理して：
f
*
n + 1
f(x
1
)
⋮
f(x
n
)
f
*
∼ Normal
μ(x
1
)
⋮
μ(x
n
)
μ(x
*
)
,
k(x
1
, x
1
) ⋯ k(x
1
, x
n
) k(x
1
, x
*
)
⋮ ⋱ ⋮ ⋮
k(x
n
, x
1
) ⋯ k(x
n
, x
n
) k(x
n
, x
*
)
k(x
*
, x
1
) ⋯ k(x
*
, x
n
) k(x
*
, x
*
)
[
f
f
* ]
∼ Normal
([
m
μ(x
*
)]
,
[
K k(x
*
)
k(x
*
)⊤ k(x
*
, x
*
)])
38
追加！ 追加！
⽬標：「関数がガウス過程に従う」という事前知識のもとで、回帰（これまでの観
測データ をもとに、未観測の点 の値 を予測）したい
{x
i
, f(x
i
)}n
i=1
x
*
f
*
= f(x
*
)
Slide 39
Slide 39 text
ガウス過程回帰モデル [3/4]
前スライドの式に「多変量ガウス分布の条件付き
分布の公式」を適⽤すると、
ただし
つまり、未知の観測点の関数値の予測分布は（性
質の良いことに！）⼀次元のガウス分布に従い、
その平均と分散は簡単に計算できる
f
*
∼ Normal(μ
*
, σ2
*
)
μ
*
= μ(x
*
) + k(x
*
)⊤K−1(f − m)
σ2
*
= k(x
*
, x
*
) − k(x
*
)⊤K−1k(x
*
)
39
多変量ガウス分布の条件付き分布の公式
https://manabitimes.jp/math/
Slide 40
Slide 40 text
ガウス過程回帰モデル [3/4]
40
の予測分布？
f
*
ガウス分布！
x
*
x
*
前スライドの式に「多変量ガウス分布の条件付き
分布の公式」を適⽤すると、
ただし
つまり、未知の観測点の関数値の予測分布は（性
質の良いことに！）⼀次元のガウス分布に従い、
その平均と分散は簡単に計算できる
f
*
∼ Normal(μ
*
, σ2
*
)
μ
*
= μ(x
*
) + k(x
*
)⊤K−1(f − m)
σ2
*
= k(x
*
, x
*
) − k(x
*
)⊤K−1k(x
*
)
Slide 41
Slide 41 text
ガウス過程回帰モデル [4/4]
41
観測点数を増やしていった際のガウス過程回帰の様⼦
（上段はサンプリングされた関数として可視化；下段は分布として可視化）
Slide 42
Slide 42 text
カーネル関数 [1/2]
k
直感：2点間の関数値の相関の強さを記述する役割
• Squared Exponentialカーネル：
• Matern / カーネル：
• Matern / カーネル：
k
SE
(x, x′ ) = exp
{
−
∥x − x′ ∥2
ℓ2 }
k
Mat3/2
(x, x′ ) =
(
1 +
3∥x − x′ ∥
ℓ )
exp
{
−
3∥x − x′ ∥
ℓ }
k
Mat5/2
(x, x′ ) =
(
1 +
5∥x − x′ ∥
ℓ
+
5∥x − x′ ∥2
3ℓ2 )
exp
{
−
5∥x − x′ ∥
ℓ }
42
[Shahriari+ ]
Slide 43
Slide 43 text
カーネル関数 [2/2]
k
• ハイパーパラメタ は “length scale” と呼ばれ、関数の滑らかさに影響する
• ベイズ最適化実⾏時にも最も影響が⼤きいハイパーパラメタで、適切に設定する必要がある
ℓ
43
ℓ = 0.05 ℓ = 0.30
k
SE
(x, x′ ) = exp
{
−
∥x − x′ ∥2
ℓ2 }
ℓ = 0.15
Slide 44
Slide 44 text
カーネル関数のハイパーパラメタ⾃動選択 [詳細は割愛]
カーネル関数のハイパーパラメタ値 （length scale を
含む）は、観測データに基づいて⾃動的に決定することも
できる [Rasmussen+ ]
1. 尤度最⼤化（ML）：
2. 事後確率最⼤化（MAP）：
θ ℓ
̂
θ ML = argmax p(y ∣ X, θ)
̂
θ MAP = argmax p(y ∣ X, θ) p(θ)
44
事前分布 には、例えば log-
normal 分布を活⽤できる
p(θ)
[Rasmussen+05] Gaussian Processes for Machine Learning. 2005.
Slide 45
Slide 45 text
観測ノイズの扱い [詳細は割愛]
• 実際には、背後にある関数 にノイズ がのった値 が観測され
ることがある：
ただし
• ガウス過程ではこのような観測ノイズも（都合よく）綺麗に予測
分布の計算に組み込むことができる [Rasmussen+ ]：
ただし
f ϵ y
y = f(x) + ϵ
ϵ ∼ Normal(0, σ2
noise
)
f
*
∼ Normal(μ
*
, σ2
*
)
μ
*
= μ(x
*
) + k(x
*
)⊤(K + σ2
noise
I)−1(y − m)
σ2
*
= k(x
*
, x
*
) − k(x
*
)⊤(K + σ2
noise
I)−1k(x
*
)
45
観測ノイズを想定していない場合の予測分布
観測ノイズを想定した場合の予測分布
[Rasmussen+05] Gaussian Processes for Machine Learning. 2005.
Slide 46
Slide 46 text
Part ：ベイズ最適化の基礎
1.3. 獲得関数
Slide 47
Slide 47 text
獲得関数の役割と「探索と活⽤」
• 獲得関数 は「点 を次に観測するべき度
合い」を表す（ように設計された）関数
• 効率的な最適化を実現するために欲しい性質：
「探索と活⽤」のバランス
• 探索（Exploration）：
過去の観測データを考慮した上で、
まだ不確実性が⾼い領域を優先して観測
• 活⽤（Exploitation）：
過去の観測データを考慮した上で、
予測される値が⾼い領域を優先して観測
• 獲得関数が最⼤となる点を次に観測する
α(x) x
47
予測値は⼤きくないが分散が⼤きい領域 [探索]
分散は⼤きくないが予測値が⼤きい領域 [活⽤]
Slide 48
Slide 48 text
「探索と活⽤」を実現する獲得関数の種類
• PI: Probability of Improvement
[改善確率量]
• EI: Expected Improvement
[期待改善量]
• UCB: Upper Confidence Bound
[信頼上限]
• TS: Thompson Sampling
[トンプソンサンプリング]
• PES: Predictive Entropy Search
[予測エントロピー探索]
48
[Snoek+12] Practical Bayesian Optimization of Machine Learning Algorithms. NIPS 2012.
獲得関数の形状の⽐較。いずれも「探索と活⽤」を考慮した振る舞いをする。
[Shahriari+ ]
（PI以外は）いずれもよく使われる
個⼈的には古くから実績 [Snoek+ ] があるEIがおすすめ [次スライド]
Slide 49
Slide 49 text
獲得関数：Expected Improvement (EI) [期待改善量]
• 観測済みの最良値 と⽐べてどれだけ改善するか？の期待値を獲得関数とする：
• 良い性質
• ガウス過程の仮定のもとでは（微分も含めて！）解析的に計算できる：
ただし 、 は標準正規分布、 はその累積分布関数を表す
• 勝⼿に「探索と活⽤」を考慮したような振る舞いをする
• 余計なハイパーパラメタがない
• Tips：最近、対数をとるだけで劇的に性能改善することが発⾒された [Ament+ ]
y+
α
EI
(x) = 𝔼[max(0, y − y+)]
α
EI
(x) = σ(x)(γ(x)Φ(γ(x)) + ϕ(γ(x)))
γ(x) = (μ(x) − y+)/σ(x) ϕ Φ
49
[Ament+23] Unexpected Improvements to Expected Improvement for Bayesian Optimization. NeurIPS 2023.
Slide 50
Slide 50 text
Part ：ベイズ最適化の基礎
1.4. ベイズ最適化のライブラリ‧発展研究‧FAQ
Slide 51
Slide 51 text
ベイズ最適化関連の代表的なライブラリ
• Optuna
• 株式会社Preferred Networksが開発
• 可視化機能やダッシュボードが充実している
• 使いやすい
• BoTorch
• Metaが中⼼となって開発
• PyTorchとGPyTorchがベース
• 最新の研究成果もすぐに実装される傾向がある
• アルゴリズムの挙動を改造しやすい
• BoTorchをベースにした上位ツールのAxも存在する
（どちらかというとOptunaに対応するのはこちら？）
51
[Akiba+19] Optuna: A Next-generation Hyperparameter Optimization Framework. KDD 2019. [cited by 10,000+!]
[Balandat+20] BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization. NeurIPS 2020.
Optunaを使い始めるのは驚くほど簡単
https://optuna.org/#code_examples
Slide 52
Slide 52 text
ベイズ最適化の拡張
• バッチ（batch）ベイズ最適化
各イテレーションで、1点だけでなく多数の点を選んで並列に観測する
• 多⽬的（multi-objective）ベイズ最適化（MOBO）
複数の⽬的関数を同時に考慮し、パレート最適解を発⾒する
• 多忠実度（multi-fidelity）ベイズ最適化（MFBO）
精度とコストが異なる複数の評価⽅法（Sim/Realなど）を考慮する
• 制約付き（constrained）ベイズ最適化（CBO）
不等式制約関数（これもブラックボックス関数）を考慮する
• ⾼次元（high-dimensional）ベイズ最適化（HDBO）
20次元を超える（〜1,000,000,000次元）⾼次元問題を扱う
• 選好（preferential）ベイズ最適化（PBO）
関数値そのものではなく相対⽐較データを観測する [本講演の後半で詳述]
52
Slide 53
Slide 53 text
研究：LLM時代のベイズ最適化
• LLMを活⽤して効率的なベイズ最適化を実現
• LLMが持つ事前知識とin-context learningの能⼒
を活⽤ [Liu+ ]
• ベイズ最適化の挙動を学習データとしてLLMを
fine tuning [Meindl+ ]
• LLMを通じて対話可能なベイズ最適化を実現
[Niwa+ ]
• デザイナの体験を向上
• デザイナが持つ知識を活⽤できる可能性
53
[Liu+24] Large Language Models to Enhance Bayesian Optimization. ICLR 2024.
[Meindl+25] GPTOpt: Towards Efficient LLM-Based Black-Box Optimization. arXiv (2025). [doi]
[Niwa+25] Cooperative Design Optimization through Natural Language Interaction. UIST 2025.
ベイズ最適化とLLMを統合することで
対話可能なベイズ最適化を実現 [Niwa+ ]
Slide 54
Slide 54 text
FAQ：“関数をサンプリングする”とは？
• 実際には多数の点 （例： を等間隔に200分割した点）における関数値を（同
時に）サンプリングすることで “関数のサンプリング” を近似する
• ガウス過程の性質から、観測済みの関数値 と未観測の関数値 を合わせた関数値ベクト
ルは多変量ガウス分布に従う：
{x
*i
}m
i=1
[−1,1]
f f
*
54
f(x
1
)
⋮
f(x
n
)
f
*1
⋮
f
*m
∼ Normal
μ(x
1
)
⋮
μ(x
n
)
μ(x
*1
)
⋮
μ(x
*m
)
,
k(x
1
, x
1
) ⋯ k(x
1
, x
n
) k(x
1
, x
*1
) ⋯ k(x
1
, x
*m
)
⋮ ⋱ ⋮ ⋮ ⋱ ⋮
k(x
n
, x
1
) ⋯ k(x
n
, x
n
) k(x
n
, x
*1
) ⋯ k(x
n
, x
*m
)
k(x
*1
, x
1
) ⋯ k(x
*1
, x
n
) k(x
*1
, x
*1
) ⋯ k(x
*1
, x
*m
)
⋮ ⋱ ⋮ ⋮ ⋱ ⋮
k(x
*m
, x
1
) ⋯ k(x
*m
, x
n
) k(x
*m
, x
*1
) ⋯ k(x
*m
, x
*m
)
[
f
f
*
]
∼ Normal
([
m
m
*
]
,
[
K k
*
k⊤
*
K
*
])
f
*
∼ Normal(m
*
+ k⊤
*
K−1(f − m), K
*
− k⊤
*
K−1k
*
)
• 「多変量ガウス分布の条件付き分布の公式」を適⽤する：
• この多変量ガウス分布から好きなだけ をサンプリングする
f
*
で を30回サンプリングした様⼦
m = 200 f
*
Slide 55
Slide 55 text
FAQ：あらゆる問題をベイズ最適化で解けば良いのでは？
• 反復回数は少なくて済むかも
しれないが、各ステップで必
要になる獲得関数の最⼤化に
⼤きな計算コストがかかる問
題がある
• ⽬的関数の評価にかかるコス
トが⽀配的な場合にベイズ最
適化は有効
• 深層学習におけるハイパー
パラメタ最適化
• 創薬‧材料などの実験科学
• ユーザ実験を伴うインタラ
クション設計
55
while 終了条件が満たされていない：
観測データ を⽤いて⽬的関数 の統計モデルを構築する
獲得関数 を最⼤化して次の候補点 を選択する：
候補点 の評価値 を観測する
観測データに追加する：
end while
最⼤値を与える点とその値 を出⼒する
𝒟
t
f
α x
t+1
x
t+1
= argmaxx
α(x; 𝒟
t
)
x
t+1
y
t+1
𝒟
t+1
= 𝒟
t
∪ {(x
t+1
, y
t+1
)}
t ← t + 1
(x*, y*)
Slide 56
Slide 56 text
FAQ：ベイズ最適化は⾼次元が苦⼿？
• 従来の常識：ベイズ最適化は⾼次元が
苦⼿で20次元程度までしか使えない
• 最近の研究：ほんの少し修正すると⾼
次元でも動くようになる [Hvarfner+ ]
• BoTorch v . 以降ではデフォルト実装
• 最新のBoTorchを使っておけばOK
56
[Hvarfner+24] Vanilla Bayesian Optimization Performs Great in High Dimensions. ICML 2024.
[Hvarfner+ ] が提案するシンプルな修正
k(x, x′ ) = σ2
f
exp
{
−
D
∑
d=1
(x
d
− x′
d
)2
2ℓ2
d
}
log p(y ∣ X, θ) → log p(y ∣ X, θ) + log p(θ)
ℓ ∼ LogNormal
(
μ
0
+
log(D)
2
, σ
0)
カーネル関数のlength scale の推定が難しかった：
ℓ
これまでにも、安定して を推定するためにMLEではな
くMAPを使うアイディアは⼀般的に使われてきた：
ℓ
しかし の適切な事前分布が不明だった。本論⽂では以
下の事前分布を提案し、うまくいくことを確認した：
ℓ
Slide 57
Slide 57 text
FAQ：ベイズ最適化の終了条件は？
• ベイズ最適化の反復計算の終了条件は⾃明でない
• パラメタの更新の振る舞いが複雑（探索と活
⽤）で、収束判定が難しい
• 事前に決めた固定の反復回数を実⾏するか、⼀定
の時間に達したらタイムアウトする運⽤にするの
が現実的
• ベイズ最適化の終了条件に関する研究も存在する
[Ishibashi+ ]
57
[Ishibashi+23] A stopping criterion for Bayesian optimization by the gap of expected minimum simple regrets. AISTATS 2023.
ここで⽌めるべきか？まだ続けるべきか？
Slide 58
Slide 58 text
Part : デザイン⽀援への応⽤
2.1. 問題設定とHuman-in-the-Loop最適化
Slide 59
Slide 59 text
ύϥϝλௐλεΫ༷ʑͳσβΠϯͷจ຺ʹڞ௨ͯ͠ొ͢Δ
Slide 60
Slide 60 text
ࣸਅͷ৭ௐฤू
ύϥϝλௐλεΫ༷ʑͳσβΠϯͷจ຺ʹڞ௨ͯ͠ొ͢Δ
ػցֶशʹΑΔίϯςϯπੜ
ϓϩγʔδϟϧܗঢ়ϞσϦϯά ϓϩγʔδϟϧϚςϦΞϧੜ
Slide 61
Slide 61 text
ֶతͳղऍʢϞσϧԽʣ< >
[*] Yuki Koyama. 2021. Introduction to Computational Design. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (CHI EA '21—Courses), pp.136:1–136:4.
Mathematical optimization
Design parameter tweaking
Analogy
Search for the best design Search for the maximum
࠷దԽ
σβΠϯͷྑ͞
తؔ
σβΠϯʹ͓͚Δύϥϝλௐ
Slide 62
Slide 62 text
ֶతͳղऍʢϞσϧԽʣ< >
[*] Yuki Koyama. 2021. Introduction to Computational Design. In Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (CHI EA '21—Courses), pp.136:1–136:4.
Mathematical optimization
esign parameter tweaking
Analogy
Search for the best design Search for the maximum
࠷దԽ
σβΠϯͷྑ͞
తؔ
σβΠϯʹ͓͚Δύϥϝλௐ
͠͞ɿ
ਓؒͷධՁʹΑͬͯ
త͕ؔఆٛ͞ΕΔ
Slide 63
Slide 63 text
ਓؒͷධՁ͕ඞཁͳతؔΛ
ରͱ͢Δ࠷దԽΛղ͘
ͨΊͷΞϓϩʔν
Human-in-the-loop࠷దԽ
γεςϜ
ਓؒ
࣭
Ͳ͕͖ͬͪʁ
✔
ฦ
ʢධՁʣ
ͬͪ͜Ͱ͢
Slide 64
Slide 64 text
Part : デザイン⽀援への応⽤
. . Human-in-the-Loop最適化のアルゴリズム
Slide 65
Slide 65 text
Human-in-the-Loop最適化の要件 [1/2]
65
[Koyama+18] Yuki Koyama and Takeo Igarashi. 2018. Computational Design with Crowds. In Computational Interaction (Eds. A. Oulasvirta, P. O. Kristensson, X. Bi,
and A. Howes), Oxford University Press, pp.153–184. https://arxiv.org/abs/2002.08657
Relative
assessment
A B 相対⽐較
相対評価を⽤いるのが
好ましい：
ユーザは複数の選択肢の
中から相対的に良いものを
安定に選ぶことができる
Absolute
assessment
絶対評価
絶対評価を⽤いるのは
好ましくない：
ユーザは関数の値を安定に
答えることができない
[Brochu+ ; Koyama+ ]
Slide 66
Slide 66 text
Human-in-the-Loop最適化の要件 [2/2]
• 全体の反復回数が⼗分に少ない必要がある
• ⼈間のレスポンスは遅い
• ⼈間は疲れてしまう
66
γεςϜ
ਓؒ
x10,000 (?)
Slide 67
Slide 67 text
選好ベイズ最適化 Preferential Bayesian Optimization (PBO)
ベイズ最適化の派⽣⼿法 [Brochu+ ]
• ベイズ最適化と異なり、絶対評価データを⽤い
ない
• 代わりに相対⽐較データから⽬的関数（好み）
を推定しながら最適化を実⾏する
• 少ない反復回数で解を発⾒できる性質は継承
✔
1#0
ਓؒ
࣭
ฦ
ʢධՁʣ
ͲͪΒ͕͖ʁ
ͪ͜ΒͰ͢
相対⽐較
データ
Human-in-the-Loop最適化と相性が良い
賢い
[Brochu+07] Active Preference Learning with Discrete Choice Data. NIPS 2007.
Slide 68
Slide 68 text
選好ベイズ最適化 Preferential Bayesian Optimization (PBO)
Slide 69
Slide 69 text
選好フィードバック（相対⽐較）の確率モデリング [1/2]
69
Option A Option B
Latent
goodness
value: g(A)
Latent
goodness
value: g(B)
⼀対⽐較に基づく
相対⽐較データの例
選好ベイズ最適化では、この確率モデルに基づく
最⼤事後確率（MAP）推定 [Chu+ ] によって潜在的
な好みの値を推定する [次スライド]
Bradley-Terry確率モデルを⽤いて相対⽐較データ
をモデル化する [Tsukida+ ]
[Tsukida+11] How to Analyze Paired Comparison Data. UWEE Tech Report Series (2011).
[Chu+05] Preference learning with Gaussian processes. ICML 2005.
[Koyama+22] Preferential Bayesian Optimisation for Visual Design. Bayesian Methods for Interaction and Design (2022).
Pr(A is chosen over B ∣ g(A), g(B))
=
exp(g(A))
exp(g(A)) + exp(g(B))
Slide 70
Slide 70 text
選好フィードバック（相対⽐較）の確率モデリング [2/2]
観測済みの各点の値 を、ガウス
過程の仮定の元でMAP推定によって求める：
g = (g
1
, …, g
n
)
gMAP = argmax
g
p(g ∣ d
1
, …, d
t
)
= argmax
g
p(d
1
, …, d
t
∣ g) p(g)
= argmax
g {
t
∏
i=1
p(d
i
∣ g)
}
p(g)
70
[Tsukida+11] How to Analyze Paired Comparison Data. UWEE Tech Report Series (2011).
[Chu+05] Preference learning with Gaussian processes. ICML 2005.
[Koyama+22] Preferential Bayesian Optimisation for Visual Design. Bayesian Methods for Interaction and Design (2022).
観測された⽐較データ d
i
= [x(A) ≻ x(B)]
MAP推定
ガウス過程の性質から は多変量ガウス分布
に従う
g
p(g) = Normal(m, K)
Bradley-Terryモデル
を適⽤する
p(d ∣ g) = exp(g(A))/(exp(g(A)) + exp(g(B)))
Slide 71
Slide 71 text
選好ベイズ最適化 (PBO) の動作例：
⼀対⽐較という相対⽐較データを繰り返し観測することで最適化が進む様⼦
Slide 72
Slide 72 text
Part : デザイン⽀援への応⽤
2.3. 選好ベイズ最適化によるデザイン⽀援研究事例
Slide 73
Slide 73 text
Sequential Line Search for Efficient Visual Design Optimization by Crowds
Y. Koyama, I. Sato, D. Sakamoto, and T. Igarashi
ACM Transactions on Graphics (SIGGRAPH 2017)
Slide 74
Slide 74 text
コンセプト提案：Crowd-in-the-Loop最適化
クラウドワーカを計算資源とみなして最適化を実⾏する
仕組み
研究の貢献
技術提案：Sequential Line Search法
選好ベイズ最適化 (PBO) を拡張してスライダ⼊⼒の
質問⽅式を扱えるようにすることで効率性を向上
Slide 75
Slide 75 text
「クラウド最適化」ボタン
“People’s Choice”
最適なスライダ値
Crowd-in-the-Loop最適化
[Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design
Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
Slide 76
Slide 76 text
[Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design
Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
Slide 77
Slide 77 text
[Koyama+, SIGGRAPH 2017] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design
Optimization by Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
本研究で提案する選好ベイズ最適化の新しい拡張（Sequential Line Search法 ）
Slide 78
Slide 78 text
基本：⼀対⽐較
(e.g., [Brochu+, NIPS ])
Choose the image that
looks better
Task:
本研究で提案：⼀つのスライダを操作
(⼀度により多くの情報を得られる)
Adjust the slider so that
the image looks the best
Task:
➡ より少ない反復回数で解を発⾒
相対⽐較に関する質問⽅式の設計の⼯夫
78
Slide 79
Slide 79 text
How to Define Slider Spaces
79
Slider space
S
:
1D subspace
mapped to a slider
Slide 80
Slide 80 text
How to Define Slider Spaces
80
x+ = arg max
x2{xi
}
µ(x)
The point that maximizes the
“expected improvement” (EI)
The best point among the already
visited points
xEI = arg max
x2X
EI(x)
Slide 81
Slide 81 text
[Koyama+17] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo Igarashi. 2017. Sequential Line Search for Efficient Visual Design Optimization by
Crowds. ACM Trans. Graph. 36, 4, pp.48:1–48:11 (2017). https://doi.org/10.1145/3072959.3073598
詳細は [Koyama+ ] を参照
スライダ操作に基づく相対⽐較を扱えるよう選好ベイズ最適化を拡張
（Sequential Line Search法）
Slide 82
Slide 82 text
Applications
写真の⾊調補正 ( D)
Slide 83
Slide 83 text
For each photo, it runs iterations, cost . USD in total, and took min in average
Slide 84
Slide 84 text
For each photo, it runs iterations, cost . USD in total, and took min in average
Slide 85
Slide 85 text
Replay
Slide 86
Slide 86 text
For each photo, it runs iterations, cost . USD in total, and took min in average
Slide 87
Slide 87 text
For each photo, it runs iterations, cost . USD in total, and took min in average
Slide 88
Slide 88 text
Q. Which one do you like?
Original By Crowds By Photoshop By Lightroom
Evaluation: Crowdsourced Voting
Slide 89
Slide 89 text
Crowds
Slide 90
Slide 90 text
Crowds
Slide 91
Slide 91 text
Crowds
Slide 92
Slide 92 text
Q. Which one do you like?
Original By Crowds By Photoshop By Lightroom
➡ େऺͷΈʹج͍ͮͯ࠷దԽͨ͠ (“people’s choice”) ͨΊɺେऺʹ·ΕΔ
Slide 93
Slide 93 text
• Crowd-in-the-Loop最適化を実現
• ⼀対⽐較ではなく⼀つのスライダを操作するタスクを採⽤することで
必要な反復回数を削減
• そのために選好ベイズ最適化 (PBO) を拡張
• Sequential Line Search法
Slide 94
Slide 94 text
評価者
94
• User-in-the-Loop最適化
• 特徴：
• 個⼈の好み
• 対話的な実⾏
0110
0101
1101
Sampling!
"
Evaluation!
• Crowd-in-the-Loop最適化
• 特徴：
• ⼤衆の好み
• クラウドソーシングで⾃動実⾏が可能
0110
0101
1101
Sampling! Evaluation!
######
#####
######
#####
######
Slide 95
Slide 95 text
Sequential Gallery for Interactive Visual Design Optimization
Y. Koyama, I. Sato, and M. Goto
ACM Transactions on Graphics (SIGGRAPH 2020)
Slide 96
Slide 96 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 96
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
Slide 97
Slide 97 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 97
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
Slide 98
Slide 98 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 98
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
2D search subtask #1
Slide 99
Slide 99 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 99
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
2D search subtask #1
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
Slide 100
Slide 100 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 100
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
2D search subtask #1
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
2D search subtask #2
Slide 101
Slide 101 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 101
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
2D search subtask #2
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
2D search subtask #3
Slide 102
Slide 102 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 102
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
2D search subtask #3
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
2D search subtask #4
Slide 103
Slide 103 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 103
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
2D search subtask #4
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
Slide 104
Slide 104 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020) 104
…
Target:
n design parameters
(e.g., photo enhance)
…
Output:
An optimal
parameter set
Sequential Gallery:
An interactive optimization framework
where the user sequentially performs
2D search subtasks via a grid interface
Slide 105
Slide 105 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
Slide 106
Slide 106 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
User’s feedback
Next search plane
Slide 107
Slide 107 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
Slide 108
Slide 108 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
Slide 109
Slide 109 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
User’s feedback
Next search plane
Slide 110
Slide 110 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
… 2D search subtask 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
Slide 111
Slide 111 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
…
… 2D search subtask 2D search subtask 2D search subtask
選好ベイズ最適化によって2次元の部分空間を賢く決定する
Slide 112
Slide 112 text
Yuki Koyama, Issei Sato, and Masataka Goto. Sequential Gallery for Interactive Visual Design Optimization. ACM Trans. Graph. (SIGGRAPH 2020)
Potential Applications
112
Photo color enhancement Generative modeling Procedural texturing
… and many other parametric design scenarios
Slide 113
Slide 113 text
Photo Color Enhancement (12D)
Brightness, contrast, saturation, shadows (RGB), midtones (RGB), and highlights (RGB)
Slide 114
Slide 114 text
No content
Slide 115
Slide 115 text
Original photograph Enhanced photograph
(after 4 iterations)
Slide 116
Slide 116 text
Body Shaping (10D)
Using the SMPL model [Loper+15] (the first 10 principal components)
Slide 117
Slide 117 text
No content
Slide 118
Slide 118 text
“He was of medium height, solidly built,
wide in the shoulders, thick in the neck,
with a jovial heavy-jawed red face […]”
Dashiell Hamme. 1930. e Maltese Falcon.
Slide 119
Slide 119 text
• User-in-the-Loop最適化を実現
• グリッド状に選択肢を提⽰するインタフェースを採⽤することで必要
な反復回数を削減
• そのために選好ベイズ最適化 (PBO) を拡張
Slide 120
Slide 120 text
Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization
K. Yamamoto, Y. Koyama, and Y. Ochiai
ACM UIST 2022
ロボットハンドを⽤いた実世界の写真撮影タスクに選好ベイズ最適化を適⽤
Slide 121
Slide 121 text
User System
Selected
melody
Candidate melodies
Balance for
the next candidates
Exploitation Exploration
Interactive Exploration-Exploitation Balancing for Generative Melody Composition
Y. Zhou, Y. Koyama, M. Goto, and T. Igarashi
IUI 2021
⽣成AIを⽤いた楽曲メロディー制作に選好ベイズ最適化を適⽤
Slide 122
Slide 122 text
FontCraft: Multimodal Font Design Using Interactive Bayesian Optimization
Y. Tatsukawa, I-C. Shen, M. D. Dogan, A. Qi, Y. Koyama, A. Shamir, T. Igarashi
ACM CHI 2025
フォント⽣成モデルの潜在空間探索に選好ベイズ最適化を適⽤
Slide 123
Slide 123 text
⾒た⽬の好ましさ
予測広告効果
Constrained Preferential Bayesian Optimization and Its Application in Banner Ad Design
K. Iwai, Y. Kumagae, Y. Koyama, M. Hamasaki, M. Goto
IJCAI 2025
バナー広告デザインに予測広告効果を制約として考慮した選好ベイズ最適化を適⽤
企業共同研究（博報堂DYホールディングス）
Slide 124
Slide 124 text
)VNBOJOUIF-PPQબϕΠζ࠷దԽ
w ༷ʑͳσβΠϯγφϦΦͰͦͷՄೳੑΛࡧ͖ͯͨ͠
w ҰํͰ)VNBOJOUIF-PPQϕΠζ࠷దԽʹ՝͋Δ
Zhou+
IUI 2020
ϝϩσΟʔੜ
Yamamoto+
UIST 2022
ࣸਅࡱӨ࣌ͷর໌
Koyama+
SIGGRAPH 2017
Koyama+
SIGGRAPH 2020
ࣸਅͷ৭ௐฤू%άϥϑΟΫε
Tatsukawa+
CHI 2025
ϑΥϯτੜ ࠂάϥϑΟοΫ
Iwai+
IJCAI 2025
Slide 125
Slide 125 text
Part : デザイン⽀援への応⽤
2.4. 最適化 “以外” のベイズ最適化活⽤事例
Slide 126
Slide 126 text
BO as Assistant: Using Bayesian Optimization for Generating Design Suggestions
Y. Koyama and M. Goto
ACM UIST 2022
Slide 127
Slide 127 text
✔
ϕΠζ࠷దԽ
#0
ຊࣗ༝ʹ
୳ࡧ͍ͨ͠
σβΠφ
ͲͪΒ͕͖ʁ
ͪ͜ΒͰ͢
ओಋݖ
Slide 128
Slide 128 text
ɿ
σβΠφ͕ࣗ༝ʹ୳ࡧͰ͖ͣɺ
ߦҝओମײ BHFODZ
ੑ DSFBUJWJUZ
ͷ
ԼΛট͘ݒ೦͕͋Δ<$IBO
$)*>
[Chan+, CHI 2022] L. Chan et al. 2022.
Investigating Positive and Negative
Qualities of Human-in-the-Loop
Optimization for Designing Interaction
Techniques. In Proc. CHI 2022.
✔
ϕΠζ࠷దԽ
#0
σβΠφ
ͲͪΒ͕͖ʁ
ͪ͜ΒͰ͢
ຊࣗ༝ʹ
୳ࡧ͍ͨ͠
ओಋݖ
Slide 129
Slide 129 text
ϕΠζ࠷దԽʢ#0ʣͷαϯϓϦϯάઓུͷݡ͞ͷԸܙΛड͚ͭͭɺ
σβΠφ͕ࣗ༝ʹσβΠϯ୳ࡧͰ͖ΔΑ͏ʹ͍ͨ͠
ணɿ
ϕΠζ࠷దԽʢ#0ʣΛʢIVNBOJOUIFMPPQͷΈͱͯ͠Ͱͳ͘ʣ
σβΠφͷॿखʢBTTJTUBOUʣͱͯ͠׆༻͢ΔϑϨʔϜϫʔΫΛఏҊ
σβΠφ
ϕΠζ࠷దԽ
#0
ओಋݖΛ࣋ͬͯ୳ࡧ͢Δ ݡ͍ॿखʹప͢Δ
ࢧԉ
ओಋݖ
Slide 130
Slide 130 text
ఏҊϑϨʔϜϫʔΫɿ"BO as Assistant"
Slide 131
Slide 131 text
#0BT"TTJTUBOUͷ߹ɿ
Slide 132
Slide 132 text
σβΠφͷΈҙਤΛʢউखʹʣֶश
#0BT"TTJTUBOUͷ߹ɿ
Slide 133
Slide 133 text
w #0໌ࣔతͳೖྗΛඞཁͱ͠ͳ͍
w #0͋͘·Ͱखॿ͚͚ͩΛͯ͠ɺ
ओಋݖΛͱΒͳ͍
#0BT"TTJTUBOUͷ߹ɿ
Slide 134
Slide 134 text
No content
Slide 135
Slide 135 text
No content
Slide 136
Slide 136 text
ࣸਅͷ৭ௐฤू
w ύϥϝλɿ
w #SJHIUOFTT
w $POUSBTU
w 4BUVSBUJPO
w -JGU 3(#
w (BNNB 3(#
w (BJO 3(#
w σβΠϯඪɿ
ࣸਅͷݟӫ͕͑ྑ͘ͳΔΑ͏ʹ͢Δ
Slide 137
Slide 137 text
x5
Slide 138
Slide 138 text
ϓϩγʔδϟϧϚςϦΞϧੜ
w ύϥϝλɿ
w 5ISFTIPME
w /PJTF4DBMF
w /PJTF%FUBJM
w /PJTF3PVHIOFTT
w /PJTF%JTUPSUJPO
w "NCJFOU0DDMVTJPO
w #VNQ4USFOHUI
w 1FFM#PVOEBSZ4USFOHUI
w σβΠϯඪɿ
ϖΠϯτ͕ണ͍͛ͯΔḊͼͨۚଐ
e 3D model is provided by Bastien Genbrugge under CC BY 4.0 at hps://sk.ly/6pNQ6
Slide 139
Slide 139 text
x5
Slide 140
Slide 140 text
140
w ϕΠζ࠷దԽʢ#0ʣΛʢIVNBOJOUIFMPPQͰͳ͘ʣ
σβΠφͷॿखʢBTTJTUBOUʣͱͯ͠׆༻͢ΔΠϯλϥΫγϣϯΛఏҊ
w εϥΠμૢ࡞Λ؍ଌ͢Δ͜ͱͰΈΛֶश͠ɺݡ͘σβΠϯҊΛੜ͢Δٕज़
ΛఏҊ
…
…
σβΠφ ॿखͱͯ͠ͷϕΠζ࠷దԽ #0
ීஈ௨Γࣗ༝ʹεϥΠμૢ࡞ͰσβΠϯ୳ࡧΛߦ͏
εϥΠμૢ࡞Λ؍ଌ
σβΠϯඪΛਪఆ
σβΠϯҊΛఏࣔ
#0͕ੜͨ͠σβΠϯҊ
#0ʹΑΔݡ͍
αϯϓϦϯά
σβΠφσβΠϯҊΛ࠾༻ͯ͠ແࢹͯ͠ྑ͍
Slide 141
Slide 141 text
Part : デザイン⽀援への応⽤
2.5. 選好ベイズ最適化以外のデザイン⽀援応⽤
Slide 142
Slide 142 text
インタラクション分野におけるデザイン⽀援への応⽤ [1/2]
• AR/VR時のポインティング操作の精度‧操作速度の最適化 [Chan+ ]
• ウェアラブルデバイスの⼊出⼒操作のキャリブレーション [Liao+ ]
• ⾃動運転におけるユーザ体験の最適化 [Jansen+ ]
• ゲーム難易度の最適化 [Khajah+ ]
• フォント可読性の個⼈最適化 [Kadner+ ]
• ビデオ通話におけるアバターの印象の最適化 [Yoshida+ ]
• デジタルファブリケーションによる実制作‧実計測を伴う最適化 [Piovarci+ ]
142
[Chan+22] Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques. CHI 2022.
[Liao+24] A Meta-Bayesian Approach for Rapid Online Parametric Optimization for Wrist-based Interactions. CHI 2024.
[Jansen+25] OptiCarVis: Improving Automated Vehicle Functionality Visualizations Using Bayesian Optimization to Enhance User Experience. CHI 2025.
[Khajah+16] Designing Engaging Games Using Bayesian Optimization. CHI 2016.
[Kadner+21] AdaptiFont: Increasing Individuals’ Reading Speed with a Generative Font Model and Bayesian Optimization. CHI 2021.
[Yoshida+24] Toward AI-Mediated Avatar-Based Telecommunication: Investigating Visual Impression of Switching Between User- and AI-Controlled Avatars
in Video Chat. IEEE Access (2024).
[Piovarci+20] Fabrication-in-the-Loop Co-Optimization of Surfaces and Styli for Drawing Haptics. SIGGRAPH 2020.
Slide 143
Slide 143 text
インタラクション分野におけるデザイン⽀援への応⽤ [2/2]
143
AR/VR時のポインティング操作の精度‧操作速度の最適化 [Chan+ ]
ビデオ通話におけるアバターの印象の最適化 [Yoshida+ ]
ウェアラブルデバイスの⼊出⼒操作のキャリブレーション [Liao+ ]
⾃動運転におけるユーザ体験の最適化 [Jansen+ ]
Slide 144
Slide 144 text
Part : デザイン⽀援への応⽤
2.6. まとめと議論
Slide 145
Slide 145 text
まとめ [1/2]
• Human-in-the-Loop最適化
• ⼈間の評価が必要な⽬的関数（好みな
ど）を対象とする最適化問題を解く上
で有効なアプローチ
• 選好ベイズ最適化 Preferential Bayesian
Optimization (PBO) が役⽴つ
• 相対⽐較データから好みを推定して
最適化を実⾏
• 少ない反復回数で解を発⾒できる性質
145
✔
࣭
ฦ
ʢධՁʣ
1#0
ਓؒ
Ͳ͕͖ͬͪʁ
ͬͪ͜Ͱ͢
Slide 146
Slide 146 text
まとめ [2/2]
146
• Human-in-the-Loop最適化でないイン
タラクション設計として、デザインを
提案してくれる "助⼿" としてベイズ
最適化技術を活⽤可能 [UIST ]
BO as Assistant
[UIST 2022]
Sequential Gallery
[SIGGRAPH 2020]
• アルゴリズムとインタフェース両側⾯
から⼯夫することが、効率的な
Human-in-the-Loop最適化を実現する
上で重要 [SIGGRAPH ; ]
Slide 147
Slide 147 text
議論：Human-AI Collaboration研究
147
#
Human Only
属⼈的な戦略と思考に依存
計算効率も悪い
AI Only
事前に定義された問題を扱う
⼈間の柔軟な判断を取り込めない
$
Human-AI Collaboration
数理技術の持つ合理性‧効率性を活かしながら、
⼈間とAIが協調して柔軟な問題解決‧意思決定を⾏う
#
• ⼈⼯知能技術を実問題に対し効果
的に適⽤するために必要な観点
• 選好ベイズ最適化はパラメタ調整
タスクを効果的に遂⾏する
Human-AI Collaborationの汎⽤
⼿法の⼀つと位置付けられる
%
%
Slide 148
Slide 148 text
おわりに
Slide 149
Slide 149 text
ベイズ最適化 Bayesian Optimization (BO)
• ブラックボックス最適化アルゴリズムの⼀つ
• 少ない反復回数で良い解を発⾒できる性質
➡ 評価コストが⾼い最適化問題で活躍
• 賢いサンプリング戦略：獲得関数（acquisition
function）を最⼤化する点を毎度サンプリングする
• 性質1. 探索：まだ探索していない領域を優先
• 性質2. 活⽤：期待値の⾼い領域を優先
• 活⽤例：
• 深層学習のハイパーパラメタ調整
• インタフェースやビジュアルデザインの最適化
• 創薬‧材料科学などの実験科学
149
⼀次元の最⼤化問題にベイズ最適化を適⽤した例
CV/CG/DCCのいずれの分野とも関連が深い
Slide 150
Slide 150 text
Acknowledgments
Daisuke
Sakamoto
Issei
Sato
Masataka
Goto
… and all collaborators!
Takeo
Igarashi
Slide 151
Slide 151 text
参考⽂献
• [Book] 今村秀明, 松井孝太. ベイズ最適化: 適応的実験計画の基礎と実践. 2023. [増補改訂版2025年発売]
• [Book] Rasmussen+. Gaussian Processes for Machine Learning. .
• [Book Chapter] Koyama+. Preferential Bayesian Optimisation for Visual Design. In Bayesian
Methods for Interaction and Design. .
• [Survey] Shahriari+. Taking the Human Out of the Loop: A Review of Bayesian Optimization.
Proc. IEEE. .
151