ベイズ最適化をゼロから

ブレインパッドの社内勉強会「b2b」で利用した資料です。
※ 本資料の公開はブレインパッドをもっとオープンにする取り組みOpenBPの活動のひとつです。
[OpenBrainPad Project]
https://brainpad.github.io/OpenBrainPad/

Transcript

1. b2b AS部10G回 2023/3/30 AS部 増子真 ベイズ最適化をゼロから
2. ©BrainPad Inc. Strictly Confidential アウトライン • はじめに • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） • 獲得関数（ベイズ最適化の構成要素②） • まとめ アウトライン 2
3. ©BrainPad Inc. Strictly Confidential 増子 真（ますこ まこと） • -2022/3 東京大学大学院工学系研究科 物理工学専攻 ◦ 博士（工学） ◦ 専門：物性物理学 実験 ▪ Google scholar：https://scholar.google.co.jp/citations?user=S0WtwNkAAAAJ ▪ 「試料を合成して、電気抵抗を測って、物質が示す新たな性質を探求する」という研究 ▪ 理化学研究所に常駐し、高価な半導体合成装置を使って合成条件と試料品質を追求する日々でした • 2022/4- ブレインパッド 自己紹介 3 細かな自己紹介 • 東京都八王子市出身、都立国立高校 • 小4~大学3年 吹奏楽部・サークル（トロンボーン、指揮） • 好きなビール：キリン クラシックラガー、アサヒ マルエフ、IPA系（雷電カンヌキIPAがイチオシ） • 好きなゲーム：スプラトゥーン、ゼノブレイド、FE、ゼルダBotW、ピクミン、グランツーリスモ、… • 使用キーボード：Realforce R3 静音 30g • 使用ディスプレイ構成：曲面ウルトラワイド+WQHD
4. ©BrainPad Inc. Strictly Confidential • 大学院では複数パラメータの合成条件最適化を頻繁に行っていたが、「経験と勘」に頼っていた。 ◦ 試料合成：1個あたり2時間 ◦ 特性測定：数時間-1日 • このような場合に効率的に最適化する手段としてベイズ最適化というものがあると聞き、興味を持った。 テーマ選定の動機 4
5. ©BrainPad Inc. Strictly Confidential 本発表では、ベイズ最適化の全体像とイメージの定性的・直感的な理解を目標に、入門的内容を取り扱います。 一応数式も載せていますがあまり追わず、図表を中心に扱います。 私もまだまだ初学者なので、質疑はもちろん、有識者の方々からの補足・訂正・発展的コメント等も大歓迎です！ アウトライン • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） • 獲得関数（ベイズ最適化の構成要素②） • まとめ 発表の概要とアウトライン 5
6. ©BrainPad Inc. Strictly Confidential • ガウス過程と機械学習（持橋・大羽） ◦ ベイズ最適化のキモであるガウス過程が丁寧かつ直感的に解説されている。超良い。 • 機械学習による統計的実験計画（ベイズ最適化を中心に）（松井） ◦ ガウス過程、獲得関数、ベイズ最適化の応用例を一通り網羅しているスライド。 • ベイズ最適化の応用研究（AIP部） ◦ AIP部によるまとめのコンフル。各種ライブラリを使用した実装例も提供されている。 • ガウス過程回帰（金子） • ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか） 参考文献 6
7. ©BrainPad Inc. Strictly Confidential アウトライン • はじめに • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） • 獲得関数（ベイズ最適化の構成要素②） • まとめ アウトライン 7
8. ©BrainPad Inc. Strictly Confidential ベイズ最適化：ブラックボックス関数を含むシステムを、なるべく少ない試行回数で最適化する機械学習の方法 ベイズ最適化をひとことで 8 松井 他 まてりあ 58(1) (2019) ブラックボックス関数
9. ©BrainPad Inc. Strictly Confidential ベイズ最適化は、入出力関係がブラックボックス的で、1つのデータ点を得る試行コストが高い状況に特に適している。 • 畑に3種類の肥料 (𝐴, 𝐵, 𝐶) を適切な分量 𝒙 = (𝑥𝐴 , 𝑥𝐵 , 𝑥𝐶 ) だけ撒いて、収量 𝑓(𝒙) を最大化したい。 肥料を撒いてから収量がわかるまでに4か月かかる。 • 新型自動車の流線型の鼻先形状パラメータ 𝒙 を適切に決めて、空気抵抗 𝑓 𝒙 を最小化したい。 模型を作製して風洞実験により空気抵抗を測定するのに、1回あたり50万円と3日間かかる。 • 深層ニューラルネットワークの構造パラメータ 𝒙 を適切に決めて、学習精度 𝑓(𝒙) を最大化したい。 実験1回あたり、3時間と計算機使用量50円がかかる。 これらの問題にどうとり組むか？ • 経験と勘：誰がやるかに大きく依存 • グリッドサーチ：試行コストがかさむ • ランダムサーチ：不確実 • ベイズ最適化（機械学習）：少ない試行回数で良い解を探索 ベイズ最適化が役立つ場面 9 松井 他 まてりあ 58(1) (2019) ブラックボックス関数
10. ©BrainPad Inc. Strictly Confidential ベイズ最適化では、下図のサイクルにより最適化を行う。 ベイズ最適化の全体像 10 𝑁0 組の入出力初期データ 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁0 を用意する 既存のデータ点 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 を、ガウス過程回帰によりモデリングする*1*2 獲得関数 𝜶(𝒙) を計算する 𝛼(𝒙) を最大化する 𝒙 を求め、次の探索点 𝒙𝑁+1 とする 実験を行い、新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を取得する 既存データ点集合 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 に新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を追加する 𝑥 データ点 未知の関数 予測平均 95%信用区間 図の引用：機械学習による統計的実験計画（松井） *1 ガウス過程を用いる方法が典型的だが、他にもTree-structured Parzen Estimator（Optunaなど）を用いる方 法、ランダムフォレストを用いる方法など様々な手法が提案されている。 参考：Optunaで始めるハイパーパラメータ最適化（PFN） *2 ガウス過程による分類問題の扱いは、[持橋・大羽]の3.6節を参照。 ↓次の探索点
11. ©BrainPad Inc. Strictly Confidential ベイズ最適化のサイクルを、下図の最小化問題を例にみる。 ベイズ最適化による最適化の様子 11 𝑥 初期データ点 未知の関数 最適解 ↓ 𝑥 初期データ点 実際はこう見える 図の引用：機械学習による統計的実験計画（松井）
12. ©BrainPad Inc. Strictly Confidential ベイズ最適化による最適化の様子 12 データ点 予測平均 95%信用区間 獲 得 関 数 獲得関数が最大 = 次の探索点 最適解に到達できた！ 図の引用：機械学習による統計的実験計画（松井） データ点を追加するたびにモデルが更新される。
13. ©BrainPad Inc. Strictly Confidential • ガウス過程回帰によるモデリング ◦ 柔軟なガウス過程を用いることで、ある程度滑らかな関数であれば何でも対応できる（右図） ◦ 確率モデルとして扱うことで、未観測点のデータがどのくらいの範囲に収まりそうか誤差範囲を見積もれる ▪ 「最もフィットする曲線を1本引く」のとは対照的 • データ追加によるモデルの逐次的な更新 • 問題に合わせて柔軟なアルゴリズム設計が可能 1. ガウス過程回帰でどのようなカーネル関数を使用するか 2. どのような獲得関数を使用するか ベイズ最適化の特徴 13 図の引用：ガウス過程と機械学習（持橋・大羽） ガウスカーネルの場合のガウス過程からのサンプル 以降のスライドで、ベイズ最適化の二大要素であるガウス過程回帰と獲得関数について概説する
14. ©BrainPad Inc. Strictly Confidential アウトライン • はじめに • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） ◦ ガウス過程について ◦ ガウス過程を用いた回帰について • 獲得関数（ベイズ最適化の構成要素②） • まとめ アウトライン 14
15. ©BrainPad Inc. Strictly Confidential 図の引用：https://www.iwanttobeacat.com/entry/2018/02/11/134145 ガウス過程の準備として、多変量ガウス分布を導入する。 多変量ガウス分布 16 𝐷次元のベクトル 𝒚 = (𝑦1 , ⋯ , 𝑦𝐷 ) が平均 𝝁 = (𝜇1 , ⋯ , 𝜇𝐷 )、共分散行列 𝚺 のガウス分布 𝒩(𝒚|𝝁, 𝚺) に従うとき、確率密度関数は次 式で表される。 𝒩 𝒚 𝝁, 𝚺 = 1 2𝜋 𝐷 𝚺 exp − 1 2 𝒚 − 𝝁 𝑇𝚺−1 𝒚 − 𝝁 • 共分散行列の (𝑖, 𝑗) 要素 Σ𝑖𝑗 は、𝑦𝑖 と 𝑦𝑗 の共分散を表す。 𝚺 = 1 0 0 1 1 0.7 0.7 1 1 −0.7 −0.7 1 例：2変数の場合 無相関 正の相関 負の相関
16. ©BrainPad Inc. Strictly Confidential ⚫ 確率過程 𝑓 ⋅ がガウス過程 GP 𝜇 𝒙 , 𝑘 𝒙, 𝒙′ に従うとき、 任意の 𝑁、任意の入力 𝒙1 , ⋯ 𝒙𝑁 に対し、 𝒇 = 𝑓 𝒙1 , ⋯ , 𝑓 𝒙𝑁 が多変量ガウス分布 𝒩(𝒇|𝝁, 𝐊) に従う。 ⚫ 平均 𝝁 = 𝜇 𝒙1 , ⋯ , 𝜇 𝒙𝑁 は平均関数 𝜇(𝒙) により決定する。*1 ⚫ 共分散行列 𝐊 はカーネル関数 𝑘 𝒙, 𝒙′ により決定し、その要素は 𝐾𝑛𝑛′ = 𝑘 𝒙𝑛 , 𝒙𝑛′ で与えられる。 ガウス過程の定義 17 …どういうこと？ ガウス過程の性質をみることで、直感的なイメージの獲得を試みる *1 多くの場合、データを適切に変換することで 𝝁 は 0 とみなせるため、𝜇 のモデル化が必要な機会は限定的。
17. ©BrainPad Inc. Strictly Confidential 確率過程のイメージ 18 確率変数 𝑦 がガウス分布に従う 確率過程 𝑓 ⋅ がガウス過程に従う 乱数のseedが決まると、実数 𝑦 が決まる 乱数のseedが決まると、関数 𝑓 ⋅ が決まる 𝑦 が決定 𝑓 ⋅ が決定 ガウス分布からのサンプル = 値を1つ生成 seedごとに値が異なる ガウス過程からのサンプル = 関数を1つ生成 seedごとに関数が異なる 確率過程：関数を生成する確率モデル ガウス分布（確率変数）とガウス過程（確率過程）には、以下のようなアナロジーがある。 図の引用： ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか）
18. ©BrainPad Inc. Strictly Confidential 𝑓 ⋅ ∼ GP 𝜇 𝒙 , 𝑘 𝒙, 𝒙′ のとき、任意の 𝑁、任意の入力 𝒙1 , ⋯ 𝒙𝑁 に対し、 𝒇 = 𝑓 𝒙1 , ⋯ , 𝑓 𝒙𝑁 が多変量ガウス分布 𝒩(𝒇|𝝁, 𝐊) に従う。 ガウス過程の性質 19 任意の1点 𝑥1 に注目すると 𝑓 𝑥1 , 𝑓 𝑥2 は 平均 𝜇 𝑥1 , 𝜇 𝑥2 共分散行列 𝑘 𝑥1 , 𝑥1 𝑘 𝑥1 , 𝑥2 𝑘 𝑥2 , 𝑥1 𝑘 𝑥2 , 𝑥2 の2変数のガウス分布に従う 𝑓(𝑥1 ) は平均 𝜇(𝑥1 )、分散 𝑘 𝑥1 , 𝑥1 のガウス分布に従う 任意の2点 𝑥1 , 𝑥2 に注目すると 𝑥1 𝑥1 𝑥2 𝑓 𝑥1 断面 𝑓 𝑥1 𝑓 𝑥2 共分散行列はカーネル関数 𝑘 𝒙, 𝒙′ によって決まる ガウス過程からのサンプル 図の引用： ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか）
19. ©BrainPad Inc. Strictly Confidential • 共分散行列 𝐊 は、カーネル関数 𝑘 𝒙, 𝒙′ により特徴づけられる。 ◦ 例：ガウスカーネル 𝑘 𝒙, 𝒙′ = 𝜃1 exp − 𝒙−𝒙′ 2 𝜃2 • カーネル関数は、「𝒙1 と 𝒙2 が近い場合 𝑓 𝒙1 と 𝑓 𝒙2 が強く相関する」ことを表現している。 ◦ 𝑓 𝒙1 と 𝑓 𝒙2 の共分散は 𝑘 𝒙1 , 𝒙2 ◦ 𝑓 はいきなり変化せず滑らか カーネル関数 20 𝑥1 𝑥2 𝑓 𝑥1 𝑓 𝑥2 𝑥1 𝑥2 𝑓 𝑥1 𝑓 𝑥2 𝑥1 と 𝑥2 が近いとき、𝑓 𝑥1 と 𝑓 𝑥2 は相関する 𝑥1 と 𝑥2 が遠いとき、𝑓 𝑥1 と 𝑓 𝑥2 は相関しない 𝑥 − 𝑥′ 𝑒− 𝑥−𝑥′ 2 図の引用： ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか） https://www.iwanttobeacat.com/entry/2018/02/11/134145
20. ©BrainPad Inc. Strictly Confidential • 様々なカーネル関数があり、𝑓 の関数形を決定する。 ◦ 𝑓 𝒙1 と 𝑓 𝒙2 の相関をどう表現するか？ ◦ 問題に合わせて適切に選択する必要がある。 カーネル関数の選択 21 図の引用：ガウス過程と機械学習（持橋・大羽）
21. ©BrainPad Inc. Strictly Confidential 既存のデータ点集合を、ガウス過程を用いて回帰する。 ガウス過程回帰 22 𝑥 データ点 𝑥1 , 𝑦1 𝑥2 , 𝑦2 𝑥3 , 𝑦3 𝑥∗ ガウス過程の事前分布 未観測点 𝑥∗ での 𝑦∗ の値は？ 事後分布として求める 図の引用： 機械学習による統計的実験計画（松井） ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか）
22. ©BrainPad Inc. Strictly Confidential • 𝑁組の入出力データ 𝒙1 , 𝑦1 , ⋯ , 𝒙𝑁 , 𝑦𝑁 がある。 • 𝑦 = 𝑓(𝒙) の関係があり、𝑓 がガウス過程 GP 𝜇 𝒙 , 𝑘 𝒙, 𝒙′ に従うと仮定する。 • このとき、𝒚 = 𝑦1 , ⋯ , 𝑦𝑁 𝑇 ∼ 𝒩(𝝁, 𝐊) • 任意の未観測点 𝒙∗ での値 𝑦∗ について、既存の 𝒚 に 𝑦∗ を加えた 𝑦1 , ⋯ , 𝑦𝑁 , 𝑦∗ 𝑇 は多変量ガウス分布に従う。 • 𝑦∗ はガウス分布に従い、その平均・分散は 𝜇 𝒙 , 𝑘 𝒙, 𝒙′ 、データ点 𝒙𝑛 , 𝑦𝑛 𝑛=1 𝑁 、 𝒙∗ により決定する（条件付き確率）。 • あらゆる 𝒙∗ について 𝑦∗ の分布を求めることで、事後分布の平均・分散を求められる。 ガウス過程回帰 23 𝑥 𝑥1 , 𝑦1 𝑥2 , 𝑦2 𝑥3 , 𝑦3 𝑥∗ 𝑦∗ 𝑥 未知の関数 事後分布の平均 事後分布の95%信用区間 あらゆる𝒙∗について 𝑦∗の分布を求める 図の引用：機械学習による統計的実験計画（松井）
23. ©BrainPad Inc. Strictly Confidential 事後分布からのサンプリングは関数（曲線）を生成する。 𝑥1 と 𝑥2 が近いほど 𝑦1 と 𝑦2 も相関していることが確認できる。 事後分布からのサンプリング（確認） 24 事後分布の平均・標準偏差 事後分布からのサンプル 図の引用： https://www.aidanscannell.com/post/gaussian-process-regression/
24. ©BrainPad Inc. Strictly Confidential アウトライン • はじめに • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） • 獲得関数（ベイズ最適化の構成要素②） • まとめ アウトライン 25
25. ©BrainPad Inc. Strictly Confidential ガウス過程回帰によりモデリングができた。次の探索点は獲得関数 𝛼(𝒙) により決定する。 ベイズ最適化のサイクルにおける獲得関数 26 𝑁0 点の初期データ 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁0 を用意する 既存のデータ点 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 を、ガウス過程回帰によりモデリングする*1*2 獲得関数 𝜶(𝒙) を計算する 𝛼(𝒙) を最大化する 𝒙 を求め、次の探索点 𝒙𝑁+1 とする 実験を行い、新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を取得する 既存データ点集合 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 に新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を追加する 𝑥 データ点 未知の関数 予測平均 95%信用区間 図の引用：機械学習による統計的実験計画（松井）
26. ©BrainPad Inc. Strictly Confidential 獲得関数の選択により、次の探索点の探索方針が決定する。 探索と活用のトレードオフをふまえ、バランスの良い獲得関数を設計する必要がある。 • 探索：データ点の少ない領域を次の探索点とする • 活用：既存データの最適点の近傍を次の探索点とする • 探索偏重だと過去のデータを活用できず、活用偏重だと未知のより良いパラメータを探索できない。 獲得関数 27 データが少ない領域を探索するか？ 現状の最適点を活用するか？ 図の引用：機械学習による統計的実験計画（松井）
27. ©BrainPad Inc. Strictly Confidential • 最大化問題を考える。EI、PIいずれも、𝛼(𝒙) を最大化する 𝒙 を次の探索点とする。 • expected improvement（EI） ◦ 現在の最良関数値 𝜏 に対する改善度の期待値を評価する。 ◦ よく使われる。 ◦ 𝛼EI 𝒙 = 𝔼 𝑓 − 𝜏 𝐼 𝑓 > 𝜏 = 𝜇 − 𝜏 Φ 𝜇−𝜏 𝜎 + 𝜎𝜙 𝜇−𝜏 𝜎 ▪ 改善度関数 𝑓 − 𝜏 𝐼 𝑓 > 𝜏 の期待値 • probability of improvement（PI） ◦ 𝒙 が現在の最良関数値を改善する確率を評価する。 ◦ 𝛼PI 𝒙 = Φ 𝜇−𝜏 𝜎 • 他にも様々な獲得関数が提案されている。 ◦ 参考：機械学習による統計的実験計画（ベイズ最適化を中心に）（松井） 代表的な獲得関数 28 𝜏：現在の最良関数値 𝜇 = 𝜇(𝒙)：事後確率の期待値 𝜎 = 𝜎(𝒙)：事後確率の標準偏差 𝜙()：標準正規分布の密度関数 Φ()：標準正規分布の累積分布関数 𝐼 𝑓 > 𝜏 ：𝑓 > 𝜏 のとき1、それ以外は0
28. ©BrainPad Inc. Strictly Confidential 獲得関数による次探索点の決定（EIを使用した場合） 29 𝑥 データ点 予測平均 95%信用区間 獲 得 関 数 獲得関数が最大 = 次の探索点 探索と活用をバランスよく行っている。 活用 活用 活用 活用 活用 探索 図の引用：機械学習による統計的実験計画（松井）
29. ©BrainPad Inc. Strictly Confidential EIと比べて、活用を重視している。 獲得関数による次探索点の決定（PIを使用した場合） 30 活用 活用 活用 活用 活用 活用 図の引用：機械学習による統計的実験計画（松井）
30. ©BrainPad Inc. Strictly Confidential アウトライン • はじめに • ベイズ最適化の概要 • ガウス過程回帰（ベイズ最適化の構成要素①） • 獲得関数（ベイズ最適化の構成要素②） • まとめ アウトライン 31
31. ©BrainPad Inc. Strictly Confidential ガウス過程による回帰と獲得関数を用いた次探索点決定により、なるべく少ない試行回数で効率的に最適化できる。 ベイズ最適化の全体像（再掲） 32 𝑁0 点の初期データ 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁0 を用意する 既存のデータ点 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 を、ガウス過程回帰によりモデリングする*1*2 獲得関数 𝜶(𝒙) を計算する 𝛼(𝒙) を最大化する 𝒙 を求め、次の探索点 𝒙𝑁+1 とする 実験を行い、新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を取得する 既存データ点集合 𝒙𝑖 , 𝑦𝑖 𝑖=1 𝑁 に新規データ点 𝒙𝑁+1 , 𝑦𝑁+1 を追加する 𝑥 データ点 未知の関数 予測平均 95%信用区間 *1 ガウス過程を用いる方法が典型的だが、他にもTree-structured Parzen Estimator（TPE、Optunaなど）を用 いる方法、ランダムフォレストを用いる方法など様々な手法が提案されている。 参考：Optunaで始めるハイパーパラメータ最適化（PFN） *2 ガウス過程による分類問題の扱いは、[持橋・大羽]の3.6節を参照。 図の引用：機械学習による統計的実験計画（松井）
32. ©BrainPad Inc. Strictly Confidential • ガウス過程と機械学習（持橋・大羽） ◦ ベイズ最適化のキモであるガウス過程が丁寧かつ直感的に解説されている。超良い。 • 機械学習による統計的実験計画（ベイズ最適化を中心に）（松井） ◦ ガウス過程、獲得関数、ベイズ最適化の応用例を一通り網羅しているスライド。 • ベイズ最適化の応用研究（AIP部） ◦ AIP部によるまとめのコンフル。各種ライブラリを使用した実装例も提供されている。 • ガウス過程回帰（金子） • ガウス過程回帰モデルの基礎（NTTコミュニケーションズ、ごちきか） 参考文献 33
33. APPENDIX
34. ©BrainPad Inc. Strictly Confidential ベイズ最適化の適用例として、固体材料の合成条件最適化の例を紹介する。 ベイズ最適化の適用例 35
35. ©BrainPad Inc. Strictly Confidential • 問題：SrRuO 3 の合成条件の最適化 • 目的関数：RRR（試料品質の指標）の最大化 • 変数：以下の3つ ◦ ルテニウムRuの供給量（Å/sec） ◦ 基板温度（℃） ◦ オゾン供給ノズルと基板の距離（mm） • 1つの試料合成の所要時間：2-4時間 • 1回の測定の所要時間：3-12時間 ベイズ最適化による合成パラメーターの最適化 36 Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究) （余談）専門的な解説 • SrRuO 3 ：ペロブスカイト構造、強磁性金属（電気を流す磁石） • 分子線エピタキシー（MBE）による薄膜合成 ◦ 超高真空チャンバー内で合成 ◦ 基板を設定温度に加熱 ◦ Ru, Sr, オゾン(O 3 )を供給 ◦ 基板表面で反応し結晶が成長 RRRが高い = 良い試料 • RRR：残留抵抗比、residual resistivity ratio ◦ 本論文での定義：(4 Kでの抵抗) / (300 Kでの抵抗) ◦ 試料の結晶性が高く散乱が少ないほど高くなる
36. ©BrainPad Inc. Strictly Confidential 最適化の全体フロー • 目的関数：RRRの最大化 • 変数1：ルテニウムの供給量（Ru flux） • 変数2：基板温度 • 変数3：オゾン供給ノズルと基板の距離 各変数の最適化のフロー 最適化のフロー 37 Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究) 1変数ずつ逐次的に最適化 • 変数2, 3を標準的な値に固定し、変数1の最適値を決定 • 変数1を最適値、変数3を標準値に固定し、変数2の最適値を決定 • 変数1, 2を最適値に固定し、変数3の最適値を決定 EIが最大となる条件で試料を合成・測定 データ点を追加 既存のデータ点から予測曲線および expected improvement (EI) を計算 最初にいくつか試料を合成・測定 初期データとする 例：5つの試料の合成・測定が完了した時点 • 5つのデータ点から、予測曲線・EIを計算 • EIが最大となる値を決定（~ 0.61 Å/s） • → 0.61 Å/s で次の試料を合成
37. ©BrainPad Inc. Strictly Confidential • 目的関数：RRRの最大化 • 変数1：ルテニウムの供給量（Ru flux） • 変数2：基板温度 • 変数3：オゾン供給ノズルと基板の距離 変数1の最適化 38 Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究) 1変数ずつ逐次的に最適化 • 変数2, 3を標準的な値に固定し、変数1の最適値を決定 • 変数1を最適値、変数3を標準値に固定し、変数2の最適値を決定 • 変数1, 2を最適値に固定し、変数3の最適値を決定 実験の進行 ↓変数1の 最適値を決定 EIが最大となる条件で試料を合成・測定 データ点を追加 既存のデータ点から予測曲線および expected improvement (EI) を計算 最初にいくつか試料を合成・測定 初期データとする
38. ©BrainPad Inc. Strictly Confidential 目的関数の最大値が更新される様子 39 N番目の試料時点での RRRの最大値 変数1の 最適化 変数2の 最適化 変数3の 最適化
39. ©BrainPad Inc. Strictly Confidential • 目的関数：RRRの最大化 • 変数1：ルテニウムの供給量（Ru flux） • 変数2：基板温度 • 変数3：オゾン供給ノズルと基板の距離 変数2の最適化 40 Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究) 1変数ずつ逐次的に最適化 • 変数2, 3を標準的な値に固定し、変数1の最適値を決定 • 変数1を最適値、変数3を標準値に固定し、変数2の最適値を決定 • 変数1, 2を最適値に固定し、変数3の最適値を決定 実験の進行 ↓変数2の最適値を決定
40. ©BrainPad Inc. Strictly Confidential • 目的関数：RRRの最大化 • 変数1：ルテニウムの供給量（Ru flux） • 変数2：基板温度 • 変数3：オゾン供給ノズルと基板の距離 変数3の最適化 41 Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究) 1変数ずつ逐次的に最適化 • 変数2, 3を標準的な値に固定し、変数1の最適値を決定 • 変数1を最適値、変数3を標準値に固定し、変数2の最適値を決定 • 変数1, 2を最適値に固定し、変数3の最適値を決定 実験の進行 ↓変数3の最適値を決定
41. ©BrainPad Inc. Strictly Confidential • 計31試料を合成し、24試料目にRRR > 50（本物質の世界最高クラスの品質）となる条件に到達した。 • 「1変数ずつ最適化し30程度の試料合成により最適条件を決定する」こと自体は人力での最適化と大差ない。 ベイズ最適化の優れている点 • 誤差付きの予測曲線を描ける点 ◦ 最適値の決定時に、十分な探索を行ったことを保証できる • RRRは変数2（温度）について非単調な振る舞いを示したが、局所解に陥らなかった点 • 条件探索の経験・勘がなくても、機械的に最適化を実行できる点 考察 42 変数1の 最適化 変数2の 最適化 変数3の 最適化 局所解 ↓ Y. K. Wakabayashi et al., APL Mater. 7, 101114 (2019) (NTT物性科学基礎研究所による研究)
42. ©BrainPad Inc. Strictly Confidential • 同グループから、3変数を同時に最適化した結果も後に報告された。 多変数の同時最適化への拡張 43 Y. K. Wakabayashi et al., npj Computational Materials (2022)8:180
43. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。 ©BrainPad Inc. Strictly Confidential