パラメータ探索を効率化するベイズ最適化入門

パラメータ探索を効率化するベイズ最適化入門 ~MATLAB実装~ 元記事:https://qiita.com/kepr/items/adacf7678cf4e9a6a1b8 Keishu X: @Keishu_te

直感的なパラメータ探索の課題機械学習モデルを利用する際に、「パラメータ探索」を行う機会は多い。しかし、実際のところは経験や直感に依存したり、パラメータを一つずつ手動で調整しているケースも少なくないそのような手法の課題 • 最適解に到達できない(交互作用、局所最適解) • 時間的、人的リソースがかかる •
プロセスの俗人化、技術資産として残らないイントロ

賢いハイパーパラメータ探索へ • Grid Search: 格子状にパラメータの組を網羅する • Random Search: 運がよければ少ない回数で最適解に到達 •
Bayesian Optimization: 最適解が存在しそうな場所を集中的に探索。一回の試行に時間がかかる場合、特に効果的。イントロ

ベイズ最適化の基本的な仕組み概要 1.パラメータ試行 2. 関数の予測 3. 有望なパラメータ
判断 2. 予測 3. 判断ガウス過程回帰獲得関数

ガウス過程回帰：予測値と不確かさ予測平均 (μ): 最も確からしい値不確かさ (σ): 予測の自信度 • 観測点付近: 不確かさ
↓ (自信あり) • 未知の領域: 不確かさ ↑ (自信なし) 【予測】

類似度に基づく「重み付き平均」予測したい点（x=2）に近い点ほど、予測への影響力が大きい。【予測】この点は近いから影響大この点は遠いから影響小

類似度を測るカーネル関数カーネル関数の役割 • この「似ている」の度合い（類似度）を計算する予測曲線の"設計図" • カーネル関数が、全ての点の組み合わせの「類似度」を計算 • この「類似度の一覧表」により、予測する関数の形を決まる【予測】

予測平均の式【予測】予測値のxと観測値のxがどれだけ類似しているか予測値のy座標観測値のy座標観測値のy座標を補正

次の一手を決める獲得関数 μ(x) →予測平均 σ(x) → 予測分散 κ: 活用 vs 探索のバランス調整
【判断】

問題設定（Irisデータセット） • Data: fisheriris (アヤメ) • Task: 3クラス分類 • Model:
SVM (RBF Kernel) • Goal: 分類誤差を最小化するBoxConstraintとKernelScaleを発見する。実践例特徴量分類

MATLABによる実装コード実践例探索するハイパーパラメータ設定最小化する目的関数の設定実行

結果：代理モデルと獲得関数実践例

結果：分類誤差の推移実践例 • 最初の数回の試行で最小誤差が急激に低下し、その後も少しずつ最小誤差が低下している • 少ない試行で質の高い解に到達、その後より良い解を探している

まとめ • 直感に基づくパラメータ探索では、時間、再現性、精度に課題 • パラメータ探索手法には、グリッドサーチ、ランダムサーチなども存在するが、試行に時間がかかる問題にはベイズは最適化が特に有効 • ベイズ最適化の仕組みとしては、試行、予測、判断のサイクル • 予測の直感的なイメージは、類似度に基づく重み付き平均
• MATLABにおける実践例を紹介まとめぜひ研究やプロジェクトで、ベイズ最適化を使ってみてください

パラメータ探索を効率化するベイズ最適化入門

パラメータ探索を効率化するベイズ最適化入門

Keishu

More Decks by Keishu

Other Decks in Programming

Featured

Transcript