ハイパーパラメータチューニング って何をしているの 開発部　井上 2024/10/25

ハイパーパラメータとは

（普通の）パラメータ 線形回帰での例 観測データ が与えられたとき、直線（モデル） が最もフィットするような、適切な値 を求めたい。 このような、データに合わせてモデルの振る舞いを決める値を、モデルのパラメータや重みという。 適切なパラメータを求めることを、学習という。

「適切な」パラメータの定式化 線形回帰での例 どのようなときに「最もフィット」するか？ 線形回帰の例では、次の誤差関数を最小化すればよい（いわゆる最小二乗法）。

ハイパーパラメータ Ridge回帰の例 モデルの複雑さを抑えるため（上記の例では、パラメータの絶対値が大きくなりにくくするため）、線 形回帰の誤差関数に対して、次のような罰則項を加えた関数（コスト関数）を考え、この最小化を考え ることがある（Ridge回帰）。 ここでλは、罰則の強さを決める正の実数で、値が大きいほど罰則が強くなる（パラメータは絶対値の大 きな値を取りにくくなる）。 このλは、学習前に事前に決めておくパラメータで、ハイパーパラメータと呼ばれる。

フィットさせたい関数 パラメータ 最小化したい関数 ハイパーパラメータ ここまでのまとめ Ridge回帰の例

実際の例 ハイパーパラメータを変えて学習した例 から生成した点+外れ値に 3つのモデルをフィッティング。 λを大きくすると、 傾きも小さくなっている。 ※αはscikit-learnライブラリで設定する 際のハイパーパラメータの名前で、 λと同じものと考えて大丈夫です ※Ridge回帰は多重共線性への対処に 用いられるのですが、今回は1変数 のため説明を割愛

ハイパーパラメータチューニング

ハイパーパラメータチューニングとは ハイパーパラメータに適切な値はあるの？　どうやって決めたらいいの？ それを決めるのがハイパーパラメータチューニングです。 ハイパーパラメータチューニングとは

ハイパーパラメータチューニングの定式化 任意のλに対し、コスト関数 を最小化するような を と書くことにする。このとき、誤差関数の値 が最も小さくなるようなλを選択すればよい。 ※本当は評価用のデータセットを分けたりしないといけないのですが、今回は割愛 Ridge回帰の例

ハイパーパラメータチューニングの方法 そのようなハイパーパラメータをどうやって探索すればよいか？ あらかじめ決めておいた有限個のリストを探索したり、与えられた範囲からランダムに探索したりする 方法もある。 完全なランダムではなく、いい感じに確率的に探索してくれるのが、ベイズ最適化。 探索の方法

最適化とは 一般に、関数が最小値（あるいは最大値）を取るような値を求めることを最適化という。 ベイズ最適化はブラックボックス最適化の一種で、よく分からない関数でもいい感じに最適化してくれ る。 ベイズ最適化を行ってくれるPythonのライブラリとしては、Optunaが有名。 ベイズ最適化

コード例 このあたりはMLのテンプレなので Optunaのコード例 Optunaで最適化するために 追加するのはこのあたり

おまけ

最適化の応用例 Googleの研究者がチョコチップクッキーのレシピの最適化をしたらしいです： Bayesian Optimization for a Better Dessert レシピ→“美味しさの評価値”という関数の最大化を試みたわけですね。 Googleのチョコチップクッキーレシピ

ご清聴ありがとうございました おわり