Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
パラメータ探索を効率化するベイズ最適化入門
Search
Keishu
August 13, 2025
Programming
110
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
パラメータ探索を効率化するベイズ最適化入門
Keishu
August 13, 2025
Transcript
14 slides
パラメータ探索を効率化する ベイズ最適化入門 ~MATLAB実装~ 元記事:https://qiita.com/kepr/items/adacf7678cf4e9a6a1b8 Keishu X: @Keishu_te
直感的なパラメータ探索の課題 機械学習モデルを利用する際に、「パラメータ探索」を行う機会は多い。しかし、実 際のところは経験や直感に依存したり、パラメータを一つずつ手動で調整している ケースも少なくない そのような手法の課題 • 最適解に到達できない(交互作用、局所最適解) • 時間的、人的リソースがかかる •
プロセスの俗人化、技術資産として残らない イントロ
賢いハイパーパラメータ探索へ • Grid Search: 格子状にパラメータの組を網羅する • Random Search: 運がよければ少ない回数で最適解に到達 •
Bayesian Optimization: 最適解が存在しそうな場所を集中的に探索。一回の 試行に時間がかかる場合、特に効果的。 イントロ
ベイズ最適化の基本的な仕組み 概要 1.パラメータ 試行 2. 関数の 予測 3. 有望な パラメータ
判断 2. 予測 3. 判断 ガウス過程回帰 獲得関数
ガウス過程回帰:予測値と不確かさ 予測平均 (μ): 最も確からしい値 不確かさ (σ): 予測の自信度 • 観測点付近: 不確かさ
↓ (自信あり) • 未知の領域: 不確かさ ↑ (自信なし) 【予測】
類似度に基づく「重み付き平均」 予測したい点(x=2)に近い点ほど、予測への影響力が大きい。 【予測】 この点は近いから影響大 この点は遠いから影響小
類似度を測るカーネル関数 カーネル関数の役割 • この「似ている」の度合い(類似度)を計算する 予測曲線の"設計図" • カーネル関数が、全ての点の組み合わせの「類似度」を計算 • この「類似度の一覧表」により、予測する関数の形を決まる 【予測】
予測平均の式 【予測】 予測値のxと観測値のxが どれだけ類似しているか 予測値のy座標 観測値のy座標 観測値のy座標を補正
次の一手を決める獲得関数 μ(x) →予測平均 σ(x) → 予測分散 κ: 活用 vs 探索のバランス調整
【判断】
問題設定(Irisデータセット) • Data: fisheriris (アヤメ) • Task: 3クラス分類 • Model:
SVM (RBF Kernel) • Goal: 分類誤差を最小化するBoxConstraintとKernelScaleを発見する。 実践例 特徴量 分類
MATLABによる実装コード 実践例 探索するハイパーパラメータ設定 最小化する目的関数の設定 実行
結果:代理モデルと獲得関数 実践例
結果:分類誤差の推移 実践例 • 最初の数回の試行で最小誤差が急 激に低下し、その後も少しずつ最小 誤差が低下している • 少ない試行で質の高い解に到達、 その後より良い解を探している
まとめ • 直感に基づくパラメータ探索では、時間、再現性、精度に課題 • パラメータ探索手法には、グリッドサーチ、ランダムサーチなども存在するが、 試行に時間がかかる問題にはベイズは最適化が特に有効 • ベイズ最適化の仕組みとしては、試行、予測、判断のサイクル • 予測の直感的なイメージは、類似度に基づく重み付き平均
• MATLABにおける実践例を紹介 まとめ ぜひ研究やプロジェクトで、ベイズ最適化を使ってみてください
More Decks by Keishu
See All by Keishu
スマートフォンで実現する次世代の足形計測と靴選び
keishu
0
50
Other Decks in Programming
See All in Programming
Debian JP Projectのサーバー構成
uwabami
1
130
ビジネスロジックを堅牢に~Scala 3のドメインプリミティブ~
j5ik2o
0
200
AI時代のIaC入門 〜なぜインフラをコードで管理したいのか?〜 / Introduction to IaC in the AI Era
akihisaikeda
6
1.5k
はじめてのPLATEAU
nokonoko1203
1
660
まずはコードより業務と向き合う:テーブル解体のためにPdMを呼んだ話
sakawe_ee
0
250
TanStack Vue Query と Pinia Colada から学ぶ非同期状態の型設計
aoshi
0
690
Beyond Chatbots: Agentic UI with Open Standards @W-JAX 2026, München
manfredsteyer
PRO
0
110
Apple Intelligenceとオンデバイス時代の到来
yahir0
0
250
AIが生成したコードは読むべきか?抽象化設計とコードの品質保証 / abstraction-design-and-quality
minodriven
16
9.3k
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
430
[DroidKnights 2026] Workflow AX: From Auto-Documented Policies to E2E Testing
raeminkang
0
590
私なりのハーネスエンジニアリング ~独自の言語処理系の開発を通して~
seosoft
0
220
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
Code Review Best Practice
trishagee
74
20k
Rails Girls Zürich Keynote
gr2m
96
14k
How to Talk to Developers About Accessibility
jct
2
620
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
530
XXLCSS - How to scale CSS and keep your sanity
sugarenia
250
1.3M
Paper Plane
katiecoart
PRO
6
55k
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
2
330
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
1.1k
Tell your own story through comics
letsgokoyo
1
1.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
123
22k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
1k