Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: IRのためのパラメータチューニング / ir-tuning
Search
Masahiro Nomura
October 31, 2020
Research
0
490
論文紹介: IRのためのパラメータチューニング / ir-tuning
Masahiro Nomura
October 31, 2020
Tweet
Share
More Decks by Masahiro Nomura
See All by Masahiro Nomura
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
nmasahiro
0
270
転移学習によるハイパーパラメータ最適化の高速化 / warm_starting_cma
nmasahiro
0
2.2k
論文紹介: Sample Reuse via Importance Sampling in Information Geometric Optimization / sample_reuse_igo
nmasahiro
0
260
機械学習における ハイパーパラメータ最適化の理論と実践 / hpo_theory_practice
nmasahiro
30
40k
論文紹介 : Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
nmasahiro
1
710
広告とAI(とハイパーパラメータ最適化) / Ad with AI
nmasahiro
1
2k
Other Decks in Research
See All in Research
情報技術の社会実装に向けた応用と課題:ニュースメディアの事例から / appmech-jsce 2025
upura
0
230
スキマバイトサービスにおける現場起点でのデザインアプローチ
yoshioshingyouji
0
250
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
130
Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification
satai
3
120
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
1.1k
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
130
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
210
アニメにおける宇宙猫ミームとその表現
yttrium173340
0
100
20250725-bet-ai-day
cipepser
2
490
ip71_contraflow_reconfiguration
stkmsd
0
110
Generative Models 2025
takahashihiroshi
25
14k
CoRL2025速報
rpc
1
2.3k
Featured
See All Featured
KATA
mclloyd
PRO
32
15k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Documentation Writing (for coders)
carmenintech
75
5.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
A better future with KSS
kneath
239
18k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The Pragmatic Product Professional
lauravandoore
36
7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
920
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
190
55k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
Transcript
論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
Bayesian Optimization for Optimizing Retrieval Systems
どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of
Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦
retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦
SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用
• ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
Parameter Tuning in Personal Search Systems
どんな論文? • 著者 : Suming J. Chen et al. (Google)
• 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため,オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦
関数の中身の情報が部分的に得られているシステム
最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない
• 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
結果 • 特にDriveで有意に改善 • Grey Box • Black Box •
性能は悪化 • (実質ランダムサーチなので妥当)
ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦
チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示