Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: IRのためのパラメータチューニング / ir-tuning
Search
Masahiro Nomura
October 31, 2020
Research
0
480
論文紹介: IRのためのパラメータチューニング / ir-tuning
Masahiro Nomura
October 31, 2020
Tweet
Share
More Decks by Masahiro Nomura
See All by Masahiro Nomura
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
nmasahiro
0
260
転移学習によるハイパーパラメータ最適化の高速化 / warm_starting_cma
nmasahiro
0
2.1k
論文紹介: Sample Reuse via Importance Sampling in Information Geometric Optimization / sample_reuse_igo
nmasahiro
0
250
機械学習における ハイパーパラメータ最適化の理論と実践 / hpo_theory_practice
nmasahiro
30
39k
論文紹介 : Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
nmasahiro
1
700
広告とAI(とハイパーパラメータ最適化) / Ad with AI
nmasahiro
1
2k
Other Decks in Research
See All in Research
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
120
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
260
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
6.1k
Ad-DS Paper Circle #1
ykaneko1992
0
5.6k
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
580
20250502_ABEJA_論文読み会_スライド
flatton
0
180
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
6
3.4k
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.4k
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
200
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
220
Submeter-level land cover mapping of Japan
satai
3
140
Vision And Languageモデルにおける異なるドメインでの継続事前学習が性能に与える影響の検証 / YANS2024
sansan_randd
1
120
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Rails Girls Zürich Keynote
gr2m
95
14k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Language of Interfaces
destraynor
158
25k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Practical Orchestrator
shlominoach
189
11k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
How STYLIGHT went responsive
nonsquared
100
5.6k
YesSQL, Process and Tooling at Scale
rocio
173
14k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Transcript
論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
Bayesian Optimization for Optimizing Retrieval Systems
どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of
Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦
retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦
SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用
• ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
Parameter Tuning in Personal Search Systems
どんな論文? • 著者 : Suming J. Chen et al. (Google)
• 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため,オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦
関数の中身の情報が部分的に得られているシステム
最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない
• 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
結果 • 特にDriveで有意に改善 • Grey Box • Black Box •
性能は悪化 • (実質ランダムサーチなので妥当)
ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦
チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示