Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: IRのためのパラメータチューニング / ir-tuning
Search
Masahiro Nomura
October 31, 2020
Research
0
340
論文紹介: IRのためのパラメータチューニング / ir-tuning
Masahiro Nomura
October 31, 2020
Tweet
Share
More Decks by Masahiro Nomura
See All by Masahiro Nomura
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
nmasahiro
0
160
転移学習によるハイパーパラメータ最適化の高速化 / warm_starting_cma
nmasahiro
0
1.7k
論文紹介: Sample Reuse via Importance Sampling in Information Geometric Optimization / sample_reuse_igo
nmasahiro
0
170
機械学習における ハイパーパラメータ最適化の理論と実践 / hpo_theory_practice
nmasahiro
31
24k
論文紹介 : Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
nmasahiro
1
550
広告とAI(とハイパーパラメータ最適化) / Ad with AI
nmasahiro
1
1.7k
Other Decks in Research
See All in Research
オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models
nttcom
14
5.4k
20240127_熊本から今いちど真面目に都市交通~めざせ「車1割削減、渋滞半減、公共交通2倍」~ 全国路面電車サミット2024宇都宮
trafficbrain
1
660
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
150
Generative Spoken Dialogue Language Modeling [対話論文読み会@電通大]
yuta0306
1
130
Target trial emulationの概要
shuntaros
2
1.1k
時系列解析と疫学
kingqwert
2
920
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
470
Alternative Photographic Processes Reimagined: The Role of Digital Technology in Revitalizing Classic Printing Techniques【SIGGRAPH Asia 2023】
toremolo72
0
430
説明可能AI:代表的手法と最近の動向
yuyay
1
590
Sosiaalisen median katsaus 02/2024
hponka
0
2.6k
The Theory behind Vector DB
matsui_528
0
1.6k
[2023 CCSE] ZOZOTOWN検索における 研究開発の取り組みについて
tomoyayama
0
130
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
187
16k
Designing the Hi-DPI Web
ddemaree
276
33k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Optimising Largest Contentful Paint
csswizardry
8
2.4k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
The Invisible Side of Design
smashingmag
294
49k
Statistics for Hackers
jakevdp
789
220k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.6k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
19
1.7k
Web development in the modern age
philhawksworth
202
10k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Transcript
論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
Bayesian Optimization for Optimizing Retrieval Systems
どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of
Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦
retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦
SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用
• ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
Parameter Tuning in Personal Search Systems
どんな論文? • 著者 : Suming J. Chen et al. (Google)
• 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため,オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦
関数の中身の情報が部分的に得られているシステム
最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない
• 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
結果 • 特にDriveで有意に改善 • Grey Box • Black Box •
性能は悪化 • (実質ランダムサーチなので妥当)
ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦
チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示