Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: IRのためのパラメータチューニング / ir-tuning
Search
Masahiro Nomura
October 31, 2020
Research
0
340
論文紹介: IRのためのパラメータチューニング / ir-tuning
Masahiro Nomura
October 31, 2020
Tweet
Share
More Decks by Masahiro Nomura
See All by Masahiro Nomura
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
nmasahiro
0
160
転移学習によるハイパーパラメータ最適化の高速化 / warm_starting_cma
nmasahiro
0
1.7k
論文紹介: Sample Reuse via Importance Sampling in Information Geometric Optimization / sample_reuse_igo
nmasahiro
0
170
機械学習における ハイパーパラメータ最適化の理論と実践 / hpo_theory_practice
nmasahiro
31
25k
論文紹介 : Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
nmasahiro
1
550
広告とAI(とハイパーパラメータ最適化) / Ad with AI
nmasahiro
1
1.7k
Other Decks in Research
See All in Research
LiDARセキュリティ最前線
kentaroy47
0
280
The Theory behind Vector DB
matsui_528
0
1.8k
Discovering Universal Geometry in Embeddings with ICA
momoseoyama
1
350
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
3
550
3D Human Mesh Estimationについていくつかまとめてみた / Survey about 3D Human Mesh Estimation
nttcom
0
220
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
1
250
待機電力を削減したネットワーク更新型電子ペーパーサイネージの開発と評価 / IOT64
yumulab
0
110
オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models
nttcom
14
5.6k
Embodied AIについて / About Embodied AI
nttcom
1
570
[Human-AI Decision Making勉強会] 説明の更新はユーザにどのような影響をもたらすか
okoso
1
200
論文紹介 DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction / DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction
nttcom
0
120
20240127_熊本から今いちど真面目に都市交通~めざせ「車1割削減、渋滞半減、公共交通2倍」~ 全国路面電車サミット2024宇都宮
trafficbrain
1
670
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
Writing Fast Ruby
sferik
622
60k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Scaling GitHub
holman
457
140k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Code Review Best Practice
trishagee
56
15k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
How STYLIGHT went responsive
nonsquared
92
4.8k
Building Effective Engineering Teams - LeadDev
addyosmani
31
1.9k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Transcript
論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
Bayesian Optimization for Optimizing Retrieval Systems
どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of
Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦
retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦
SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用
• ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
Parameter Tuning in Personal Search Systems
どんな論文? • 著者 : Suming J. Chen et al. (Google)
• 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため,オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦
関数の中身の情報が部分的に得られているシステム
最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない
• 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
結果 • 特にDriveで有意に改善 • Grey Box • Black Box •
性能は悪化 • (実質ランダムサーチなので妥当)
ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦
チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示