Tweet
Tweet

Slide 1

Slide 1 text

論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛

Slide 2

Slide 2 text

Bayesian Optimization for Optimizing Retrieval Systems

Slide 3

Slide 3 text

どんな論文？ ● 著者 : Dan Li, Evangelos Kanoulas (Univ. of Amsterdam) ● 出典 : WSDM’18 ● 要約 : ○ 情報検索システムには多数のハイパーパラメータが存在 ○ チューニングにベイズ最適化を利用し実験で性能を確認

Slide 4

Slide 4 text

IRにおけるハイパーパラメータの重要性 ● IRにはチューニングすべきハイパーパラメータが多数存在 ○ stopwords lists ○ stemming methods ○ retrieval model ○ k1 and b values in BM25 ○ number of top-ranked documents to consider ○ number of query expansion terms ● ハイパーパラメータの値によって検索の性能が大きく変わる

Slide 5

Slide 5 text

一般的なチューニングの手順 k1 評価値を計算 BM25 b

Slide 6

Slide 6 text

一般的なチューニングの手順 k1 評価値を計算 BM25 b

Slide 7

Slide 7 text

一般的なチューニングの手順 k1 評価値を計算 BM25 b

Slide 8

Slide 8 text

一般的なチューニングの手順 k1 評価値を計算 BM25 b

Slide 9

Slide 9 text

一般的なチューニングの手順 k1 評価値を計算 BM25 b

Slide 10

Slide 10 text

Black-Box関数 f(x) x ● 中身がBlack-Boxな関数と見なすことができる ● チューニングはBlack-Box最適化によって行うことができる

Slide 11

Slide 11 text

チューニングのためのBlack-Box最適化手法 ● Grid Search ● Random Search ● ベイズ最適化 ○ SOTAなハイパーパラメータのチューニング手法 ○ OptunaなどのOSSから利用可能

Slide 12

Slide 12 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 13

Slide 13 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 14

Slide 14 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 15

Slide 15 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 16

Slide 16 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 17

Slide 17 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 18

Slide 18 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 19

Slide 19 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 20

Slide 20 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 21

Slide 21 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 22

Slide 22 text

ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す

Slide 23

Slide 23 text

実験 ● データセット : TREC ● Pyndri (IndriのPython Interface) を使用 ● ハイパーパラメータ : 2変数 & 18変数 ○ 2変数 : two stage smoothingのλとμ ○ 18変数 : stopper, stemmer, retrieval modelなど ● 評価指標 ○ MAP (Mean Average Precision) ○ NDCG (Normalized Discounted Cumulative Gain) ○ MRR (Mean reciprocal rank)

Slide 24

Slide 24 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した

Slide 25

Slide 25 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した

Slide 26

Slide 26 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定

Slide 27

Slide 27 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した

Slide 28

Slide 28 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した

Slide 29

Slide 29 text

結果 ● Manual Search (デフォルトパラメータ) よりは改善 ● 2変数 : Random Searchとベイズ最適化はあまり変わらない ● 18変数 : ベイズ最適化の方が(少し)良い性能を示した

Slide 30

Slide 30 text

Parameter Tuning in Personal Search Systems

Slide 31

Slide 31 text

どんな論文？ ● 著者 : Suming J. Chen et al. (Google) ● 出典 : WSDM’20 ● 要約 : ○ 個人データの検索だとクエリとドキュメントのログが非公開 ■ オフラインでのチューニングができない ○ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ○ 部分的なログしかないデータを使ったチューニングを提案

Slide 32

Slide 32 text

White Box System ● 関数についての情報が全て得られているシステム (強い仮定) ● オフライン実験にてパラメータをチューニングすることが可能

Slide 33

Slide 33 text

Black Box System ● 関数の中身の情報が全く得られないシステム ● queryとdocが分からないため，オフライン実験は不可能 ○ 高コストなA/Bテストを行う必要がある

Slide 34

Slide 34 text

Grey Box System (Main Focus) ● White BoxとBlack Boxの中間 ○ 関数の中身の情報が部分的に得られているシステム

Slide 35

Slide 35 text

最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化

Slide 36

Slide 36 text

実験 ● GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 ● サービスの特性的に、実際のDAGの構造は明かせない ● 評価手順 ○ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ○ Black Box : オフライン評価ができないためオンラインで数試行評価 ● 評価指標 ○ ACP (Average Click Position) ○ CTR (Click-Through Rate) ○ MRR (Mean Reciprocal Rank)

Slide 37

Slide 37 text

結果 ● 特にDriveで有意に改善 ● Grey Box ● Black Box ● 性能は悪化 ● (実質ランダムサーチなので妥当)

Slide 38

Slide 38 text

ハイパーパラメータ最適化の参考資料 ● 機械学習におけるハイパーパラメータ最適化の理論と実践 ○ https://speakerdeck.com/nmasahiro/hpo-theory-practice ○ PyConJP 2019 発表スライド ○ チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) ● 機械学習におけるハイパパラメータ最適化手法：概要と特徴 ○ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ○ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ○ より踏み込んだガイドラインを提示