機械学習における重要度重み付けとその応用

機械学習における重要度重み付けとその応用
Masanari Kimura
Graduate University for Advanced Studies, SOKENDAI
Department of Statistical Science, School of Multidisciplinary Sciences
[email protected]
November 13, 2023
Masanari Kimura (SOKENDAI) Importance Weighting and its Applications November 13, 2023 1 / 80

View Slide

目次
1 概要
2 種々の分布シフト
3 ドメイン適応
4 能動学習
5 Distributionally Robust Optimization
6 Model Calibration
7 Positive-Unlabelled (PU) learning
8 Label Noise Correction
9 密度比推定
10 重要度重み付けと深層学習

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

概要
重要度重み付けは何らかの重要度に基づいてインスタンスに重み付けする操作：
e.g., for S = {xi}n
i=1
, f(S) :=
x∈S
ϕ(x) ⇒ fw(S) :=
x∈S
w(x)ϕ(x).
機械学習において多くの応用範囲がある．
どうやって w(x) を定義 or 推定するのかも大事．

View Slide


View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

種々の分布シフト
重要度重み付けの主戦場の 1 つとして分布シフト適応がある．
分布シフトは学習時とテスト時のデータの従う確率分布が異なるという設定．
どの変数に注目するかなどによって以下のように分類できる：
Covariate shift
Target shift
Sample selection bias
Subpopulation shift
Feedback shift

View Slide

Empirical Risk Minimization
一般的な機械学習アルゴリズムは学習データとテストデータが同一の確率分布に従
うことを仮定している（i.i.d. 仮定）
．
特に，i.i.d. 仮定の下での教師あり学習の妥当性は Empirical Risk Minimization（ERM）
の統計的性質に依存する（経験リスク ˆ
R の最小化 ⇒ 期待リスク R の最小化）
．
例：ERM の不偏性
ERM はある損失関数 ℓ : Y × Y → [0, ∞) を経験的に得られたデータ集合 D に対して最小
化することで，未知データに対する損失の最小化を目指す手続き．
ˆ
h = arg min
h∈H
ˆ
R(h) = arg min
h∈H
1
|D|
(x,y)∈D
ℓ(h(x), y). (1)
学習分布 ptr
とテスト分布 pte
の同一性が仮定できるとき，ERM は不偏性を持つ．
Eptr
[ ˆ
R] = R. (2)

View Slide

Covariate Shift
ERM の仮定するデータの分布の同一性は，現実の問題では満たされないことが多い．
Covariate Shift Assumption（共変量シフト仮定）は，学習時とテスト時の共変量が従
う確率分布が異なるという仮定 [65]．
Covariate Shift Assumption
学習分布 ptr
，テスト分布 pte
について以下が成り立つ：
ptr(x) ̸= pte(x),
ptr(y|x) = pte(y|x).
この仮定の下では，ERM の不偏性は満たされない．

View Slide

Importance Weighted Empirical Risk Minimization
損失関数の最小化の際に共変量の密度比 pte(x)/ptr(x) による重み付けを行うことで，
ERM の普遍性が復元できる（IWERM [65]）
：
Eptr(x,y)
pte(x)
ptr(x)
ℓ(h(x), y) =
X×Y
pte(x)
ptr(x)
ℓ(h(x), y) · ptr(x, y)dxdy
=
X×Y
pte(x)
ptr(x)
ℓ(h(x), y) · ptr(x)ptr(y|x)dxdy
=
X×Y
pte(x)ℓ(h(x), y) · ptr(y|x)dxdy
=
X×Y
pte(x)ℓ(h(x), y) · pte(y|x)dxdy
=
X×Y
ℓ(h(x), y) · pte(x, y)dxdy
= Epte(x,y)
[ℓ(h(x), y)] . (3)

View Slide

IWERM の亜種
IWERM の数値実験上の不安定さを解消するため，いくつかの亜種が提案されて
いる：
Adaptive Importance Weighted ERM（AIWERM [65]）
：
ˆ
h = arg min
h∈H
1
|D|
(x,y)∈D
wA(x)ℓ(h(x), y), wA(x) =
pte(x)
ptr(x)
λ
. (4)
Relative Importance Weighted ERM（RIWERM [86]）
：
ˆ
h = arg min
h∈H
1
|D|
(x,y)∈D
wR(x)ℓ(h(x), y), wR(x) =
pte(x)
(1 − λ)ptr(x) + λpte(x)
. (5)

View Slide

IWERM の情報幾何学的一般化
IWERM およびその亜種における重要度重みづけ w(x) の選択は，データの確率分布
が構成する統計的多様体上の α-測地線の選択と同一視できる [38]．
ˆ
h = arg min
h∈H x∈D
w(λ,α)(x)ℓ(h(x), y), w(λ,α)(x) =
m(λ,α)
f
(ptr(x), pte(x))
ptr(x)
, (6)
ここで
m(λ,α)
f
(a, b) = f−1
α
(1 − λ)fα(a) + λfα(b) , fα(a) =
a1−α
2 (α ̸= 1)
log a (α = 1).
(7)
IWERM は λ = 1 の場合．
AIWERM は α = 1 の場合．
RIWERM は α = 3 の場合．

View Slide

Covariate Shift 下での重要度重みづけのその他の話題
Importance Weighted Cross Validation (IWCV) [69] は共変量シフト下でのモデル選択
のための Cross Validation の亜種．
Distributionally Robust Optimization の文脈では，学習データに対する密度比
pte(x)/ptr(x) による重み付けの代わりに，テストデータに対する逆密度比
ptr(x)/pte(x) による重み付けが広く使われている．
これら 2 種類の重み付けのトレードオフを考慮した Double-Weighting Covariate Shift
Adaptation[49] が提案されている．
共変量シフト下での conformal prediction にも重要度重みづけが有効であることが報
告されている [72]．

View Slide

Covariate Shift 下での重要度重みづけの Negative Results
IWERM とその様々な推定量はどれも期待リスクを過小評価する [42]．
モデルがノンパラメトリックかつ model misspecification が仮定されない場合，重要
度重み付けは不要 [26]．
ただしノンパラメトリックかつ model misspecification が仮定される場合は必要．

View Slide

Target Shift
ターゲットシフトは，学習時とテスト時のターゲット変数の分布の違いを仮定 [92]．
Target Shift Assumption
学習分布 ptr
，テスト分布 pte
について以下が成り立つ：
ptr(y) ̸= pte(y),
ptr(x|y) = pte(x|y).
共変量シフト仮定と同様に，重要度重みづけが有効．
EM アルゴリズムを用いた p(y) の推定は p(x|y) の推定を内包するため非効率 [15]．
ターゲット変数が連続値をとるとき，半教師あり学習の設定での密度比の推定による重
要度重みづけが有効 [53]．

View Slide

Black Box Shift Estimation
Black Box Shift Estimation (BBSE) [45] はブラックボックス予測器を用いた重要度重
み付け w の推定方法．
ブラックボックス予測器 f の Confusion matrix C と，f の出力平均 b を用いて以下の
式を解く：
Cw = b. (8)

View Slide

Sample Selection Bias
共変量シフトと同一の仮定を置くことも多い [75, 81, 78, 6]．
広く受け入れられている解法の一つはとして，sample selection bias をモデル化する
ための確率変数 s を導入し，テスト分布を以下のように構成する（s = 1 のときイン
スタンスが選択されることを表現）
：
pte(x, y) = p(x, y) =
s
p(x, y, s). (9)
このような仮定の下で，次のような重要度が有効であることが知られてい
る [91, 76]：
w(x) =
P(s = 1)
P(s = 1|x)
. (10)

View Slide

Subpopulation Shift
Subpopulation shift は，単一のインスタンスでなく，データの部分集合の分布の変化
を仮定する [64, 87]．
他の分布シフト適応と同様に，部分集合の出現頻度に応じた重要度重みづけが有
効 [13, 18, 46]．
より最近の研究としては，UMIX[30] は mixup データ拡張においてインスタンスの加
重平均をとる操作に subpopulation shift のための重要度重み付けを導入している．

View Slide

Feedback Shift
広告分野において，購買行動に何度のクリックが紐づくかを予測することは重要．
しかし実際の問題設定では，クリックから購買までは比較的長い時間がかかること
が知られている（Feedback Shift，または Delayed Feedback）[16, 90, 43, 63, 71]．
Feedback Shift のもたらす悪影響としては，本来クリックの後購入されて positive ラ
ベルが付くはずだったインスタンスが，フィードバックの遅れによって negative ラ
ベルが付いてしまうこと．
Feedback Shift Importance Weighting (FSIW)[88] は，フィードバックの遅延確率に応
じた重要度重み付けによってこの問題に取り組んでいる．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

ドメイン適応
ドメイン適応の目的は，与えられたソースドメインのデータを用いて，ターゲット
ドメインのデータにおいて良い予測器を学習すること [57, 4, 79, 24, 17, 80]．
重要度重み付けによるドメイン適応についての多くの研究が存在：
敵対学習において，generator が discriminator を騙すような重みをインスタンスに割り当
てるように学習 [50]．
ソースドメインとターゲットドメインのサンプルサイズの違いを考慮した重要度重み付
け [83]．
重要度重みづけに基づくドメイン適応の汎化誤差解析 [1]．
NLP タスクでも重要度重み付けによるドメイン適応が用いられている [36]．ただし，単
語の出現頻度といった NLP タスク特有の問題による重要度重み付けによるドメイン適
応がうまくいかないことが報告されている [59]．
また，こうしたネガティブな結果は，既存研究はサンプル選択バイアスのみに注目して
いてサンプル選択分散を扱えていないことが原因と指摘 [82]．

View Slide

ドメイン適応のその他の問題設定
ドメイン適応の問題は，データの与えられ方や条件によって細分化できる．
Multi-source domain adaptation：ソースドメインが複数ある問題設定
Partial domain adaptation：ターゲットドメインがソースドメインより少ないクラス
数を持つ問題設定
Open-set domain adaptation：両方のドメインに未知クラスが含まれる．
Universal domain adaptation：ラベル集合に一切の事前知識を必要としない問題設定．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

能動学習
能動学習は，学習データに加えるインスタンスをうまく選べば，無作為に選んだも
のと同じだけのサンプルサイズでより良いモデルを学習できるという仮定のもとで
の問題設定．
能動学習のインスタンス選択の戦略は以下のように大別できる：
uncertainty
diversity
representativeness
reducing expected error
maximizing expected model changes

View Slide

Importance Weighted Active Learning
Importance Weighted Active Learning (IWAL) [9] は，重要度重み付けに基づく能動学
習の有名なものの一つ．
IWAL はラベルなしインスタンス xt
にその特徴量やそれまでのラベル付きデータの履歴
などをもとに確率 pt
でラベルづけを行う．
その後，インスタンス xt
の重みを 1/pt
として学習を行う．pt
の決め方は，時刻 t 時点
のデータで学習されたモデルの集合 Ht
を用いて
pt = max
f,g∈Ht+1
max
y
σ(ℓ(f(xt), y) − ℓ(g(xt), y)), (11)
Ht+1
= {h ∈ Ht; Lt(h) ≤ L∗
t
+ ∆t}, (12)
IWAL はこの重要度重み付けの下で一致性を持つことが示されている．

View Slide

IWAL の追加の議論
Beygelzimer et al. は rejection threshold を適切に設定することで IWAL の実用的な実
装を行なった [10]．
能動学習には sample reusability [73, 74] という概念がある．これは，ある学習器を用
いた能動学習で集められたデータセットは他の学習器にとっても有用かを考える
問題．
検証の結果 IWAL は sample reusability を持たないという報告がある [77]．

View Slide

能動学習と model misspecification
既存の能動学習は大きな model misspecification に脆弱であることを指摘し，重要度
重みづけによってこの影響を緩和できることを示唆 [68]．
model misspecification の下での一般化線形モデルの能動学習の漸近的性質を調べ，効
果的なインスタンス選択が重要度重み付けに依存することを提案 [2]．

View Slide

Active Learning by Learning
Active Learning by Learning (ALBL) [31] は複数のインスタンス選択の戦略を多腕バン
ディットのフレームワークを用いて組み合わせる．
ALBL は IWAL を拡張して，Importance Weighted Accuracy と呼ばれる報酬関数を導
入し，実験的に良い結果を得られることを報告．

View Slide

能動学習の性能評価
能動学習の課題の一つとして，sampling bias などに起因するデータ収集中のモデル
の性能評価がある．
能動学習においては，単純な重要度重み付け Cross Validation はうまくいかないことが
報告されている [41]．
重要度重み付けと class balanced sampling[93] を組み合わせるとうまく評価できるらし
い．
loss-propotional sampling に基づいた active testing と呼ばれる手法も存在 [40, 25]．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

Distributionally Robust Optimization
Distributionally Robust Optimization (DRO) [60, 27, 20, 8, 44, 19] は，ある分布 p0
の周
りの uncertainty set U(p0) におけるワーストケース性能を改善するような最適化を目
指すタスク．
minimizeh∈H R(h; p0) := sup
q∈U(p0)
E(x,y)∼q(x,y)
ℓ(h(x), y) , (13)
uncertainty set の構成に関しては多くの研究がある [5, 7, 11, 22]．
DRO は未知の分布シフトに対する最悪ケースの評価を考えていると捉えることもで
きる．

View Slide

DRO と重要度重み付け
DRO の定式化の一つとして，既知のターゲットドメインなしに重要度重み付き損失
を考えるものがある．
ある重み付け関数の集合 W を用いて，以下のように uncertainty set を構成する．
Uw(p0) = {w(x) · p0(x); w ∈ W}. (14)

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

Model Calibration
機械学習モデルの softmax 出力の確率はモデルの信頼度として扱われることが多い．
ただしそうした出力は well-calibrated であるとは限らない．
model calibration は，実際のイベントの発生確率に即した出力をモデルに促すことを
期待するタスク．

View Slide

Focal Loss の重要度重み付け的解釈
Model Calibration のために最もよく使われるものの一つが Focal Loss[51]．
Focal Loss は，簡単に分類できるインスタンスの重みを小さくすることで model
calibration に取り組んでいる．
この手続きは，モデルの予測確率 pi
に依存した重み付け w(xi) = (1 − pi)γ を行なっ
ていると解釈できる．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

Positive-Unlabelled (PU) learning
Positive-Unlabeled learning (PU) Learning は，2 値分類において positive ラベルのつい
たサンプルとラベルなしサンプルだけからモデルを学習するタスク [3, 39]．
PU Learning では negative ラベルのついたインスタンスが与えられない．
例えば negative class がうまく定義できないような問題設定において有用．

View Slide

Lemma (Elkan and Noto[21])
Let x be an example and let y ∈ {0, 1} be a binary label. Let s = 1 if the example x is labeled,
and let s = 0 if x is unlabeled. Then, for the selected completely at random unlabeled example
x, we have
p(y = 1|x) =
p(s = 1|x)
p(s = 1|y = 1)
. (15)
Proof.
仮定から，p(s = 1|y = 1, x) = p(s = 1|y = 1)．また，
p(s = 1|x) = p(y = 1 ∧ s = 1|x)
= p(y = 1|x)p(s = 1|y = 1, x)
= p(y = 1|x)p(s = 1|y = 1). (16)
両辺を p(s = 1|y = 1) で割ることで，補題を得る．

View Slide

このとき Ep(x,y,s)
[h(x, y)] の plugin estimator は
1
ntr


x,s=1
h(x, 1) +
(x,s=0)
w(x)h(x, 1) + (1 − w(x))h(x, 0)

 . (18)
ここで
w(x) = p(y = 1|x, s = 0)
=
1 − c
c
p(s = 1|x)
1 − p(s = 1|x)
. (19)
したがって，PU learning はラベルなしデータにラベルがつく確率に基づく重要度重み付
けと捉えることができる．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

Label Noise Correction
Label noise correction [55, 56, 66] は，ラベル付き学習データセットの不正確なラベル
付けの検出および修正を行うタスク．
最も有名な label noise correction のアプローチは，ラベルノイズの発生確率に対応する
行列を用いて損失関数に重み付けするもの [58]．
この手法は，ラベルノイズの発生確率が高いインスタンスの重みを小さくするように学
習する重要度重み付き学習に相当する．
Noise Attention Learning [47] はラベルノイズの発生確率をアテンション構造を用いてモ
デル化し，得られたノイズ確率を用いて重み付き学習を行う．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

密度比推定
密度比推定は，学習分布とテスト分布の密度比 r(x) = pte(x)/ptr(x) を推定する問題．
r(x) をよく推定できれば，IWERM に活用できるため非常に大事なタスク．

View Slide

Moment Matching に基づく密度比推定
Moment Matching の基本的なアイディアは，重み付き分布 ˆ
pte(x) = ˆ
r(x)ptr(x) とテス
ト分布 pte(x) のマッチング．
よく用いられるのはこれらの分布の平均のマッチング．
x ·ˆ
r(x)ptr(x)dx = x · pte(x)dx. (20)
ただし，有限個のモーメントのマッチングは，漸近的にであってさえも真の密度比
は誘導しないことが知られている．

View Slide

Kernel Mean Matching (KMM)
Kernel Mean Matching [32, 28] は，再生核ヒルベルト空間上 H で，
min
ˆ
r∈H
K(x, ·)ˆ
r(x)ptr(x)dx − K(x, ·)ptr(x)dx
2
H
, (21)
として Moment Matching を行う．

View Slide

KLIEP と LSIF
KLIEP [54, 70] は pte(x) と ˆ
pte(x) = ˆ
r(x)ptr(x) の間の KL-divergence の最小化によって
密度比を推定する．
min
ˆ
r
DKL[pte(x)∥ˆ
pte] = min
ˆ
r
pte(x)
pte(x)
ˆ
r(x)ptr(x)
dx.
同様に Least-Squares Importance Fitting (LSIF)[37] は squared loss を最小化する．
min
ˆ
r
(ˆ
r(x) − r(x))2 ptr(x)dx.

View Slide

Telescoping Density Ratio Estimation (TRE)
ふたつの分布間が大きく離れているとき，密度比推定の性能は大きく劣化する．
Telescoping Density Ratio Estimation (TRE)[62] は，ふたつの分布の間の中間データセ
ットを生成し，データを徐々にソース分布 p0
からターゲット分布 q = pm
へ移すこ
とを提案．
p0(x)
pm(x)
=
p0(x)p1(x)
p1(x)p2(x)
· · ·
pm−2(x)pm−1(x)
pm−1(x)pm(x)
. (22)
後の研究 [89] では，TRE のいくつかの統計的性質が明らかになっている．

View Slide

目次
1 概要
4 能動学習
6 Model Calibration
9 密度比推定

View Slide

重要度重み付けと深層学習
Over-parametrized なニューラルネットワークにおける重要度重み付き ERM の振る舞
いはこれまで未解明だった．
近年の研究では，深層学習における重要度重み付けの効果は学習イテレーションに
応じて減衰することが報告されている [12]．
また，こうした現象は L2 正則化およびバッチ正規化によって緩和できることも実験的
に示されている．
この現象は勾配法の implicit bias と関連することも示唆されている [67, 35, 34, 52]．
後続の研究では，こうした実験結果の理論的裏付けも与えられている [84]．

View Slide

重要度重み付けの深層学習による近似
重要度重み付け関数 w(x) のニューラルネットワークによる暗黙的な学習に関する研究も
多く存在：
メタ学習による重要度重み付けの学習 [61]．
重要度重み付け関数の NN による学習はバイアスを誘導することを指摘 [23]．分類器
と重みづけ関数の交互最適化によってこれを解決できることを提案．
重要度重み付けは敵対的攻撃への頑健性を向上できることも報告されている
[14, 85, 33, 29]．また，このような重みは敵対的学習によって獲得できることも提案．

View Slide

Importance Tempering
重要度重み付けの代替として，Importance Tempering[48] が提案されている．
Importance Tempering は over-parametrized なニューラルネットワークの決定境界の改
善が目的．
重要度重み付けに相当するインスタンス依存の温度パラメータを softmax 関数に導
入することでこれを達成．

View Slide

References I
[1] Kamyar Azizzadenesheli, Anqi Liu, Fanny Yang, and Animashree Anandkumar.
Regularized learning for domain adaptation under label shifts.
arXiv preprint arXiv:1903.09734, 2019.
[2] Francis Bach.
Active learning for misspecified generalized linear models.
Advances in neural information processing systems, 19, 2006.
[3] Jessa Bekker and Jesse Davis.
Learning from positive and unlabeled data: A survey.
Machine Learning, 109:719–760, 2020.
[4] Shai Ben-David, John Blitzer, Koby Crammer, and Fernando Pereira.
Analysis of representations for domain adaptation.

View Slide

References II
[5] Aharon Ben-Tal, Dick Den Hertog, Anja De Waegenaere, Bertrand Melenberg, and Gijs
Rennen.
Robust solutions of optimization problems affected by uncertain probabilities.
Management Science, 59(2):341–357, 2013.
[6] Richard A Berk.
An introduction to sample selection bias in sociological data.
American sociological review, pages 386–398, 1983.
[7] Dimitris Bertsimas, Vishal Gupta, and Nathan Kallus.
Data-driven robust optimization.
Mathematical Programming, 167:235–292, 2018.
[8] Dimitris Bertsimas, Melvyn Sim, and Meilin Zhang.
Adaptive distributionally robust optimization.
Management Science, 65(2):604–618, 2019.

View Slide

References III
[9] Alina Beygelzimer, Sanjoy Dasgupta, and John Langford.
Importance weighted active learning.
In Proceedings of the 26th annual international conference on machine learning, pages
49–56, 2009.
[10] Alina Beygelzimer, Daniel Hsu, Nikos Karampatziakis, John Langford, and Tong Zhang.
Eﬀicient active learning.
In ICML 2011 Workshop on On-line Trading of Exploration and Exploitation, 2011.
[11] Jose Blanchet, Yang Kang, and Karthyek Murthy.
Robust wasserstein profile inference and applications to machine learning.
Journal of Applied Probability, 56(3):830–857, 2019.
[12] Jonathon Byrd and Zachary Lipton.
What is the effect of importance weighting in deep learning?
In International conference on machine learning, pages 872–881. PMLR, 2019.

View Slide

References IV
[13] Zhangjie Cao, Kaichao You, Mingsheng Long, Jianmin Wang, and Qiang Yang.
Learning to transfer examples for partial domain adaptation.
In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition,
pages 2985–2994, 2019.
[14] Anirban Chakraborty, Manaar Alam, Vishal Dey, Anupam Chattopadhyay, and Debdeep
Mukhopadhyay.
A survey on adversarial attacks and defences.
CAAI Transactions on Intelligence Technology, 6(1):25–45, 2021.
[15] Yee Seng Chan and Hwee Tou Ng.
Word sense disambiguation with distribution estimation.
In IJCAI, volume 5, pages 1010–5, 2005.

View Slide

References V
[16] Olivier Chapelle.
Modeling delayed feedback in display advertising.
In Proceedings of the 20th ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 1097–1105, 2014.
[17] Gabriela Csurka.
Domain adaptation for visual applications: A comprehensive survey.
[18] Yin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie.
Class-balanced loss based on effective number of samples.
pages 9268–9277, 2019.

View Slide

References VI
[19] Erick Delage and Yinyu Ye.
Distributionally robust optimization under moment uncertainty with application to
data-driven problems.
Operations research, 58(3):595–612, 2010.
[20] John Duchi and Hongseok Namkoong.
Learning models with uniform performance via distributionally robust optimization.
[21] Charles Elkan and Keith Noto.
Learning classifiers from only positive and unlabeled data.
In Proceedings of the 14th ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 213–220, 2008.

View Slide

References VII
[22] Peyman Mohajerin Esfahani and Daniel Kuhn.
Data-driven distributionally robust optimization using the wasserstein metric:
Performance guarantees and tractable reformulations.
[23] Tongtong Fang, Nan Lu, Gang Niu, and Masashi Sugiyama.
Rethinking importance weighting for deep learning under distribution shift.
Advances in neural information processing systems, 33:11996–12007, 2020.
[24] Abolfazl Farahani, Sahar Voghoei, Khaled Rasheed, and Hamid R Arabnia.
A brief review of domain adaptation.
Advances in data science and information engineering: proceedings from ICDATA 2020
and IKE 2020, pages 877–894, 2021.

View Slide

References VIII
[25] Sebastian Farquhar, Yarin Gal, and Tom Rainforth.
On statistical bias in active learning: How and when to fix it.
[26] Davit Gogolashvili, Matteo Zecchin, Motonobu Kanagawa, Marios Kountouris, and
Maurizio Filippone.
When is importance weighting correction needed for covariate shift adaptation?
[27] Joel Goh and Melvyn Sim.
Distributionally robust optimization and its tractable approximations.
Operations research, 58(4-part-1):902–917, 2010.

View Slide

References IX
[28] Arthur Gretton, Alex Smola, Jiayuan Huang, Marcel Schmittfull, Karsten Borgwardt, and
Bernhard Schölkopf.
Covariate shift by kernel mean matching.
Dataset shift in machine learning, 3(4):5, 2009.
[29] Chuan Guo, Jacob Gardner, Yurong You, Andrew Gordon Wilson, and Kilian Weinberger.
Simple black-box adversarial attacks.
In International Conference on Machine Learning, pages 2484–2493. PMLR, 2019.
[30] Zongbo Han, Zhipeng Liang, Fan Yang, Liu Liu, Lanqing Li, Yatao Bian, Peilin Zhao,
Bingzhe Wu, Changqing Zhang, and Jianhua Yao.
Umix: Improving importance weighting for subpopulation shift via uncertainty-aware
mixup.
Advances in Neural Information Processing Systems, 35:37704–37718, 2022.

View Slide

References X
[31] Wei-Ning Hsu and Hsuan-Tien Lin.
Active learning by learning.
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 29, 2015.
[32] Jiayuan Huang, Arthur Gretton, Karsten Borgwardt, Bernhard Schölkopf, and Alex
Smola.
Correcting sample selection bias by unlabeled data.
[33] Sandy Huang, Nicolas Papernot, Ian Goodfellow, Yan Duan, and Pieter Abbeel.
Adversarial attacks on neural network policies.
[34] Ziwei Ji and Matus Telgarsky.
Gradient descent aligns the layers of deep linear networks.

View Slide

References XI
[35] Ziwei Ji and Matus Telgarsky.
Risk and parameter convergence of logistic regression.
[36] Jing Jiang and ChengXiang Zhai.
Instance weighting for domain adaptation in nlp.
ACL, 2007.
[37] Takafumi Kanamori, Shohei Hido, and Masashi Sugiyama.
A least-squares approach to direct importance estimation.
The Journal of Machine Learning Research, 10:1391–1445, 2009.
[38] Masanari Kimura and Hideitsu Hino.
Information geometrically generalized covariate shift adaptation.
Neural Computation, 34(9):1944–1977, 2022.

View Slide

References XII
[39] Ryuichi Kiryo, Gang Niu, Marthinus C Du Plessis, and Masashi Sugiyama.
Positive-unlabeled learning with non-negative risk estimator.
[40] Jannik Kossen, Sebastian Farquhar, Yarin Gal, and Tom Rainforth.
Active testing: Sample-eﬀicient model evaluation.
[41] Daniel Kottke, Jim Schellinger, Denis Huseljic, and Bernhard Sick.
Limitations of assessing active learning performance at runtime.
[42] Wouter M Kouw and Marco Loog.
On regularization parameter estimation under covariate shift.
In 2016 23rd International Conference on Pattern Recognition (ICPR), pages 426–431.
IEEE, 2016.

View Slide

References XIII
[43] Sofia Ira Ktena, Alykhan Tejani, Lucas Theis, Pranay Kumar Myana, Deepak Dilipkumar,
Ferenc Huszár, Steven Yoo, and Wenzhe Shi.
Addressing delayed feedback for continuous training with neural networks in ctr
prediction.
In Proceedings of the 13th ACM conference on recommender systems, pages 187–195,
2019.
[44] Daniel Levy, Yair Carmon, John C Duchi, and Aaron Sidford.
Large-scale methods for distributionally robust optimization.
[45] Zachary Lipton, Yu-Xiang Wang, and Alexander Smola.
Detecting and correcting for label shift with black box predictors.

View Slide

References XIV
[46] Wei Liu and Sanjay Chawla.
Class confidence weighted k nn algorithms for imbalanced data sets.
In Advances in Knowledge Discovery and Data Mining: 15th Pacific-Asia Conference,
PAKDD 2011, Shenzhen, China, May 24-27, 2011, Proceedings, Part II 15, pages
345–356. Springer, 2011.
[47] Yangdi Lu, Yang Bo, and Wenbo He.
Noise attention learning: Enhancing noise robustness by gradient scaling.
[48] Yiping Lu, Wenlong Ji, Zachary Izzo, and Lexing Ying.
Importance tempering: Group robustness for overparameterized models.

View Slide

References XV
[49] Jose Ignacio Segovia Martin, Santiago Mazuelas, and Anqi Liu.
Double-weighting for covariate shift adaptation.
[50] Nima Mashayekhi.
An Adversarial Approach to Importance Weighting for Domain Adaptation.
PhD thesis, 2022.
[51] Jishnu Mukhoti, Viveka Kulharia, Amartya Sanyal, Stuart Golodetz, Philip Torr, and
Puneet Dokania.
Calibrating deep neural networks using focal loss.

View Slide

References XVI
[52] Mor Shpigel Nacson, Suriya Gunasekar, Jason Lee, Nathan Srebro, and Daniel Soudry.
Lexicographic and depth-sensitive margins in homogeneous and non-homogeneous deep
models.
[53] Tuan Duong Nguyen, Marthinus Christoffel, and Masashi Sugiyama.
Continuous target shift adaptation in supervised learning.
In Asian Conference on Machine Learning, pages 285–300. PMLR, 2016.
[54] XuanLong Nguyen, Martin J Wainwright, and Michael I Jordan.
Estimating divergence functionals and the likelihood ratio by convex risk minimization.
IEEE Transactions on Information Theory, 56(11):5847–5861, 2010.
[55] Bryce Nicholson, Victor S Sheng, and Jing Zhang.
Label noise correction and application in crowdsourcing.
Expert Systems with Applications, 66:149–162, 2016.

View Slide

References XVII
[56] Bryce Nicholson, Jing Zhang, Victor S Sheng, and Zhiheng Wang.
Label noise correction methods.
In 2015 IEEE International Conference on Data Science and Advanced Analytics (DSAA),
pages 1–9. IEEE, 2015.
[57] Vishal M Patel, Raghuraman Gopalan, Ruonan Li, and Rama Chellappa.
Visual domain adaptation: A survey of recent advances.
IEEE signal processing magazine, 32(3):53–69, 2015.
[58] Giorgio Patrini, Alessandro Rozza, Aditya Krishna Menon, Richard Nock, and Lizhen Qu.
Making deep neural networks robust to label noise: A loss correction approach.
In Proceedings of the IEEE conference on computer vision and pattern recognition, pages
1944–1952, 2017.

View Slide

References XVIII
[59] Barbara Plank, Anders Johannsen, and Anders Søgaard.
Importance weighting and unsupervised domain adaptation of pos taggers: a negative
result.
In Proceedings of the 2014 Conference on Empirical Methods in Natural Language
Processing (EMNLP), pages 968–973, 2014.
[60] Hamed Rahimian and Sanjay Mehrotra.
Distributionally robust optimization: A review.
[61] Mengye Ren, Wenyuan Zeng, Bin Yang, and Raquel Urtasun.
Learning to reweight examples for robust deep learning.

View Slide

References XIX
[62] Benjamin Rhodes, Kai Xu, and Michael U Gutmann.
Telescoping density-ratio estimation.
Advances in neural information processing systems, 33:4905–4916, 2020.
[63] Abdollah Safari, Rachel MacKay Altman, and Thomas M Loughin.
Display advertising: Estimating conversion probability eﬀiciently.
[64] Shibani Santurkar, Dimitris Tsipras, and Aleksander Madry.
Breeds: Benchmarks for subpopulation shift.
[65] Hidetoshi Shimodaira.
Improving predictive inference under covariate shift by weighting the log-likelihood
function.
Journal of statistical planning and inference, 90(2):227–244, 2000.

View Slide

References XX
[66] Hwanjun Song, Minseok Kim, Dongmin Park, Yooju Shin, and Jae-Gil Lee.
Learning from noisy labels with deep neural networks: A survey.
IEEE Transactions on Neural Networks and Learning Systems, 2022.
[67] Daniel Soudry, Elad Hoffer, Mor Shpigel Nacson, Suriya Gunasekar, and Nathan Srebro.
The implicit bias of gradient descent on separable data.
The Journal of Machine Learning Research, 19(1):2822–2878, 2018.
[68] Masashi Sugiyama.
Active learning for misspecified models.
[69] Masashi Sugiyama, Matthias Krauledat, and Klaus-Robert Müller.
Covariate shift adaptation by importance weighted cross validation.
Journal of Machine Learning Research, 8(5), 2007.

View Slide

References XXI
[70] Masashi Sugiyama, Shinichi Nakajima, Hisashi Kashima, Paul Buenau, and Motoaki
Kawanabe.
Direct importance estimation with model selection and its application to covariate shift
adaptation.
[71] Marcelo Tallis and Pranjul Yadav.
Reacting to variations in product demand: An application for conversion rate (cr)
prediction in sponsored search.
In 2018 IEEE International Conference on Big Data (Big Data), pages 1856–1864. IEEE,
2018.
[72] Ryan J Tibshirani, Rina Foygel Barber, Emmanuel Candes, and Aaditya Ramdas.
Conformal prediction under covariate shift.

View Slide

References XXII
[73] Katrin Tomanek.
Resource-aware annotation through active learning.
2010.
[74] Katrin Tomanek and Katherina Morik.
Inspecting sample reusability for active learning.
In Active Learning and Experimental Design workshop In conjunction with AISTATS
2010, pages 169–181. JMLR Workshop and Conference Proceedings, 2011.
[75] Van-Tinh Tran.
Selection bias correction in supervised learning with importance weight.
PhD thesis, Université de Lyon, 2017.

View Slide

References XXIII
[76] Van-Tinh Tran and Alex Aussem.
Correcting a class of complete selection bias with external data based on importance
weight estimation.
In International Conference on Neural Information Processing, pages 111–118. Springer,
2015.
[77] Gijs Van Tulder.
Sample reusability in importance-weighted active learning.
2012.
[78] Francis Vella.
Estimating models with sample selection bias: a survey.
Journal of Human Resources, pages 127–169, 1998.

View Slide

References XXIV
[79] Mei Wang and Weihong Deng.
Deep visual domain adaptation: A survey.
Neurocomputing, 312:135–153, 2018.
[80] Garrett Wilson and Diane J Cook.
A survey of unsupervised deep domain adaptation.
ACM Transactions on Intelligent Systems and Technology (TIST), 11(5):1–46, 2020.
[81] Christopher Winship and Robert D Mare.
Models for sample selection bias.
Annual review of sociology, 18(1):327–350, 1992.

View Slide

References XXV
[82] Rui Xia, Zhenchun Pan, and Feng Xu.
Instance weighting for domain adaptation via trading off sample selection bias and
variance.
In Proceedings of the 27th International Joint Conference on Artificial Intelligence,
Stockholm, Sweden, pages 13–19, 2018.
[83] Ni Xiao and Lei Zhang.
Dynamic weighted learning for unsupervised domain adaptation.
pages 15242–15251, 2021.
[84] Da Xu, Yuting Ye, and Chuanwei Ruan.
Understanding the role of importance weighting for deep learning.

View Slide

References XXVI
[85] Han Xu, Yao Ma, Hao-Chen Liu, Debayan Deb, Hui Liu, Ji-Liang Tang, and Anil K Jain.
Adversarial attacks and defenses in images, graphs and text: A review.
International Journal of Automation and Computing, 17:151–178, 2020.
[86] Makoto Yamada, Taiji Suzuki, Takafumi Kanamori, Hirotaka Hachiya, and Masashi
Sugiyama.
Relative density-ratio estimation for robust distribution comparison.
Neural computation, 25(5):1324–1370, 2013.
[87] Yuzhe Yang, Haoran Zhang, Dina Katabi, and Marzyeh Ghassemi.
Change is hard: A closer look at subpopulation shift.
[88] Shota Yasui, Gota Morishita, Fujita Komei, and Masashi Shibata.
A feedback shift correction in predicting conversion rates under delayed feedback.
In Proceedings of The Web Conference 2020, pages 2740–2746, 2020.

View Slide

References XXVII
[89] Jiayang Yin.
On the Improvement of Density Ratio Estimation via Probabilistic Classifier–Theoretical
Study and Its Applications.
PhD thesis, The University of British Columbia (Vancouver, 2023.
[90] Yuya Yoshikawa and Yusaku Imai.
A nonparametric delayed feedback model for conversion rate prediction.
[91] Bianca Zadrozny.
Learning and evaluating classifiers under sample selection bias.
In Proceedings of the twenty-first international conference on Machine learning, page
114, 2004.

View Slide

References XXVIII
[92] Kun Zhang, Bernhard Schölkopf, Krikamol Muandet, and Zhikun Wang.
Domain adaptation under target and conditional shift.
[93] Eric Zhao, Anqi Liu, Animashree Anandkumar, and Yisong Yue.
Active learning under label shift.
In International Conference on Artificial Intelligence and Statistics, pages 3412–3420.
PMLR, 2021.

View Slide

機械学習における重要度重み付けとその応用

機械学習における重要度重み付けとその応用

Masanari Kimura

More Decks by Masanari Kimura

Other Decks in Research

Featured

Transcript