(1 ≤ i ≤ k) 仮定: epsiloni は多変量の標準正規分布に従う(?) 分散を v,共分散を c として… → E[ϵ2 i ] = v かつ E[ϵiϵj] = c E [( 1 k ∑ i ϵi )2 ] = 1 k2 E [ ∑ i ( ϵ2 i + ∑ j̸=i ϵiϵj )] (5) = 1 k v + k − 1 k c (6) 10
+ v(k−1) k = v モデルどうしに依存関係がない(共分散 c が 0)とき → ロスの期待値は 1 k v + 0(k−1) k = v k モデルの数に対して線形な減少 → Bagging をすれば期待値的には 以下のことが⾔える • 少なくともどれか1つのモデルと同等のロスが得られる • モデルが互いに独⽴なら各モデルよりもロスは低くなる 11
examples. http://www.1-4-5.net/~dmm/ml/adversarial.pdf. [Pati et al., 1993] Pati, Y. C., Rezaiifar, R., and Krishnaprasad, P. S. (1993). Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition. In Signals, Systems and Computers, pages 40–44. IEEE. 27
J., Courville, A., and Bengio, Y. (2014). An empirical analysis of dropout in piecewise linear networks. In Proc. International Conference on Learning Representations. 28