Transfer Lassoの論文を読んでみた

2021/02/25(木) 19:30 〜 21:00
コネヒトマルシェオンライン「機械学習・データ分析」で発表した資料です。

Transcript

1. Transfer Lasso Abeta
2. 今⽇のテーマ https://www.toshiba.co.jp/rdc/detail/2012_02.htm
3. Lasso回帰 𝑦! = # "#$ % 𝑋!"𝛽" 𝜷∗ = argmin 𝜷 # !#$ ( 𝑦! − # "#$ % 𝑋!"𝛽" ) + 𝜆 𝜷 $ n 特徴量が⾼次元の場合、回帰係数の推定にはLasso回帰が効果的。
4. Lasso回帰のポテンシャル n L1正則化のポテンシャルによって回帰係数が疎になる。 Christopher M. Bishop, 『Pattern Recognition and Machine Learning』, 2016, Springer
5. 回帰分析の問題点 𝑦! = # "#$ % 𝑋!"𝛽" ($) 1週⽬のデータ n 定期的にデータを収集、回帰分析を繰り返すと相関関係に変化がなくても回帰係数が変化する。 2週⽬のデータ 3週⽬のデータ 𝑦! = # "#$ % 𝑋!"𝛽" (() 𝑦! = # "#$ % 𝑋!"𝛽" ()) 電圧 電流 温度 湿度 圧⼒ 1週⽬ 0.00 0.01 0.02 0.00 0.00 2週⽬ 0.00 0.14 0.89 0.00 0.00 3週⽬ 0.00 0.03 0.00 0.00 0.00
6. Transfer Lasso [stat.ML] :2006.14845, Masaaki Takada, Hironori Fujisawa“, Transfer Learning via ℓ1 Regularization”, 0 𝛽 = argmin 𝜷 # !#$ ( 𝑦! − # "#$ % 𝑋!"𝛽" ) + 𝜆 𝛼 𝜷 $ + 1 − 𝛼 𝜷 − 3 𝜷 $ n 前回推定した係数 * 𝜷 を正則化項に加える。
7. 正則化項の等⾼線 n 𝟎および * 𝜷 を原点とする⽔平線、垂直線上に⾓が⽣じる。
8. 回帰係数が変化しない条件 n 残差と特徴量間の相関が⼩さければ回帰係数は変化しない。
9. ドリフトシミュレーション n Transfer Lassoは前回の係数を頼りに精度を上げていき、データの傾向の変化に強い。 5step⽬で データの傾向 が変わる 毎stepでデー タの傾向が変 わる
10. データ量シミュレーション n Transfer元のデータを多く(500)、Transfer先のデータを少なく(50) すると、 推定誤差および特徴量選択のどちらでもTransfer Lassoの⽅が良い結果になった。
11. 実問題への適⽤ n ⽂書のbowからユーザーの興味関⼼度合いを推定する問題で、傾向変化に追従出来ている。 また、正則化項の効果で変化していない回帰係数が⾒られる。
12. Transfer Lasso の適⽤ https://www.toshiba.co.jp/rdc/detail/2012_02.htm n データの⽣成分布や相関に変化がなければ、回帰係数は前回の係数に⼀致する。
13. 知⾒の導⼊ https://monoist.atmarkit.co.jp/mn/articles/2012/10/news049.html n 現場技術者の知⾒として、前回の係数を⼈⼿で修正した上でTransfer Lassoを実施する。
14. 参考⽂献 n Masaaki Takada, Hironori Fujisawa, “Transfer Learning via ℓ1 Regularization”, 2020, Advances in Neural Information Processing Systems 33 n 株式会社東芝, ⼤学共同利⽤機関法⼈ 情報・システム研究機構 統計数理研究所, ”⼯場の現場技術者 の知⾒を反映・学習する不良原因解析AIを開発−半導体⼯場等における解析結果の精査時間を⼤幅 に削減−”, https://www.toshiba.co.jp/rdc/detail/2012_02.htm n 三島⼀孝(MONOist), “技術者知⾒を学習する不良原因解析AIを東芝が開発、⾃社半導体⼯場へ導⼊”, https://monoist.atmarkit.co.jp/mn/articles/2012/10/news049.html n Christopher M. Bishop, 『Pattern Recognition and Machine Learning』, 2016, Springer