Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ICML2013読み会 "ELLA: An Efficient Lifelong Learni...

ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"

Yuya Unno

July 09, 2013
Tweet

More Decks by Yuya Unno

Other Decks in Research

Transcript

  1. ⾃自⼰己紹介 l  海野  裕也 (@unnonouno) l  プリファードインフラストラクチャー l  情報検索索、レコメンド l  機械学習・データ解析研究開発

    l  Jubatusチームリーダー l  分散オンライン機械学習フレームワーク l  専⾨門 l  ⾃自然⾔言語処理理 l  テキストマイニング 2
  2. Lifelong learning l  タスクが次々やってくる l  Z(1), …, Z(Tmax) l  学習者はタスクの数も順番も知らない

    l  各Zは教師有りの問題(分類か回帰) l  各タスクにはn t 個の教師ありデータが与えられる マルチタスクで、タスクが次々やってくるイメージ 5
  3. Grouping and Overlap in Multi-Task Learning (GO-MTL) [Kumar&Daume III ’12]

    l  L: 損失関数 l  w = Ls: モデルパラメータ l  L: k個の隠れタスクの重み l  s: 各タスクをLの線形和で表現する役割 l  sは疎にしたいのでL1正則化 7 収束の証明のために ちょっと変えてある