Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"
Search
Yuya Unno
July 09, 2013
Research
0
6
ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"
Yuya Unno
July 09, 2013
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
11
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
23
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
16
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
4
進化するChainer @JSAI2017
unnonouno
0
7
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
3
深層学習フレームワーク Chainerとその進化
unnonouno
0
7
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
16
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
3
Other Decks in Research
See All in Research
2024-01-23-az
sofievl
1
780
Refactoring Mining - The key to unlock software evolution
tsantalis
0
280
研究効率化Tips_2024 / Research Efficiency Tips 2024
ryo_nakamura
5
3.1k
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
190
MegaParticles: GPUを利用したStein Particle Filterによる点群6自由度姿勢推定
koide3
1
550
MLtraq: Track your AI experiments at hyperspeed
micheda
1
110
My Journey as a UX Researcher
aranciap
0
1.1k
Generative AI - practice and theory
gpeyre
1
590
[2023 CCSE] ZOZOTOWN検索における 研究開発の取り組みについて
tomoyayama
0
130
デフスポーツにおける支援技術 〜競技特性・ルールと技術との関係〜
slab
0
220
FMP L3 Year 1 Project Proposal
haiinya
0
150
精神疾患患者のアクティビティデータを利用したリハビリテーションのためのシステムに関する研究
comfortdesignlab
0
150
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
226
17k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Web development in the modern age
philhawksworth
203
10k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.2k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Writing Fast Ruby
sferik
622
60k
Atom: Resistance is Futile
akmur
260
25k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
A better future with KSS
kneath
231
16k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Designing for humans not robots
tammielis
247
25k
Designing for Performance
lara
601
67k
Transcript
ELLA: An Efficient Lifelong Learning Algorithm 株式会社Preferred Infrastructure 海野 裕也
(@unnonouno) 2013/07/09 ICML2013読み会@東大
⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l プリファードインフラストラクチャー l 情報検索索、レコメンド l 機械学習・データ解析研究開発
l Jubatusチームリーダー l 分散オンライン機械学習フレームワーク l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング 2
要旨 l Lifelong learningのためにGO-MTLの精度度をほとんど落落 とさずに、1000倍早くした l ⼿手法の要旨は以下の2点 l テーラー展開して元の最適化の式を簡略略化 l
再計算の必要な項の計算を簡略略化 3
Lifelong learning 4
Lifelong learning l タスクが次々やってくる l Z(1), …, Z(Tmax) l 学習者はタスクの数も順番も知らない
l 各Zは教師有りの問題(分類か回帰) l 各タスクにはn t 個の教師ありデータが与えられる マルチタスクで、タスクが次々やってくるイメージ 5
Lifelong learningのキモチ(ホントか?) l ずっと学習し続ける l データセットはオンラインでやってくる l 過去の学習結果をうまく活かしたい(似たような問題、 組み合わせの問題が多い) 例例えば将来的に、ずっと学習し続けるインフラのようなモ
ノができた時を想定している(のかも) 6
Grouping and Overlap in Multi-Task Learning (GO-MTL) [Kumar&Daume III ’12]
l L: 損失関数 l w = Ls: モデルパラメータ l L: k個の隠れタスクの重み l s: 各タスクをLの線形和で表現する役割 l sは疎にしたいのでL1正則化 7 収束の証明のために ちょっと変えてある
GO-MTLが遅い l GO-MTL⾃自体はマルチタスクのバッチ学習⼿手法なので データが次々やってくるLifelong learningに適⽤用しよう とすると遅い l 2重ループが明らかに遅そう 8
⼯工夫1: 損失関数の部分をテーラー展開 9 θ(t)の周りで2次の テーラー展開
⼯工夫2: 全てのtに対するs(t)の最適化を⾏行行うのは⾮非効 率率率 10 s(t)の最適化を 順次行う
実際の更更新式 l L = A-1b l 実際に計算するときは、Aとbは差分更更新できるような⼯工 夫が⼊入っている 11
実験結果 12 バッチとほとんど同じ精度度で1000倍以上速い!!
あれ、よく⾒見見ると・・・ 13 Single Task Leaning (STL) でもそこそこだし、 当然もっと速い・・・
まとめ l マルチタスクのバッチ学習であるGO-MTLをLifelong learningに適⽤用するために、⾮非効率率率な部分を効率率率化した l ほとんど精度度を下げずに、1000倍以上⾼高速化した l タスクを独⽴立立に解いてもそこそこの精度度が出ていて、実 験設定はもう少し考慮しても良良かったのかも 14