Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICML2013読み会 "ELLA: An Efficient Lifelong Learni...
Search
Yuya Unno
July 09, 2013
Research
0
15
ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"
Yuya Unno
July 09, 2013
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
17
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
34
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
17
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
11
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
24
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
12
Other Decks in Research
See All in Research
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
190
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
240
20250502_ABEJA_論文読み会_スライド
flatton
0
200
投資戦略202508
pw
0
430
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
890
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
230
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
450
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
150
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.4k
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
910
最適化と機械学習による問題解決
mickey_kubo
0
160
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
750
Featured
See All Featured
Designing for humans not robots
tammielis
253
25k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
790
Code Review Best Practice
trishagee
70
19k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
The Language of Interfaces
destraynor
160
25k
Side Projects
sachag
455
43k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Transcript
ELLA: An Efficient Lifelong Learning Algorithm 株式会社Preferred Infrastructure 海野 裕也
(@unnonouno) 2013/07/09 ICML2013読み会@東大
⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l プリファードインフラストラクチャー l 情報検索索、レコメンド l 機械学習・データ解析研究開発
l Jubatusチームリーダー l 分散オンライン機械学習フレームワーク l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング 2
要旨 l Lifelong learningのためにGO-MTLの精度度をほとんど落落 とさずに、1000倍早くした l ⼿手法の要旨は以下の2点 l テーラー展開して元の最適化の式を簡略略化 l
再計算の必要な項の計算を簡略略化 3
Lifelong learning 4
Lifelong learning l タスクが次々やってくる l Z(1), …, Z(Tmax) l 学習者はタスクの数も順番も知らない
l 各Zは教師有りの問題(分類か回帰) l 各タスクにはn t 個の教師ありデータが与えられる マルチタスクで、タスクが次々やってくるイメージ 5
Lifelong learningのキモチ(ホントか?) l ずっと学習し続ける l データセットはオンラインでやってくる l 過去の学習結果をうまく活かしたい(似たような問題、 組み合わせの問題が多い) 例例えば将来的に、ずっと学習し続けるインフラのようなモ
ノができた時を想定している(のかも) 6
Grouping and Overlap in Multi-Task Learning (GO-MTL) [Kumar&Daume III ’12]
l L: 損失関数 l w = Ls: モデルパラメータ l L: k個の隠れタスクの重み l s: 各タスクをLの線形和で表現する役割 l sは疎にしたいのでL1正則化 7 収束の証明のために ちょっと変えてある
GO-MTLが遅い l GO-MTL⾃自体はマルチタスクのバッチ学習⼿手法なので データが次々やってくるLifelong learningに適⽤用しよう とすると遅い l 2重ループが明らかに遅そう 8
⼯工夫1: 損失関数の部分をテーラー展開 9 θ(t)の周りで2次の テーラー展開
⼯工夫2: 全てのtに対するs(t)の最適化を⾏行行うのは⾮非効 率率率 10 s(t)の最適化を 順次行う
実際の更更新式 l L = A-1b l 実際に計算するときは、Aとbは差分更更新できるような⼯工 夫が⼊入っている 11
実験結果 12 バッチとほとんど同じ精度度で1000倍以上速い!!
あれ、よく⾒見見ると・・・ 13 Single Task Leaning (STL) でもそこそこだし、 当然もっと速い・・・
まとめ l マルチタスクのバッチ学習であるGO-MTLをLifelong learningに適⽤用するために、⾮非効率率率な部分を効率率率化した l ほとんど精度度を下げずに、1000倍以上⾼高速化した l タスクを独⽴立立に解いてもそこそこの精度度が出ていて、実 験設定はもう少し考慮しても良良かったのかも 14