Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICML2013読み会 "ELLA: An Efficient Lifelong Learni...
Search
Yuya Unno
July 09, 2013
Research
0
16
ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"
Yuya Unno
July 09, 2013
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
18
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
34
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
18
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
13
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
25
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
12
Other Decks in Research
See All in Research
Nullspace MPC
mizuhoaoki
1
190
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術:多様なセンサにもとづく個人情報に配慮した人物状態推定」
miso2024
0
170
超高速データサイエンス
matsui_528
1
150
VectorLLM: Human-like Extraction of Structured Building Contours via Multimodal LLMs
satai
4
330
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
660
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
190
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
320
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
860
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
960
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
610
Generative Models 2025
takahashihiroshi
25
14k
Time to Cash: The Full Stack Breakdown of Modern ATM Attacks
ratatata
0
160
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
The Cult of Friendly URLs
andyhume
79
6.6k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
20
1.2k
Fireside Chat
paigeccino
40
3.7k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Transcript
ELLA: An Efficient Lifelong Learning Algorithm 株式会社Preferred Infrastructure 海野 裕也
(@unnonouno) 2013/07/09 ICML2013読み会@東大
⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l プリファードインフラストラクチャー l 情報検索索、レコメンド l 機械学習・データ解析研究開発
l Jubatusチームリーダー l 分散オンライン機械学習フレームワーク l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング 2
要旨 l Lifelong learningのためにGO-MTLの精度度をほとんど落落 とさずに、1000倍早くした l ⼿手法の要旨は以下の2点 l テーラー展開して元の最適化の式を簡略略化 l
再計算の必要な項の計算を簡略略化 3
Lifelong learning 4
Lifelong learning l タスクが次々やってくる l Z(1), …, Z(Tmax) l 学習者はタスクの数も順番も知らない
l 各Zは教師有りの問題(分類か回帰) l 各タスクにはn t 個の教師ありデータが与えられる マルチタスクで、タスクが次々やってくるイメージ 5
Lifelong learningのキモチ(ホントか?) l ずっと学習し続ける l データセットはオンラインでやってくる l 過去の学習結果をうまく活かしたい(似たような問題、 組み合わせの問題が多い) 例例えば将来的に、ずっと学習し続けるインフラのようなモ
ノができた時を想定している(のかも) 6
Grouping and Overlap in Multi-Task Learning (GO-MTL) [Kumar&Daume III ’12]
l L: 損失関数 l w = Ls: モデルパラメータ l L: k個の隠れタスクの重み l s: 各タスクをLの線形和で表現する役割 l sは疎にしたいのでL1正則化 7 収束の証明のために ちょっと変えてある
GO-MTLが遅い l GO-MTL⾃自体はマルチタスクのバッチ学習⼿手法なので データが次々やってくるLifelong learningに適⽤用しよう とすると遅い l 2重ループが明らかに遅そう 8
⼯工夫1: 損失関数の部分をテーラー展開 9 θ(t)の周りで2次の テーラー展開
⼯工夫2: 全てのtに対するs(t)の最適化を⾏行行うのは⾮非効 率率率 10 s(t)の最適化を 順次行う
実際の更更新式 l L = A-1b l 実際に計算するときは、Aとbは差分更更新できるような⼯工 夫が⼊入っている 11
実験結果 12 バッチとほとんど同じ精度度で1000倍以上速い!!
あれ、よく⾒見見ると・・・ 13 Single Task Leaning (STL) でもそこそこだし、 当然もっと速い・・・
まとめ l マルチタスクのバッチ学習であるGO-MTLをLifelong learningに適⽤用するために、⾮非効率率率な部分を効率率率化した l ほとんど精度度を下げずに、1000倍以上⾼高速化した l タスクを独⽴立立に解いてもそこそこの精度度が出ていて、実 験設定はもう少し考慮しても良良かったのかも 14