Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICML2013読み会 "ELLA: An Efficient Lifelong Learni...
Search
Yuya Unno
July 09, 2013
Research
0
15
ICML2013読み会 "ELLA: An Efficient Lifelong Learning Algorithm"
Yuya Unno
July 09, 2013
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
17
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
31
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
17
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
10
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
23
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
12
Other Decks in Research
See All in Research
実行環境に中立なWebAssemblyライブマイグレーション機構/techtalk-2025spring
chikuwait
0
230
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
180
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
1.6k
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.4k
NLP Colloquium
junokim
1
160
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
480
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.2k
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
420
Submeter-level land cover mapping of Japan
satai
3
120
電力システム最適化入門
mickey_kubo
1
690
Ad-DS Paper Circle #1
ykaneko1992
0
5.6k
クラウドのテレメトリーシステム研究動向2025年
yuukit
3
960
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
140
7k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Code Review Best Practice
trishagee
69
18k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
300
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Producing Creativity
orderedlist
PRO
346
40k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
Transcript
ELLA: An Efficient Lifelong Learning Algorithm 株式会社Preferred Infrastructure 海野 裕也
(@unnonouno) 2013/07/09 ICML2013読み会@東大
⾃自⼰己紹介 l 海野 裕也 (@unnonouno) l プリファードインフラストラクチャー l 情報検索索、レコメンド l 機械学習・データ解析研究開発
l Jubatusチームリーダー l 分散オンライン機械学習フレームワーク l 専⾨門 l ⾃自然⾔言語処理理 l テキストマイニング 2
要旨 l Lifelong learningのためにGO-MTLの精度度をほとんど落落 とさずに、1000倍早くした l ⼿手法の要旨は以下の2点 l テーラー展開して元の最適化の式を簡略略化 l
再計算の必要な項の計算を簡略略化 3
Lifelong learning 4
Lifelong learning l タスクが次々やってくる l Z(1), …, Z(Tmax) l 学習者はタスクの数も順番も知らない
l 各Zは教師有りの問題(分類か回帰) l 各タスクにはn t 個の教師ありデータが与えられる マルチタスクで、タスクが次々やってくるイメージ 5
Lifelong learningのキモチ(ホントか?) l ずっと学習し続ける l データセットはオンラインでやってくる l 過去の学習結果をうまく活かしたい(似たような問題、 組み合わせの問題が多い) 例例えば将来的に、ずっと学習し続けるインフラのようなモ
ノができた時を想定している(のかも) 6
Grouping and Overlap in Multi-Task Learning (GO-MTL) [Kumar&Daume III ’12]
l L: 損失関数 l w = Ls: モデルパラメータ l L: k個の隠れタスクの重み l s: 各タスクをLの線形和で表現する役割 l sは疎にしたいのでL1正則化 7 収束の証明のために ちょっと変えてある
GO-MTLが遅い l GO-MTL⾃自体はマルチタスクのバッチ学習⼿手法なので データが次々やってくるLifelong learningに適⽤用しよう とすると遅い l 2重ループが明らかに遅そう 8
⼯工夫1: 損失関数の部分をテーラー展開 9 θ(t)の周りで2次の テーラー展開
⼯工夫2: 全てのtに対するs(t)の最適化を⾏行行うのは⾮非効 率率率 10 s(t)の最適化を 順次行う
実際の更更新式 l L = A-1b l 実際に計算するときは、Aとbは差分更更新できるような⼯工 夫が⼊入っている 11
実験結果 12 バッチとほとんど同じ精度度で1000倍以上速い!!
あれ、よく⾒見見ると・・・ 13 Single Task Leaning (STL) でもそこそこだし、 当然もっと速い・・・
まとめ l マルチタスクのバッチ学習であるGO-MTLをLifelong learningに適⽤用するために、⾮非効率率率な部分を効率率率化した l ほとんど精度度を下げずに、1000倍以上⾼高速化した l タスクを独⽴立立に解いてもそこそこの精度度が出ていて、実 験設定はもう少し考慮しても良良かったのかも 14