Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: soft-DTW
Search
takoika
October 18, 2017
Science
1
4.2k
論文紹介: soft-DTW
takoika
October 18, 2017
Tweet
Share
More Decks by takoika
See All by takoika
論文紹介: Communication-Efficient Learning of Deep Networks from Decentralized Data
takoika
0
2.5k
SKIP-GRAPH: LEARNING GRAPH EMBEDDINGS WITH AN ENCODER-DECODER MODEL
takoika
1
3.8k
論文紹介 Generative Adversarial Imitation Learning
takoika
5
3.3k
Other Decks in Science
See All in Science
機械学習 - SVM
trycycle
PRO
1
880
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
4
630
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
600
ランサムウェア対策にも考慮したVMware、Hyper-V、Azure、AWS間のリアルタイムレプリケーション「Zerto」を徹底解説
climbteam
0
110
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
320
AIに仕事を奪われる 最初の医師たちへ
ikora128
0
970
baseballrによるMLBデータの抽出と階層ベイズモデルによる打率の推定 / TokyoR118
dropout009
1
560
データベース03: 関係データモデル
trycycle
PRO
1
260
データマイニング - ノードの中心性
trycycle
PRO
0
270
How To Buy, Verified Venmo Accounts in 2025 This year
usaallshop68
4
280
高校生就活へのDA導入の提案
shunyanoda
0
5.9k
Explanatory material
yuki1986
0
400
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Music & Morning Musume
bryan
46
6.8k
Side Projects
sachag
455
43k
Scaling GitHub
holman
463
140k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
113
20k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
For a Future-Friendly Web
brad_frost
180
9.9k
GraphQLとの向き合い方2022年版
quramy
49
14k
Code Reviewing Like a Champion
maltzj
525
40k
Transcript
Soft-DTW: a Differentiable Loss Function for Time-Series Marco Cuturi and
Mathieu Blondel presenter: Takeshi Oura
アジェンダ • Soft-DTW: a Differentiable Loss Function for Time-Series Marco
Cuturi and Mathieu Blondel • DTW(dynamic time warping)とは • 2つの時系列を⽐較する指標(時系列間の差、違い) • 時系列の⻑さの違い、伸び、縮みを吸収する • 時系列予測のロス関数として使⽤できる • soft-DTW • 微分可能なDTW • 勾配計算アルゴリズムの提案 • 評価 • 複数時系列の平均 • k-means • 時系列識別問題 • 時系列予測
DTW • ⻑さn,mの2つの時系列 " , {" } • 誤差関数 ("
, ) ) • すべての時刻の誤差ペア ∆= (" , " ) ",) • A: アライメント⾏列(どの時刻ペ アを結びつけるかを表現) ",) = 1 ∶ とを対応付ける ",) = 0 ∶ とは対応付けない • = min 9 (, ∆) : DTWは, ∆の内積、最⼩の誤差 https://www.psb.ugent.be/cbd/papers/gentxwarper/ DTWalgorithm.htm) (https://izbicki.me/blog/converting-images-into-time- series-for-data-mining.html,
DTWのフォワード計算 • ()
soft-DTW • DTW: = min 9 (, ∆) • soft-DTW:
= = > @(9,A)/= 9 • ⟶ 0:DTWに対応(最適Aのみの寄与) • DTWと同様に計算可能(()) min ("@H,) , ",)@H , "@H,)@H )を−log (@MNOP,Q/= + @MN,QOP/= + @MNOP,QOP/=)にす ればよい
soft-DTWの勾配計算(バックワード) • T = U∆ UT V • ",) =
UMX,Y UMN,Q • いかにUMX,Y UMN,Q を計算するか? アイデア: Z,[ (DTWの値)の偏微分は(i-1,j),(i,j-1),(i-1,j-1)のみに依存 • ",) は上式で再帰的に計算 • ",) = " , " + min = {"@H,) , ",)@H , "@H,)@H } から上式右辺の微分は計算可能
soft-DTWの勾配計算(バックワード) • () フォワード バックワード
soft-DTWの評価 • 仮説: 直接DTWを最⼩化するよりsoft-DTWを最⼩化するほうが (DTWを)最⼩化するうえで優れている • soft-DTWの性質 • = 0:
⾮凸関数(最適化の際ローカルミニマムにつかまる) • ⟶ ∞: 凸関数に近付く • による凸緩和でより最適化されるか? • ⽐較⼿法 • DBA: GAと局所最適化を交互に使⽤しDTWを直接最適化(Patitjean et. al. 2011) • 劣勾配法: 劣勾配でDTWを最適化 • データセット • UCR(University of California, Riverside) time series
複数時系列の平均 • タスク: (⻑さが違う)複数時系列データ{" }の平均 (最適化問題として定式化) min T > "
" (, " ) " • " : あらかじめ" : 時系列の⻑さ( ∝ " なので正規化として) • 与えられる重み • 評価: soft-DTWで最⼩化しDTWの値で⽐較 • 結果: ⟶ 0でDTWに漸近 性能もよくなる soft-DTWがより最適 なサンプルの割合
k-means • 距離としてDTW(soft-DTW)を⽤いたk-means soft-DTWがより最適 なサンプルの割合
時系列の識別問題 • はチューニング⽤データセットで選択 • 75%のサンプルでDBAとsoft-DTWの精度が同じ直線より上 → soft-DTWがDBAを上回る精度 各プロット: サンプル x軸:
DBAでのAccuracy y軸: soft-DTWでのAccuracy
時系列予測 • インプット: = 1, . . , まで •
アウトプット(予測): = + 1, . . , + • c : パラメータで指定される関数 • ロス関数: min c ∑ (c " H,..,V , " VfH,..,VfZ) " • : サンプルインデックス • 実験: • 時系列の60%,40%: インプット、アウトプット • MLPで評価 (RNNも実験したがMLPより向上しなかった)
まとめ • 微分可能なDTWとその計算アルゴリズムの提案 • フォワード、バックワード: () • 凸緩和することで、解きやすい最適化関数のクラスにできる • DTWを最適化する複数のベンチマーク:
• soft-DTWを⽤い勾配法での評価 • DTWを直接最適化する他アルゴリズムに対する優位性を⽰した