Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: soft-DTW
Search
takoika
October 18, 2017
Science
1
4.2k
論文紹介: soft-DTW
takoika
October 18, 2017
Tweet
Share
More Decks by takoika
See All by takoika
論文紹介: Communication-Efficient Learning of Deep Networks from Decentralized Data
takoika
0
2.5k
SKIP-GRAPH: LEARNING GRAPH EMBEDDINGS WITH AN ENCODER-DECODER MODEL
takoika
1
3.8k
論文紹介 Generative Adversarial Imitation Learning
takoika
5
3.3k
Other Decks in Science
See All in Science
白金鉱業Meetup Vol.16_数理最適化案件のはじめかた・すすめかた
brainpadpr
4
2k
SciPyDataJapan 2025
schwalbe10
0
260
Lean4による汎化誤差評価の形式化
milano0017
1
300
学術講演会中央大学学員会府中支部
tagtag
0
300
データマイニング - コミュニティ発見
trycycle
PRO
0
150
LayerXにおける業務の完全自動運転化に向けたAI技術活用事例 / layerx-ai-jsai2025
shimacos
2
1.5k
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
600
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
320
Hakonwa-Quaternion
hiranabe
1
130
Cross-Media Technologies, Information Science and Human-Information Interaction
signer
PRO
3
31k
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
0
130
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
870
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Making Projects Easy
brettharned
117
6.4k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
A designer walks into a library…
pauljervisheath
207
24k
Docker and Python
trallard
46
3.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
GitHub's CSS Performance
jonrohan
1032
460k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Thoughts on Productivity
jonyablonski
70
4.8k
The Language of Interfaces
destraynor
161
25k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Transcript
Soft-DTW: a Differentiable Loss Function for Time-Series Marco Cuturi and
Mathieu Blondel presenter: Takeshi Oura
アジェンダ • Soft-DTW: a Differentiable Loss Function for Time-Series Marco
Cuturi and Mathieu Blondel • DTW(dynamic time warping)とは • 2つの時系列を⽐較する指標(時系列間の差、違い) • 時系列の⻑さの違い、伸び、縮みを吸収する • 時系列予測のロス関数として使⽤できる • soft-DTW • 微分可能なDTW • 勾配計算アルゴリズムの提案 • 評価 • 複数時系列の平均 • k-means • 時系列識別問題 • 時系列予測
DTW • ⻑さn,mの2つの時系列 " , {" } • 誤差関数 ("
, ) ) • すべての時刻の誤差ペア ∆= (" , " ) ",) • A: アライメント⾏列(どの時刻ペ アを結びつけるかを表現) ",) = 1 ∶ とを対応付ける ",) = 0 ∶ とは対応付けない • = min 9 (, ∆) : DTWは, ∆の内積、最⼩の誤差 https://www.psb.ugent.be/cbd/papers/gentxwarper/ DTWalgorithm.htm) (https://izbicki.me/blog/converting-images-into-time- series-for-data-mining.html,
DTWのフォワード計算 • ()
soft-DTW • DTW: = min 9 (, ∆) • soft-DTW:
= = > @(9,A)/= 9 • ⟶ 0:DTWに対応(最適Aのみの寄与) • DTWと同様に計算可能(()) min ("@H,) , ",)@H , "@H,)@H )を−log (@MNOP,Q/= + @MN,QOP/= + @MNOP,QOP/=)にす ればよい
soft-DTWの勾配計算(バックワード) • T = U∆ UT V • ",) =
UMX,Y UMN,Q • いかにUMX,Y UMN,Q を計算するか? アイデア: Z,[ (DTWの値)の偏微分は(i-1,j),(i,j-1),(i-1,j-1)のみに依存 • ",) は上式で再帰的に計算 • ",) = " , " + min = {"@H,) , ",)@H , "@H,)@H } から上式右辺の微分は計算可能
soft-DTWの勾配計算(バックワード) • () フォワード バックワード
soft-DTWの評価 • 仮説: 直接DTWを最⼩化するよりsoft-DTWを最⼩化するほうが (DTWを)最⼩化するうえで優れている • soft-DTWの性質 • = 0:
⾮凸関数(最適化の際ローカルミニマムにつかまる) • ⟶ ∞: 凸関数に近付く • による凸緩和でより最適化されるか? • ⽐較⼿法 • DBA: GAと局所最適化を交互に使⽤しDTWを直接最適化(Patitjean et. al. 2011) • 劣勾配法: 劣勾配でDTWを最適化 • データセット • UCR(University of California, Riverside) time series
複数時系列の平均 • タスク: (⻑さが違う)複数時系列データ{" }の平均 (最適化問題として定式化) min T > "
" (, " ) " • " : あらかじめ" : 時系列の⻑さ( ∝ " なので正規化として) • 与えられる重み • 評価: soft-DTWで最⼩化しDTWの値で⽐較 • 結果: ⟶ 0でDTWに漸近 性能もよくなる soft-DTWがより最適 なサンプルの割合
k-means • 距離としてDTW(soft-DTW)を⽤いたk-means soft-DTWがより最適 なサンプルの割合
時系列の識別問題 • はチューニング⽤データセットで選択 • 75%のサンプルでDBAとsoft-DTWの精度が同じ直線より上 → soft-DTWがDBAを上回る精度 各プロット: サンプル x軸:
DBAでのAccuracy y軸: soft-DTWでのAccuracy
時系列予測 • インプット: = 1, . . , まで •
アウトプット(予測): = + 1, . . , + • c : パラメータで指定される関数 • ロス関数: min c ∑ (c " H,..,V , " VfH,..,VfZ) " • : サンプルインデックス • 実験: • 時系列の60%,40%: インプット、アウトプット • MLPで評価 (RNNも実験したがMLPより向上しなかった)
まとめ • 微分可能なDTWとその計算アルゴリズムの提案 • フォワード、バックワード: () • 凸緩和することで、解きやすい最適化関数のクラスにできる • DTWを最適化する複数のベンチマーク:
• soft-DTWを⽤い勾配法での評価 • DTWを直接最適化する他アルゴリズムに対する優位性を⽰した