論⽂読み会 論⽂読み会 SIGSPATIAL’19 SIGSPATIAL’19 @cocomoff @cocomoff 1 1

Contents Contents 1. klcluster: Center-based Clustering of klcluster: Center-based Clustering of Trajectories Trajectories 2. Deep Multiple Instance Learning for Human Deep Multiple Instance Learning for Human Trajectory Identification Trajectory Identification 3. City2City: Translating Place Representations City2City: Translating Place Representations across Cities across Cities 2 2

その1: klcluster その1: klcluster は は -means の -means の と同じ， と同じ， は区分線分の複雑さ は区分線分の複雑さ フレチェ距離を⽤いたTrajectory clustering フレチェ距離を⽤いたTrajectory clustering フレチェ距離: DTW の連続版 ( その逆) フレチェ距離: DTW の連続版 ( その逆) acm のページ acm のページ gitlab gitlab 3 3 . . 1 1

定義 定義 Two poly. curves Two poly. curves 曲線 曲線 が が の の - 単純化 - 単純化 の頂点数が の頂点数が で， で， が最⼩な曲線 が最⼩な曲線 Fréchet distance Fréchet distance は は と と の間のalignment の間のalignment 離散の場合: DTW 離散の場合: DTW , , : : [ [0 0, , 1 1] ] → → ℝ ℝ 2 2 ′ ′ ′ ′ ( ( , , ) ) ′ ′ ( ( , , ) ) : := = | || | ( ( ) ) − − ( ( ( ( ) )) )| || | inf inf : :[ [0 0, ,1 1] ]→ →[ [0 0, ,1 1] ] sup sup ∈ ∈[ [0 0, ,1 1] ] 3 3 . . 2 2

著者による例 著者による例 3 3 . . 3 3

フレチェ距離を⽤いたコスト定義 フレチェ距離を⽤いたコスト定義 ⼊⼒曲線の集合 ⼊⼒曲線の集合 centers centers ( クラスタ中⼼) ( クラスタ中⼼) -center cost -center cost 中⼼から最も離れている 中⼼から最も離れている -median cost -median cost -means cost -means cost     ( ( , , ) ) ( ( ) ) : := = ( ( , , ) ) ∞ ∞ max max ∈ ∈  min min ∈ ∈  ( ( , , ) ) ( ( ) ) : := = ( ( , , ) ) 1 1 ∑ ∑ ∈ ∈  min min ∈ ∈  ( ( , , ) ) ( ( ) ) : := = ( ( ( ( , , ) ) 2 2 ∑ ∑ ∈ ∈  min min ∈ ∈  ) ) 2 2 3 3 . . 4 4

問題: 問題: -clustering -clustering -clustering problem -clustering problem 所定のコストを最⼩化するような中⼼曲線 所定のコストを最⼩化するような中⼼曲線 を求める を求める ⼿法 (recap. ⼿法 (recap. -means) -means) 初期解の計算 ( クラスタ中⼼ 初期解の計算 ( クラスタ中⼼ ) ) 更新 更新 変化しなくなったら終了 変化しなくなったら終了 とにかく何度もフレチェ距離を計算 とにかく何度もフレチェ距離を計算 ( ( , , ) ) ( ( , , ) )     3 3 . . 5 5

⼿法概要 ⼿法概要 組合せ 組合せ Buchin et al. Approximating Buchin et al. Approximating -center -center clustering for curves, SODA2019 clustering for curves, SODA2019 Bringmann et al. Walking the Dog Fast in Bringmann et al. Walking the Dog Fast in Practice: Algorithm Engineering of the Frechet Practice: Algorithm Engineering of the Frechet Distance, ISCG2019 Distance, ISCG2019 Gonzalez’s algo: for Gonzalez’s algo: for -center clustering -center clustering simplification algorithms (of curves) simplification algorithms (of curves) ( ( , , ) ) 3 3 . . 6 6

データセットと評価 データセットと評価 Pigeon data, handwritten characters Pigeon data, handwritten characters 評価尺度 diam, radius 評価尺度 diam, radius この尺度が良いかどうかは何も分からない この尺度が良いかどうかは何も分からない 3 3 . . 7 7

その2. 軌跡のDeep MIL その2. 軌跡のDeep MIL multi-head attention mechanism を使った学習 multi-head attention mechanism を使った学習 で，軌跡を同定する精度を⾼めた で，軌跡を同定する精度を⾼めた ⼈間の軌跡データはいろんな属性 ( 休⽇の移動， ⼈間の軌跡データはいろんな属性 ( 休⽇の移動， 通勤の移動，…) が混じるので単純な教師あり学 通勤の移動，…) が混じるので単純な教師あり学 習ではなくMIL で学習する 習ではなくMIL で学習する acm のページ acm のページ 4 4 . . 1 1

いけているという主張点 いけているという主張点 MIL が向いてそうな背景 ( 軌跡データ) MIL が向いてそうな背景 ( 軌跡データ) 固いラベルではなくMIL の枠組みで扱うの 固いラベルではなくMIL の枠組みで扱うの で，incremental やonline な問題設定にもそ で，incremental やonline な問題設定にもそ こそこ親和性がある こそこ親和性がある 既存⼿法ではincremental は無理 既存⼿法ではincremental は無理 新規データに対しても適⽤可能 新規データに対しても適⽤可能 教師あり学習はデータが⼤量でダイナミックな 教師あり学習はデータが⼤量でダイナミックな 問題設定だとムズいで難しいが，negative 問題設定だとムズいで難しいが，negative sampling でうまくやる sampling でうまくやる 4 4 . . 2 2

図 ( 著者による) 図 ( 著者による) 4 4 . . 3 3

処理 処理 軌跡データを等⻑でslicing して保存 (batch 向き) 軌跡データを等⻑でslicing して保存 (batch 向き) 両⽅向を⾒るためBiLSTM で特徴抽出 両⽅向を⾒るためBiLSTM で特徴抽出 multi-head attention mechanism multi-head attention mechanism query のtrajectry も⼊ってくる query のtrajectry も⼊ってくる スコア⽐較して「同じユーザかどうか」を判定 スコア⽐較して「同じユーザかどうか」を判定 (User identification) (User identification) 4 4 . . 4 4

可視化例 可視化例 (a) dataset, (d) query, (b)(c ) relevant, (e)(f) (a) dataset, (d) query, (b)(c ) relevant, (e)(f) irrelevant instance in the document irrelevant instance in the document (g) attention (g) attention 4 4 . . 5 5

数値⽐較 数値⽐較 LCS, DTW, Hausdorff, SSPD あたりは基本的に LCS, DTW, Hausdorff, SSPD あたりは基本的に は⾮学習(1-NN か は⾮学習(1-NN か -NN あたり？) ，LastRec と -NN あたり？) ，LastRec と DeepRec は学習あり． DeepRec は学習あり． 4 4 . . 6 6

所感 所感 主張通り，MIL の強さが出てロバストな結果． 主張通り，MIL の強さが出てロバストな結果． Head6 が他の⼿法を倒した． Head6 が他の⼿法を倒した． MIL の話とデータベースのslicing してくるあたり MIL の話とデータベースのslicing してくるあたり がイマイチよく分からない ( ちゃんと読んでな がイマイチよく分からない ( ちゃんと読んでな い) い) 4 4 . . 7 7

その3. City2city その3. City2city 街のランドマーク ( 学校，オフィス，駅，…) は 街のランドマーク ( 学校，オフィス，駅，…) は 重要なので，これをベクトル埋め込みしたい． 重要なので，これをベクトル埋め込みしたい． GPS などで得られるmobility pattern のraw データ GPS などで得られるmobility pattern のraw データ から埋め込みをLSTM で学習する から埋め込みをLSTM で学習する 複数の都市から得られた 複数の都市から得られた と と について，もし について，もし 同じランドマークであれば，近いベクトルにな 同じランドマークであれば，近いベクトルにな ってほしい．ここで単純にデータをJoint するよ ってほしい．ここで単純にデータをJoint するよ りも良い⼿法があるという提案 りも良い⼿法があるという提案 着想: 都市→ ⾔語，都市の関係性→ 翻訳 着想: 都市→ ⾔語，都市の関係性→ 翻訳 acm のページ acm のページ arxiv arxiv 5 5 . . 1 1

Fig.1 ( 著者による) Fig.1 ( 著者による)

5 5 . . 2 2

概要イメージ (Fig.1) 概要イメージ (Fig.1) φ とψ が各都市の埋め込み φ とψ が各都市の埋め込み 単純にベクトルをJoint してもダメ 単純にベクトルをJoint してもダメ お互いの埋め込みが似たようになるように ( 例. お互いの埋め込みが似たようになるように ( 例. 両者のschool vector. は似たベクトルになってほ 両者のschool vector. は似たベクトルになってほ しい) ，common vector space がほしい しい) ，common vector space がほしい ⼀度翻訳 f を噛ます ⼀度翻訳 f を噛ます この噛ますところを「Procrustes 」と呼ぶら この噛ますところを「Procrustes 」と呼ぶら しい ( 東経⽤語) しい ( 東経⽤語) 5 5 . . 3 3

⼿法⼀覧 ⼿法⼀覧 MobLSTM: trajectory×LSTM MobLSTM: trajectory×LSTM Joint-MobLSTM: 単にデータをマージして学習 Joint-MobLSTM: 単にデータをマージして学習 MobLSTM-P MobLSTM-P Procrustes な⼿法 Procrustes な⼿法 Top-500 ペアを取ってきて，これの⾓度を合 Top-500 ペアを取ってきて，これの⾓度を合 わせるイメージ わせるイメージ MobLSTM-Adv MobLSTM-Adv 敵対的学習 敵対的学習 5 5 . . 4 4

結果 結果 YJC のデータ ( 熊本と岡⼭) YJC のデータ ( 熊本と岡⼭) いろいろ前処理されている (§2.1, §4) いろいろ前処理されている (§2.1, §4) ベクトル埋め込みされたものを⽐較する ベクトル埋め込みされたものを⽐較する avg. mutual norm distance avg. mutual norm distance ⼩さいほうが良い ⼩さいほうが良い avg. mutual cosine similarity avg. mutual cosine similarity ⼤きい⽅が良い ⼤きい⽅が良い 5 5 . . 5 5

Intra-city results Intra-city results 普通にJoint してしまうと精度が下がる 普通にJoint してしまうと精度が下がる

5 5 . . 6 6

Inter-city results Inter-city results :) MobLSTM-P :) MobLSTM-P

5 5 . . 7 7

所感 所感 ベクトル表現何に使うんやろ ベクトル表現何に使うんやろ 5 5 . . 8 8