Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AISTATS2024 | Deep Learning-Based Alterna...
Search
cocomoff
September 02, 2024
Research
0
44
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 02, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
66
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
50
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
230
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
140
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
80
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
300
ClimaX: A foundation model for weather and climate
cocomoff
0
590
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
240
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
210
Other Decks in Research
See All in Research
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
390
90 分で学ぶ P 対 NP 問題
e869120
19
7.9k
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
270
能動適応的実験計画
masakat0
2
740
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
350
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
420
【緊急警告】日本の未来設計図 ~沈没か、再生か。国民と断行するラストチャンス~
yuutakasan
0
140
GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization
satai
3
280
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
560
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
830
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
900
数理最適化と機械学習の融合
mickey_kubo
15
9.1k
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Into the Great Unknown - MozCon
thekraken
40
2k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
880
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Side Projects
sachag
455
43k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Being A Developer After 40
akosma
90
590k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Transcript
Deep Learning-Based Alternative Route Computation (AISTATS'24) 読む人: @cocomoff Jun. 25,
2024
概要 Googleの方々@AISTATS'24 一行感想: なんでAISTATSなんだろう Googleのページでは「Algorithms and Theory」の分類だったが… 内容はタイトルの通り Deep Learning-Basedの部分に興味があって読んだ
背景: Alternative Routes タスク: 代替経路を求める 普通のアプローチ: 距離と多様性を考慮した最適化問題を解く 例: 最短経路の 倍で、類似度が
以下の経路を 本求める 図は arXiv:2006.08475 (TKDE2021?) より
背景: Deep Learning-based XXX 学習ベース手法の基本的なアプローチ グラフ を決める いろいろな出発・目的地 に対する経路 を用意する
何かしらのモデルを学習する encoder-decoderで頂点を出してもいいし、経路を直接出してもいいし、 他には探索のヒューリスティック関数値 を学習しても良い 高速なアルゴリズム (e.g., A*) が後段にあるとき、その手がかりをデ ータから学習しておくと、うまく使えそう 新しいクエリ に対する経路を出力する 図は arXiv:2105.01480 より
やったこと: 古典的なアルゴリズムの概念に再度着目する 階層的な経路探索アルゴリズム 今日は説明しない 実験のところで、数値だけ出てきます 右図のようにグラフを改装分割し、 その地域に入る/出る部分 (境界•) を管理して 最短経路を高速に計算する構造
代替経路の評価指標 UBS (Uniformly Bounded Stretch) Stretch: 距離と最短経路の比 (経路 が最短なら1、 は辺重み での最短距 離、 は に沿った距離) 経路 のすべての部分経路を見たときの間延び度合いの最大値 計算しまくるので、コストが高い
UBSを低く保つモチベーション: カスピー Googleマップのモチベ 高速道路を一度降りて、もう一度乗る → 防ぎたい 考察 UBSがすごく悪い 角になっている部分がすごく伸びている →
Stretchが大きい UBSを低く保つために経由すべき頂点を探す データから学習する → 一度学習しておけば、高速に使える アイデア 経路検索するとき、ノード がやばいUBSを生じるかどうか?を予測する 経路を構築するとき、やばそうなノードを通らないようにする
アルゴリズム [Input] が予測スコアが入っている [L3-5] 階層構造を使った経路探索 [L7] カスピーを発見的に取り除く [L11-18] 多様な経路を保存する [L16]
個作ったら終わり
学習モデル グラフと階層構造 (= 頂点の分割 と境界 ) 埋め込みベクトル [1] クエリ: スコア問い合わせるときの入力
クエリの埋め込みモジュール は階層構造が 層あり、 と があるので2倍 [2] 予測ヘッド: 学習するときは を使う を経由したとき、どれだけストレッチしたか (小さくしたい) 入力: クエリの埋め込み ( 次元) とvia-nodeの埋め込み ( 次元) 出力: スコア
実装など 実装 [1] 、BERT Encoder + 注意機構 [2] 隠れ次元128、出力次元2のMLPにsoftmax (良い・悪い)
良い = ストレッチが1.5倍以下ぐらい (だったと思う) 学習 1000万組の をランダムに計算して、双方向探索する 見つかったvia-nodeの候補地を学習例に、ストレッチを真面目に計算 50エポックで収束 階層分割 (今回触れていないところ):大都市規模で実験した
比較手法、計算時間など Plateau (プラトーヒューリスティック) からの最短経路木と からの最短経路木がぶつかるところを使う T-test heuristic [Abraham 2013] UBSが議論されていたころの論文の手法
Uniform Stretch Filter 真面目に全部計算する手法、高品質だが、計算が重い Model Prediction 提案手法
結果(1): 得られた経路 品質はだいぶ良くなっている
結果(2): 予測モデル これまでの手法と比較し、高精度で予測できている 他の手法は明確な予測モデルでもない気がするので、それはそう