NNを用いた離散選択モデルの研究動向

Transcript

1. Choice modeling meets neural networks 東北⼤ / 産総研RA ⻄⽥ 遼 2022/07/21 NNを⽤いた離散選択モデルの研究動向について
2. 基礎的な考え⽅ 2 ⼈々は満⾜度 (効⽤; utility) の⾼い選択肢を選択する or Utility 10 Utility 20 効⽤をどう計算するのか︖ 選択肢特有の変数と個⼈属性を⽤いて計算する Utility (電⾞) =β1×電⾞の移動時間+β2×電⾞の料⾦+β3×定期の有無 Utility (⾞) =β1×⾞の移動時間 +β2×⾞の料⾦ +β4×免許の有無 効⽤関数は選択肢特有の変数と個⼈属性，選好パラメータ β を⽤いて定義 電⾞ ⾞
3. Choice Modeling 3 Utility function U＝f(x, z, β)+ε Alternatives attributes x Metro • Travel time • Price Car • Travel time • Price Individual characteristics z • Age • Gender • Commuter pass • Car license • Purpose Utility 10 20 Choice probabality 0.3 0.7 Choice Moldeing ＝「効⽤関数 f の定義」と「選好パラメータ β の推定」 Choice result y
4. 離散選択モデル • DCM は⼀般的にRandom Utility Maximization Theory に基づく • 離散的な選択肢を持つ場合の選択モデルを特にDiscrete Choice Model (DCM) と呼ぶ 効⽤ Utility • 個⼈nの選択肢iに対する効⽤にランダム項を⼊れることで効⽤の不確定要素を考慮 確定項 確率項（ランダム項） ︓選択肢特有の変数 ︓個⼈特有の変数（個⼈属性） ︓変数に対する重み
5. モデル推定の基本 Logit Model • ガンベル分布を仮定 • DCM の最も⼀般的なモデル 個⼈n の選択肢i の選択確率 β を最尤推定（個⼈n が選択肢i を選んだときyin=1，それ以外は0） 個⼈nの選択肢iに対する効⽤
6. 多項ロジットモデル (MNL) 効⽤関数は線形 従来⼿法のMNLでは効⽤関数をハンドクラフトで定義 ⇒ NN (Neural Network) の表現⼒を使⽤ 個⼈属性変数z を⼊れることで異質性を表現
7. NNを⽤いた離散選択モデルの関連研究 Choice modeling に機械学習（ニューラルネットワーク）を導⼊することは近年のホットトピックの⼀つ サーベイ︓[Van Cranenburgh+, 2021] “Choice Modelling in the Age of Machine Learning.” arXiv. モデル︓ • ASU-DNN [Wang+, 2020] “Deep Neural Networks for Choice Analysis: Architecture Design with Alternative-Specific Utility Functions.” Transportation Research Part C • L-MNL [Sifringer+, 2020] “Enhancing Discrete Choice Models with Representation Learning.” Transportation Research Part B • TasteNet-MNL [Han+, 2020] “A Neural-Embedded Choice Model: TasteNet-MNL Modeling Taste Heterogeneity with Flexibility and Interpretability.” arXiv. http://arxiv.org/abs/2002.00922 • ResLogit [Wong+, 2021] “A Residual Neural Network Logit Model for Data-Driven Choice Modelling.” Transportation Research Part C • Neural-Embedded LCCM [Han, 2019] “Neural-Embedded Discrete Choice Models.” Massachusetts Institute of Technology. https://dspace.mit.edu/handle/1721.1/124207?show=full?show=full • Amortized-MXL [Rodrigues, 2020] “Scaling Bayesian inference of mixed multinomial logit models to large datasets.” Transportation Research Part B
8. 効⽤関数全てをNNで表現 ) ASU-DNN [Wang+, 2020] (Alternative-Specific Utility - DNN) 各選択肢ごとの効⽤関数をNN で学習 NN DNN NNで効⽤関数を表現することで予測精度を向上．⼀⽅で解釈可能性の問題も... 解釈可能性の問題 DCM が応⽤されている経済学や 交通⼯学ではβの値が意味を持つ 推定したβから時間価値 (Value of Time; VOT) を算出 ASU-DNNではβはわからない
9. 効⽤関数の⼀部をNNで表現 (1) L-MNL (Learning-MNL) [Sifringer+, 2020] 全選択肢の効⽤関数を 線形部分 (MNL) と⾮線形部分 (NN)に分割 TasteNet-MNL [Han+, 2020] 効⽤関数は線形．個⼈属性と 選好の関係性をNNで学習 ResLogit [Wong+, 2021] 線形効⽤関数をResNetに⼊⼒して ⾮線形変化させて選択確率を出⼒ 効⽤関数の線形な部分を残すことでβをパラメータ化（解釈可能化） 線形の効⽤関数 NN
10. 効⽤関数の⼀部をNNで表現 (2) Neural-Embedded LCCM [Han, 2019] 個⼈属性変数zでクラス分けする部分にNNを適⽤ 各クラスに対して線形効⽤関数を利⽤ MNLの派⽣モデルである潜在クラスロジットモデルや混合ロジットモデルに対するNNの適⽤ Amortized-MXL [Rodrigues, 2020] 混合ロジットモデルの分布の⺟数推定に 償却変分推論を⽤いる MCMCよりも⾼速に推定可能
11. NNを⽤いた選択モデルの使⽤感（個⼈の感想） とりあえず予測精度上げたい DNN, ASU-DNN 個⼈属性のデータはないが 予測精度上げつつβも知りたい ResLogit 個⼈属性のデータがあって 予測精度上げつつβも知りたい 個⼈属性とβの関係性を表現 しつつ予測精度を上げたい L-MNL TasteNet-MNL もっと複雑なモデル化がしたい Neural-Embedded LCCM, Amortized-MXL
12. ソースコード / データ モデル • MNLや混合ロジットモデル (xlogit) https://github.com/arteagac/xlogit • ASU-DNN [Wang+, 2020] https://github.com/cjsyzwsh/ASU-DNN • L-MNL [Sifringer+, 2020] https://github.com/BSifringer/EnhancedDCM • TasteNet-MNL [Han+, 2020] https://github.com/YafeiHan-MIT/TasteNet-MNL • ResLogit [Wong+, 2021] https://github.com/LiTrans/reslogit • Neural-Embedded LCCM [Han, 2019] • Amortized-MXL [Rodrigues, 2020] https://github.com/fmpr/amortized-mxl データ • Swissmetro [Bierlaire+, 2001] 交通⼿段選択データ https://biogeme.epfl.ch/data.html
13. ブラックボックスモデル (NN) で予測 (DNN, ASU-DNN) 学習したNNからパラメータを算出 or 判断根拠を解釈（post-hoc） [Wang+, 2020]（ASU-DNN と同じ著者） [Van Cranenburgh and Kouwenhoven, 2021] 学習したNNモデルからVOTを計算して 分布を出している [Alwosheel+, 2020] CV系の解釈⽅法を転⽤ どの変数が予測にどれだけ寄与しているか [Wang+, 2020] Deep neural networks for choice analysis: Extracting complete economic information for interpretation. Transp. Res. Part C [Van Cranenburgh and Kouwenhoven, 2021] Using artificial neural networks for recovering the value-of-travel-time distribution, in: Advances in Computational Intelligence, International Work-Conference on Artificial Neural Networks, pp. 88–102. [Alwosheel+, 2020] Why did you predict that? Towards explainable artificial neural networks for travel demand analysis. Transp. Res. Part C 補⾜︓選択モデルの予測性能・解釈性能向上の3アプローチ ① 効⽤関数をブラックボックス化 ② 効⽤関数の⼀部をブラックボックス化 ③ 効⽤関数をホワイトボックスのまま改良 効⽤関数の特定（変数の組合せや⾮線形関数の特定） [Ortelli+, 2021] どの変数を使うか，変数の対数をとる・⼆乗するか，などを最適化 変数の数と対数尤度にはトレードオフの関係があるので多⽬的最適化として解く [Ortelli+, 2021] Assisted specification of discrete choice models. Journal of Choice Modelling