交通の最適化で強化学習を使い始めた話

by NearMeの技術発表資料です

Slide 1

Slide 1 text

0 交通の最適化で強化学習を使い始めた話 2023-09-02 AWS Startup Day 2023 Kenji Hosoda

Slide 2

Slide 2 text

Slide 3

Slide 3 text

2 自己紹介名前：細田謙二東京大学大学院工学博士（脳の視覚情報処理）。前職では、EコマースパッケージやPOSアプリ、IoTや機械学習を含む新規事業など様々なサービスを開発。Python入門2&3 著。現在、CTOとしてNearMeに参画。

Slide 4

Slide 4 text

3 ドアツードアの移動に関する課題は多い空港や観光地へのアクセス混雑を回避した通勤などの移動交通空白地帯や高齢者の移動終電後や災害時の代替輸送手段不足

Slide 5

Slide 5 text

4 4 タクシーの「シェア」で第4の公共交通機関を目指す！

Slide 6

Slide 6 text

5 NearMe

Slide 7

Slide 7 text

6 バスよりも便利、タクシーよりも安い NearMe

Slide 8

Slide 8 text

7 注文までの流れ

Slide 9

Slide 9 text

8 □□□□□□ □□□□□□ □□□□□□ □□□□□□ □□□□□□ 管理画面注文が入るたびに AIにより組み合わせの最適化をおこない、自動でマッチング相乗りになった注文

Slide 10

Slide 10 text

9 OR-Tools: https://developers.google.com/optimization 車両と注文をマッチする配送計画問題(VRP)をヒューリスティックな手法により解くマッチングのアルゴリズムただし、注文が入る度に、また、承認、キャンセル等の注文ステータスが変化する度に逐次的に最適化処理を行っている

Slide 11

Slide 11 text

10 リリース後の実績

Slide 12

Slide 12 text

11 サービス展開エアポートシャトルトラベルシャトル地域シャトルゴルフシャトル

Slide 13

Slide 13 text

12 さらなる改善の余地羽田空港に行く運行と帰る運行が対になると効率がいい車両相乗りマッチング後の運行手作業で車両にアサイン

Slide 14

Slide 14 text

13 簡易的な連続運行レコメンド連続運行できるものをハイライト

Slide 15

Slide 15 text

14 機械学習による追加相乗りの確率推定によるレコメンド偶奇の日付で機能ON/OFFして総受注数に有意に差 (ペアt検定) 追加相乗りの確率が高いものをハイライト在庫に限りがある場合は効率のいい運行を選ぶ必要がある

Slide 16

Slide 16 text

15 将棋のようでもありテトリスのようでもある最善手を予測運行はブロック運行は駒

Slide 17

Slide 17 text

16 複雑そうなので強化学習のアプローチを探る OR-Tools: https://developers.google.com/optimization 車両と注文をマッチする配送計画問題(VRP)には変わらないまずはプリミティブなモデルで調査

Slide 18

Slide 18 text

17 近年、深層強化学習x VRPによるアプローチが注目されている B Li et al., 2022

Slide 19

Slide 19 text

18 性能は出るのか？ Solve routing problems with a residual edge-graph attention neural network. K Lei, et al., Neurocomputing 2022 報酬ベンチマークしたモデルパフォーマンス

Slide 20

Slide 20 text

19 EncoderのGraph Neural Networkについて https://distill.pub/2021/gnn-intro/ グラフのエッジに沿って特徴量を集約メッセージ伝搬関数

Slide 21

Slide 21 text

20 DecoderのAttentionとMaskについて K Lei, et al., 2022 ステップ１ステップ２ステップm 辿った点の入力をマスク

Slide 22

Slide 22 text

21 実際に試してみた TSP, n_nodes=50 TSP, n_nodes=20 ちゃんと学習してるのすごい！ここをスタートラインにして新たなモデルを探っていく ※論文より小規模な学習だったので、トータルは OR-Toolsと五分五分くらい

Slide 23

Slide 23 text

22 https://ekimetrics.github.io/blog/2021/11/03/tsp/ Z Zhang et al., 2023 例1：渋滞のエリアが設定されるシナリオ例2 強化学習の動的なシナリオへの対応力顧客(点)と渋滞(点の距離)が時間と共に変化するシナリオ

Slide 24

Slide 24 text

23 モデルのカスタマイズベンチマークしたモデル https://distill.pub/2021/gnn-intro/ K Lei, et al., 2022 グラフ要素の特徴量を変更アテンションモデルのマスクの仕方を変更報酬設計を変更

Slide 25

Slide 25 text

24 少しだけリアルなシナリオへの対応 Start 報酬を、到達した点の数 - α*距離、つまり、売上 - コスト、に変更 End Start End Start End 全ての点を必ずしも通らなくていいようにマスクを変更 (Start / Endの点も設定) 割に合わない運行が無視される ※最短経路の学習が進まないと、売上 - コストが正しく算出されないので、報酬を学習ステップに応じて変えたこっちに来た方がより多く点を辿れる

Slide 26

Slide 26 text

25 AWS SageMaker使ってみた n=20 1epoch M2 Mac CPU：52.6 秒 ml.g4dn.2xlarge GPU：15.4 秒 n=50 1epoch M2 Mac CPU : 336.2 秒 ml.g4dn.2xlarge GPU：60.0 秒 hidden_node_dim=[128], hidden_edge_dim=[16], conv_laysers=[4], data_size=[12800] 学習パラメタ M2 Macより4~5倍速い

Slide 27

Slide 27 text

26 まとめ ● 逐次的な組み合わせ最適化をコアに相乗りサービスを構築した ● 相乗り後の運行をどの車両にアサインすればいいかという問題が浮上 ● 将棋やテトリスのような複雑さがあり強化学習のアプローチを探った ● 深層強化学習 x 配送計画問題(VRP)において、従来のヒューリスティックな手法に匹敵 / 超える結果が得られることが分かった ● モデルの一部を変えることで、より複雑なシナリオに対応できた ● 学習は非常に時間がかかるので、GPU必須。AWS SageMakerで手軽に利用できた

Slide 28

Slide 28 text

27 Thank you