⽉間17億レコードを処理する動態管理システムのアーキテクチャ/登壇資料（三⽊拓史）

by Hacobu

Slide 1

Slide 1 text

Confidential ⽉間17億レコードを処理する動態管理システムのアーキテクチャアーキテクチャを突き詰める Online Conference 2024年05⽉22⽇テクノロジー本部CTO室三⽊拓史

Slide 2

Slide 2 text

会社紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright Hacobu, Inc. 5 物流DXツール MOVO（ムーボ）トラック予約受付サービス MOVO Berth （ムーボ・バース）動態管理サービス MOVO Fleet （ムーボ・フリート）配送案件管理サービス MOVO Vista （ムーボ・ヴィスタ）⾞両管理の効率化で、荷主と運送会社双⽅のコスト削減を実現︕ • ⾛⾏データを蓄積し活⽤ • ⾃社・傭⾞を⼀括で管理 • 遅延⾒込みを⾃動で通知 • 配送効率の向上 • ⾛⾏データを蓄積し活⽤ • ⾃社・傭⾞を⼀括で管理 • 遅延⾒込みを⾃動で通知 • 配送効率の向上物流センター運営にかかるコストを削減し、⽣産性の向上を⽀援︕ • ⾞両待機問題の解消 • 計画的な庫内作業の実現 • ⾞両やバースの状況を即座に共有 • 接⾞誘導や伝票突合せの⼯数削減シェア No.1※ ※トラック予約受付サービス「MOVO Berth」のシェア。出典︓デロイトトーマツミック経済研究所, 『スマートロジスティクス・ソリューション市場の実態と展望【2023年度版】』https://mic-r.co.jp/mr/02960/ 配送業務をデジタル化し、⽣産性向上を⽀援︕ • FAX、電話、メールのコミュニケーションをデジタル化 • オンライン上での受発注・請求管理 • リアルタイムな納品確認 MOVOは物流現場の課題を解決するとともに、本社が物流をデータで可視化するための物流DXツールです

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright Hacobu, Inc. 7 ビッグバンフルリプレイス https://speakerdeck.com/yukitoida/fu-zhai-jie-xiao- shou-duan-tositenobitugubanhururipureisu-woshi- xian-surutameno3tunotiao-jian-toha https://logmi.jp/tech/articles/328433

Slide 8

Slide 8 text

⽉間17億レコードを処理する動態管理システムのアーキテクチャ

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

概要と位置情報の保存

Slide 14

Slide 14 text

Copyright Hacobu, Inc. 14 lambdaでやっていることの概要 • ⼤きく4つの処理を⾏なってる • 位置情報の保存(dynamoDBへのinsert) • ジオフェンスの判定と継続時間の計算 • 他2つ • それぞれの処理に対してlambda が1種類 • 1つのシャードに対して拡張ファンアウトにより4種類のlambdaがそれぞれデータ処理 • 現状12本のシャードで運⽤ ... ... ... ... 4種類のlambda Kinesisシャードを 12本⽤意 ...

Slide 15

Slide 15 text

Copyright Hacobu, Inc. 15 位置情報の保存 • デバイスが5sに⼀度、位置情報をuploadする • 三菱⾷品様を例にすると • 3500台が5sにリクエストを⾶ばしてくる • 1⽇8時間稼働で2000万リクエスト • 外部システムとのデータ連携も • Kinesisでバッファ • Lambda側で障害があってもkinesisに貯めておけるのでデータロストだけは避けることができる • 何度か助けられた • DynamoDBに保存

Slide 16

Slide 16 text

Copyright Hacobu, Inc. 16 軌跡の活⽤ • 位置情報はDynamoDBに保存している • ある⾞両を指定し、時間幅を指定した位置情報のまとまり(=軌跡)を取得してブラウザに表⽰したりする • 1⾞両90⽇間50万レコードがいつでも参照される可能性がある • ⾞両IDがパーティションキー • 時刻がソートキー

Slide 17

Slide 17 text

ジオフェンス処理

Slide 18

Slide 18 text

Copyright Hacobu, Inc. 18 Wikipedia での解説ジオフェンシング（英︓ Geofencing）とは実世界の地理に対応した仮想的な境界線で囲まれたエリアへの出⼊りや⼀定時間以上の滞在をトリガーにアクションを⾏う技術である。主にセキュリティや広告、通知を⽤いたサービスに⽤いられている。 https://ja.wikipedia.org/wiki/ジオフェンシング

Slide 19

Slide 19 text

Copyright Hacobu, Inc. 19 ジオフェンス • ある地点を中⼼にして、半径R[m]の範囲に、基準時間以上滞在している場合にそれを記録する • 地点 x 進⼊時間 x 退出時間が実績になる • ⾞両ごとに時系列順で処理を⾏う必要がある進⼊時間退出時間滞在時間

Slide 20

Slide 20 text

Copyright Hacobu, Inc. 20 ジオフェンス処理のシステム構成 • 「⾞両ごとに」 • -> ⾞両IDをキーにしてkinesisシャードへ分配 • -> シャードごとにジオフェンス処理を⾏うlambda は1つ • 同⼀の⾞両に関するレコードは常に同⼀のlambdaが処理する ... ... ... ... ... ある⾞両Aに関するデータは常にここを通る

Slide 21

Slide 21 text

Copyright Hacobu, Inc. 21 ジオフェンス処理のフロー進⼊時間退出時間滞在時間地点外地点内基準時間未満実績⽣成退出 1.進⼊ 5.退出 3.基準時間経過後進⼊判定を記録 4.退出時間を記録 2.進⼊時間を記録基準未満で退出

Slide 22

Slide 22 text

Copyright Hacobu, Inc. 22 ジオフェンス処理 - job編 - • 3の処理は進⼊時間からの経過時間で記録したい • トラックのエンジンが切られるなどして、位置情報のuploadが⽌まることがある • 位置情報のuploadが⽌まっても、⼀定以上の滞在時間が経過したら実績を作りたい地点外地点内基準時間未満実績⽣成退出 1.進⼊ 5.退出 3.基準時間経過後進⼊判定を記録 4.退出時間を記録 2.進⼊時間を記録基準未満で退出ここの処理を、位置情報uploadというイベントがなくても実⾏したい

Slide 23

Slide 23 text

Slide 24

Slide 24 text

性能改善

Slide 25

Slide 25 text

Copyright Hacobu, Inc. 25 lambdaの性能改善 • Lambdaの処理に時間がかかるようになり、kinesisにデータがたまるようになってきてしまった • 画⾯への反映が遅れたり、遅延判定ができなかったり • とはいえ地点情報がロストしないのはkinesisを使って良かったところ • 役割の分離 && シャード分割 • 地点情報の保存、ジオフェンス処理、その他2つを分離した • Kinesisからファンアウトしてそれぞれlambdaを実⾏ • シャードを分割し並列に実⾏することで性能改善を図った ... ... ... ... ...

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright Hacobu, Inc. 27 まとめ • トラック毎にデータが流れる経路を固定することで正しくデータ処理 • lambdaの役割分割とkinesisシャード分割で並列処理 • オンライン処理では実現できない要件にマイクロバッチで対応外部連携先 ... ... ... ... ...