⽉間17億レコードを処理する動態管理システムのアーキテクチャ/登壇資料（三⽊拓史）

by Hacobu

Slide 1

Slide 1 text

Confidential 月間17億レコードを処理する動態管理システムのアーキテクチャアーキテクチャを突き詰める Online Conference 2024年05月22日テクノロジー本部CTO室三木拓史

Slide 2

Slide 2 text

Copyright Hacobu, Inc. 2 自己紹介 • テクノロジー本部 CTO室室長三木拓史 • Hacobuでの活動 • 動態管理サービス MOVO Fleet のフルリプレースをリード • データ基盤立ち上げ • 配送案件管理サービスMOVO Vista プロダクトエンジニア • CTO室として共通プラットフォーム、データ基盤、PoC開発

Slide 3

Slide 3 text

会社紹介

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright Hacobu, Inc. 6 物流DXツール MOVO（ムーボ）トラック予約受付サービス MOVO Berth （ムーボ・バース）動態管理サービス MOVO Fleet （ムーボ・フリート）配送案件管理サービス MOVO Vista （ムーボ・ヴィスタ）車両管理の効率化で、荷主と運送会社双方のコスト削減を実現！ • 走行データを蓄積し活用 • 自社・傭車を一括で管理 • 遅延見込みを自動で通知 • 配送効率の向上 • 走行データを蓄積し活用 • 自社・傭車を一括で管理 • 遅延見込みを自動で通知 • 配送効率の向上物流センター運営にかかるコストを削減し、生産性の向上を支援！ • 車両待機問題の解消 • 計画的な庫内作業の実現 • 車両やバースの状況を即座に共有 • 接車誘導や伝票突合せの工数削減シェア No.1※ ※トラック予約受付サービス「MOVO Berth」のシェア。出典︓デロイトトーマツミック経済研究所, 『スマートロジスティクス・ソリューション市場の実態と展望【2023年度版】』https://mic-r.co.jp/mr/02960/ 配送業務をデジタル化し、生産性向上を支援！ • FAX、電話、メールのコミュニケーションをデジタル化 • オンライン上での受発注・請求管理 • リアルタイムな納品確認 MOVOは物流現場の課題を解決するとともに、本社が物流をデータで可視化するための物流DXツールです

Slide 7

Slide 7 text

Copyright Hacobu, Inc. 7 物流DXツール MOVO（ムーボ）自社および外部のアプリケーションの利用を通じて、企業や業界の枠を超えて物流情報を同じ規格でデジタルにやりとりできるプラットフォームとなり、蓄積されたビッグデータで「運ぶを最適化する」ことを目指しています工場/出荷元物流拠点納品先自社アプリケーション外部アプリケーション ERP S/4 Hana WMS、WCS 配車システム物流情報プラットフォーム共通認証共通機能群共通マスタ共通トランザクション TMS、SCPなど、その他各社のシステム日野コネクト東京海上法人ドライブエージェント API API API API API 配送案件管理トラック予約受付動態管理スマホアプリ

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright Hacobu, Inc. 9 ビッグバンフルリプレイス https://speakerdeck.com/yukitoida/fu-zhai-jie-xiao- shou-duan-tositenobitugubanhururipureisu-woshi- xian-surutameno3tunotiao-jian-toha https://logmi.jp/tech/articles/328433

Slide 10

Slide 10 text

月間17億レコードを処理する動態管理システムのアーキテクチャ

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

概要と位置情報の保存

Slide 16

Slide 16 text

Copyright Hacobu, Inc. 16 lambdaでやっていることの概要 • 大きく4つの処理を行なってる • 位置情報の保存(dynamoDBへのinsert) • ジオフェンスの判定と継続時間の計算 • 他2つ • それぞれの処理に対してlambda が1種類 • 1つのシャードに対して拡張ファンアウトにより4種類のlambdaがそれぞれデータ処理 • 現状12本のシャードで運用 ... ... ... ... 4種類のlambda Kinesisシャードを 12本用意 ...

Slide 17

Slide 17 text

Copyright Hacobu, Inc. 17 位置情報の保存 • デバイスが5sに一度、位置情報をuploadする • 三菱食品様を例にすると • 3500台が5sにリクエストを飛ばしてくる • 1日8時間稼働で2000万リクエスト • 外部システムとのデータ連携も • Kinesisでバッファ • Lambda側で障害があってもkinesisに貯めておけるのでデータロストだけは避けることができる • 何度か助けられた • DynamoDBに保存

Slide 18

Slide 18 text

Copyright Hacobu, Inc. 18 軌跡の活用 • 位置情報はDynamoDBに保存している • ある車両を指定し、時間幅を指定した位置情報のまとまり(=軌跡)を取得してブラウザに表示したりする • 1車両90日間50万レコードがいつでも参照される可能性がある • 車両IDがパーティションキー • 時刻がソートキー

Slide 19

Slide 19 text

ジオフェンス処理

Slide 20

Slide 20 text

Copyright Hacobu, Inc. 20 Wikipedia での解説ジオフェンシング（英︓ Geofencing）とは実世界の地理に対応した仮想的な境界線で囲まれたエリアへの出入りや一定時間以上の滞在をトリガーにアクションを行う技術である。主にセキュリティや広告、通知を用いたサービスに用いられている。 https://ja.wikipedia.org/wiki/ジオフェンシング

Slide 21

Slide 21 text

Copyright Hacobu, Inc. 21 ジオフェンス • ある地点を中心にして、半径R[m]の範囲に、基準時間以上滞在している場合にそれを記録する • 地点 x 進入時間 x 退出時間が実績になる • 車両ごとに時系列順で処理を行う必要がある進入時間退出時間滞在時間

Slide 22

Slide 22 text

Copyright Hacobu, Inc. 22 ジオフェンス処理のフロー進入時間退出時間滞在時間地点外地点内基準時間未満実績生成退出 1.進入 5.退出 3.基準時間経過後進入判定を記録 4.退出時間を記録 2.進入時間を記録基準未満で退出

Slide 23

Slide 23 text

Copyright Hacobu, Inc. 23 ジオフェンス処理のシステム構成 • 「車両ごとに」 • -> 車両IDをキーにしてkinesisシャードへ分配 • -> シャードごとにジオフェンス処理を行うlambda は1つ • 同一の車両に関するレコードは常に同一のlambdaが処理する ... ... ... ... ... ある車両Aに関するデータは常にここを通る

Slide 24

Slide 24 text

Copyright Hacobu, Inc. 24 ジオフェンス処理 - job編 - • 3の処理は進入時間からの経過時間で記録したい • トラックのエンジンが切られるなどして、位置情報のuploadが止まることがある • 位置情報のuploadが止まっても、一定以上の滞在時間が経過したら実績を作りたい地点外地点内基準時間未満実績生成退出 1.進入 5.退出 3.基準時間経過後進入判定を記録 4.退出時間を記録 2.進入時間を記録基準未満で退出ここの処理を、位置情報uploadというイベントがなくても実行したい

Slide 25

Slide 25 text

Slide 26

Slide 26 text

性能改善

Slide 27

Slide 27 text

Copyright Hacobu, Inc. 27 lambdaの性能改善 • Lambdaの処理に時間がかかるようになり、kinesisにデータがたまるようになってきてしまった • 画面への反映が遅れたり、遅延判定ができなかったり • とはいえ地点情報がロストしないのはkinesisを使って良かったところ • 役割の分離 && シャード分割 • 地点情報の保存、ジオフェンス処理、その他2つを分離した • Kinesisからファンアウトしてそれぞれlambdaを実行 • シャードを分割し並列に実行することで性能改善を図った ... ... ... ... ...

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright Hacobu, Inc. 29 まとめ • トラック毎にデータが流れる経路を固定することで正しくデータ処理 • lambdaの役割分割とkinesisシャード分割で並列処理 • オンライン処理では実現できない要件にマイクロバッチで対応外部連携先 ... ... ... ... ...