ビッグデータ生成処理の失敗と挑戦

Slide 1

Slide 1 text

Slide 2

Slide 2 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD 自己紹介森山拓洋（もりやまたくひろ）株式会社GEOTRA/執行役員CTO 兼プロダクト開発部長九州大学大学院理学府化学専攻卒。大学では量子化学を学ぶ。人と人をつなげるITに興味を持ち、KDDIに2014年に新卒入社。入社後はIoT・5Gネットワーク・4K映像・画像認識など様々な技術要素の案件を経験。現在は技術責任者としてGEOTRAのプロダクト開発をリードし、自らも実装に従事する傍ら、データサイエンティストとしてGEOTRA Activity Dataを活用したデータ分析を推進。日夜お客様の新しいインサイトを模索している。 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD 5 GEOTRA Activity Dataのデータフォーマットデータフォーマットのイメージ GEOTRA Activity Dataは、ひとりひとりの移動がわかる「非集計トリップデータ」です。 ID 性別年代出発時間到着時刻移動目的移動手段始点(経度) 始点(緯度) ・・・ 034 男性 30代 7:12 8:00 通勤車 139.11 36.44 ・・・ 111 女性 40代 7:14 8:58 通勤鉄道 139.11 36.44 ・・・ 006 女性 60代 7:31 7:54 買い物徒歩 139.11 36.44 ・・・ 239 男性 20代 7:33 8:33 通学鉄道 139.11 36.44 ・・・ 099 男性 50代 8:00 8:45 出勤鉄道 139.11 36.44 ・・・ 542 女性 20代 8:10 8:30 食事徒歩 139.11 36.44 ・・・ 090 男性 30代 8:16 8:40 通院車 139.11 36.44 ・・・ 034 男性 30代 8:00 8:25 食事徒歩 139.29 34.32 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD 課題：処理時間は雪だるま式街が大きくなるとトリップデータの数もPoint of Interestデータも増える。 1つの市区町村のトリップデータと Point of Interestデータ 1つの都道府県のトリップデータと Point of Interestデータ 4つの都道府県のトリップデータと Point of Interestデータ 1時間ぐらい 24時間ぐらい 2週間たっても終わらない… 処理時間 10

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD 真因 Point of Interestの前処理部分がデータ容量が大きく(複数都道府県)なることを想定したつくりになっていなかった。 14 Retail Hospital Eat Work Retail エリア１エリア２エリア１に到着するので、 1/2の確率で病院エリア２に到着するので、 1/3の確率で仕事前処理：エリアごとにどの移動目的になるかの確率分布を作成全エリアのPoint of Interestデータを一通りなめて、確率分布を作成していた一通りなめずに、分割する処理で解決

Slide 15

Slide 15 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD 本日お伝えしたいこと • ビックデータ処理でデータ量に苦しめられた話 • データの量を増やした場合に線形に処理時間が延びるわけではない。雪だるま式に増えることがある。 • インスタンスサイズで何とかなる話だけじゃない。処理内容を理解し、分割・並列できるような仕組みが大事 • 位置情報データはエリア拡大時に、人とエリアが同時に増えるので特に注意 15

Slide 16

Slide 16 text

GEOTRAでは以下の職種のメンバーを募集しています。お問合せ先株式会社GEOTRA 採用担当 recruit@geotra.jp moriyama@geotra.jp https://www.geotra.jp/ GEOTRA 私と一緒に働いてくださるVPoEやwebフルスタックエンジニア、データサイエンティスト、ITコンサルタントの求人がオープンしてますので、ご興味ありましたら是非ご一報を！ 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

19 GEOTRA Activity Dataについて使用した位置情報データ - KDDIが保有する携帯電話から得られる、au GPSビッグデータを取得し、GEOTRA が保有するデータ加工技術により加工した、ビッグデータ（GEOTRA Activity Data）を利用した。＜au GPS ビッグデータ＞ - 数分に一度のサンプリングによる高精度・高粒度な人流データで、性別、年代、居住地等の属性情報が付与されており、多角的かつ網羅的な分析が可能である。 - さらに、利用許諾を元にデータを収集した上で個人を特定出来ない様に秘匿化処理及び統計処理を実施しており、個人情報を保護し分析を行うがことが可能である。図 au GPSビッグデータ（GEOTRAへ提供されるまでの流れ) 図 GPSデータと基地局データとの違い

Slide 20

Slide 20 text

20 使用した位置情報データ（GEOTRA Activity Dataのデータフォーマット）項目値・属性等性別男性/女性年代 20代/30代/40代/50代/60代以上（※10代以下はデータ無し）居住地居住地の緯度経度勤務地勤務地の緯度経度移動目的帰宅/通勤/食事/買い物/アウトドア/食品・日用品購入/通院/エンターテインメント/その他移動手段車/鉄道/徒歩/自転車・その他移動時間単位：分（移動に要した時間を算出）移動距離単位：km（移動に要した距離を算出）滞在時間単位：分（滞在先での滞在時間を算出）出発時刻 0:00-24:00 到着時刻 0:00-24:00 出発地点出発地点の緯度経度到着地点到着地点の緯度経度移動経路 OD間の経路情報（利用した道路、路線等）に関する情報移動目的が分かる回遊・滞留が分かる OD・経路がわかる

Slide 21

Slide 21 text

CONFIDENTIAL ©︎ 2023 All Rights Reserved GEOTRA CO., LTD GEOTRA Activity Data(GAD)とパーソントリップ調査比較千代田区のトリップ数の比較について以下では、一例として千代田区を出発地または到着地になるトリップ数(移動する人口) の比較を行います。 • 右上図 • PT調査、GAD共に6~8、16~20時に、ピークを迎えています。通勤・通学での移動が想定されます。 • その時間、PT調査データはGADよりも特に多い値を示しています。要因としては、 GADには、プライバシー保護の観点により、20歳未満のデータが含まれていないことが考えられます。 • 右下図 • 千代田区から区や市へのトリップ数の分布を表しています。スピアマンの順位相関係数が0.94を示しており、高い一致度が見られます。 • 外れ値が存在しますが、千代田区内のトリップ数を示しており、アンケート調査ベースのPT調査は特に近距離の移動の場合は移動回数がGADと比べて過少になる傾向を表しています。千代田区港区トリップ数 21