20201107sotmjp

* 日本のOSMデータ作成とMapper の時系列推移

Transcript

1. 2020/11/07 State of the Map Japan 2020 1 東京⼤学空間情報科学研究センター・特任講師 OpenStreetMap Foundation Japan OSGeo⽇本⽀部運営委員 https://researchmap.jp/tosseto/ ⽇本のOSMデータ作成と Mapper (マッパー）の時系列推移 瀬⼾ 寿⼀ © Mapbox, OpenStreetMap contributors
2. 2020/11/07 State of the Map Japan 2020 2 OSMの登場＝地図がいつでも・どこでも・だれでも 「リアルタイム」に更新される時代へ https://osmstats.neis-one.org/
3. 2020/11/07 State of the Map Japan 2020 3 Japan Map Compare 基盤研究(B)︓クラウドソース型地理情報のトラスト︓ 網羅性と正確性，ダイバーシティに着⽬して（研究代表者︓⻄村雄⼀郎） https://mapcompare.jp/
4. 2020/11/07 State of the Map Japan 2020 4 [2013]overpass turboを使った OSMデータの地域別集計(Medium) https://medium.com/tosseto-info/
5. 2020/11/07 State of the Map Japan 2020 5 [2019] Jun Yamashita, Toshikazu Seto, Yuichiro Nishimura & Nobusuke Iwasaki: VGI contributorsʼ awareness of geographic information quality and its effect on data quality: a case study from Japan, International Journal of Cartography, 5:2-3, 214- 224, DOI: 10.1080/23729333.2019.1613086 • OSMデータに関わる様々な⼈々（マッパー・ユーザーetc)が、OSMのデータ の品質ををどのように意識しているかについて分析 • 空間情報の品質評価⼿法に照らしわせて位置正確度などの観点から調査し、品 質に対する知識・意識と実際のデータ精度とは⼤きく影響しなかった • クラウドソーシングに基づくデータを評価する上では品質以外にもコントリ ビューターの信頼性や評判など別の社会的アプローチの指標も重要に︖
6. 2020/11/07 State of the Map Japan 2020 6 [2020] Toshikazu, Seto, Hiroshi Kanasugi and Yuichiro Nishimura: Quality Verification of Volunteered Geographic Information Using OSM Notes Data in a Global Context. ISPRS Int. J. Geo-Inf. 2020, 9, 372. https://doi.org/10.3390/ijgi9060372 • OSM-Notes(編集補助ツール)データを使った世界的な分布・経過時 間・関係したユーザー数などを分析 • 必ずしもOSM活動が活発でない地域でもOSMのデータ品質をあげるた めにNotesを使った改善の動きがある • ドイツ語圏のコントリビューターによる世界的な貢献 • Maps.meなど外部アプリを使った匿名での参加にも着⽬
7. 2020/11/07 State of the Map Japan 2020 7 ⽇本国内のOSMデータとマッパーの時間的-空間的推移を知りたい • ⽇本のOSMデータに関わっ たマッパーの推移 – japan-internal.osh.pbf （geofabrik提供）をベースに時 系列単位で集計．userID等も取得 – Osmiumをベースとしたpythonス クリプト – スクリプト開発︓Georepublic – Qiitaに記事も公開 • ⽇本のOSMデータ作成状 況(KEY=VALUE)の推移 – ohsome APIを⽤いて特徴的な Key単位で時系列でデータ取得 – 2007/10/08~2020/06/29 – 都道府県ごとに集計（OSM Boundaries Mapを利⽤） – スクリプト開発: MIERUNE – APIでユーザ集計も可能︖ • 任意の時点でのSnapshotを使った時-空間分析 – Pbf形式等でダンプデータを取得 – ⾝近なGISツールでの分析︓QGIS & QuickOSM で変換（より厳密 にはosmuim等で変換）→ ⽣データ〜任意の空間単位で分析可能 – GISデータとして展開すると10GB以上の容量(gpkg)となり，時系 列を含めて細かな分析が不可能になりつつあるレベル 基盤研究(A):⼈と社会の側からみた地図・地理空間情報の新技術とその評価 基盤研究(B):クラウドソース型地理情報のトラスト︓網羅性と正確性，ダイバーシティに着⽬して 基盤研究(C):オープンストリートマップにおける道路データの品質推定⼿法の構築 © OpenStreetMap contributors
8. 2020/11/07 State of the Map Japan 2020 8 Geofabrik: pbf形式でのdumpデータの提供 https://download.geofabrik.de/asia/japan.html
9. 2020/11/07 State of the Map Japan 2020 9 ⽇本国内を編集したOSMマッパーの⽉次推移 （累計では2020年7⽉期までに約35,000） • 最初の⼤きな波は，2011年 3⽉期の東⽇本⼤震災に関わ るマッピングで⽉間484 • 2016年4⽉に⽉間1000 • 2019年10⽉に⽉間最多の 2922を達成 • 2020年7⽉に1880（2020 年最多︖） • 累計では2016年1⽉に 10000を達成,2017年12⽉ 期に20000を達成，2019年 10⽉に30000を達成
10. 2020/11/07 State of the Map Japan 2020 10 OSMマッパーが最初に⽇本を編集した時期 • 2011年3⽉，2016年4⽉ に⼤きな波がある • 2016年4⽉以降は⽉間 500を平均的に上回るよ うに （各地でのマッピング パーティが本格化︖） • 2020年7⽉には1880 （2020年最多︖野外活 動が難しい時期だったが テイクアウトマップなど の取り組みから派⽣︖）
11. 2020/11/07 State of the Map Japan 2020 11 ohsome: OSM History Data Analytics Platform https://heigit.org/big-spatial-data-analytics-en/ohsome/
12. 2020/11/07 State of the Map Japan 2020 12 ohsome APIを⽤いた集計の概況 • 集計開始⽇時と集計終了⽇時に直近の⽇時は⼊れることができない (現在の指定範囲︓2007/10/08~2020/06/29) • 集計に⽤いる空間的範囲（bpolys）は、ohsome DBに収録されてい るOSM Boundaries Mapを利⽤ – 都道府県ごとｘ⽉ごとの集計とするためPythonのスクリプトを整備 （powered by MIERUNE） • リクエストの上限や制限は決まっていないが「413(Client Error)」 が発⽣する可能性があるため，ほどほどにすること • ⼈数の集計（Users Aggregation Endpoints）もあるが，上記の 地物(element)とは違うendpointになるため、今回は⽇本全体の全 期間の累計をbboxで計算を実施 引数 説明 --measure どの⽅法で集計するかを指定。count/length/areaのいずれかを指定。 --timefrom 集計開始⽇時を指定。YYYY-MM-DD のフォーマットで⼊⼒。 --timeto 集計終了⽇時を指定。YYYY-MM-DD のフォーマットで⼊⼒。 --keys key を指定。 --value value を指定。
13. 2020/11/07 State of the Map Japan 2020 13 taginfo.jp (⽇本版はMIERUNE Inc.が運営): ⽇本国内のOSMデータに付与されている属性情報を集計 http://taginfo.openstreetmap.jp/
14. 2020/11/07 State of the Map Japan 2020 14 建物データ （期間中の総Mapper数:延べ約18,000） 0 2,000,000 4,000,000 6,000,000 8,000,000 10,000,000 12,000,000 14,000,000 2007/11/1 2008/4/1 2008/9/1 2009/2/1 2009/7/1 2009/12/1 2010/5/1 2010/10/1 2011/3/1 2011/8/1 2012/1/1 2012/6/1 2012/11/1 2013/4/1 2013/9/1 2014/2/1 2014/7/1 2014/12/1 2015/5/1 2015/10/1 2016/3/1 2016/8/1 2017/1/1 2017/6/1 2017/11/1 2018/4/1 2018/9/1 2019/2/1 2019/7/1 2019/12/1 2020/5/1 building 徳島県で急増 （17133→343885） 静岡県で激増 （26966→268174）
15. 2020/11/07 State of the Map Japan 2020 15 0 200,000 400,000 600,000 800,000 1,000,000 1,200,000 1,400,000 1,600,000 1,800,000 2,000,000 2007/11/1 2008/3/1 2008/7/1 2008/11/1 2009/3/1 2009/7/1 2009/11/1 2010/3/1 2010/7/1 2010/11/1 2011/3/1 2011/7/1 2011/11/1 2012/3/1 2012/7/1 2012/11/1 2013/3/1 2013/7/1 2013/11/1 2014/3/1 2014/7/1 2014/11/1 2015/3/1 2015/7/1 2015/11/1 2016/3/1 2016/7/1 2016/11/1 2017/3/1 2017/7/1 2017/11/1 2018/3/1 2018/7/1 2018/11/1 2019/3/1 2019/7/1 2019/11/1 2020/3/1 highway & yhWIDTH (x 1000 km) highway yhWIDTH 道路系データ＆Yahoo!Mapの道路幅員データ （期間中の総Mapper数:延べ約16,000/約9,100） Yahoo! /ALPS インポート開始 2013年6⽉〜7⽉ インポート完了
16. 2020/11/07 State of the Map Japan 2020 16 0 10,000,000 20,000,000 30,000,000 40,000,000 50,000,000 60,000,000 2007/11/1 2008/4/1 2008/9/1 2009/2/1 2009/7/1 2009/12/1 2010/5/1 2010/10/1 2011/3/1 2011/8/1 2012/1/1 2012/6/1 2012/11/1 2013/4/1 2013/9/1 2014/2/1 2014/7/1 2014/12/1 2015/5/1 2015/10/1 2016/3/1 2016/8/1 2017/1/1 2017/6/1 2017/11/1 2018/4/1 2018/9/1 2019/2/1 2019/7/1 2019/12/1 2020/5/1 railway 鉄道データ (m) （期間中の総Mapper数:延べ約3,280） 国⼟数値情報インポート
17. 2020/11/07 State of the Map Japan 2020 17 施設・店舗データ （期間中の総Mapper数:延べ約13,000/約8,200） 0 100,000 200,000 300,000 400,000 500,000 600,000 700,000 800,000 900,000 2007/11/1 2008/3/1 2008/7/1 2008/11/1 2009/3/1 2009/7/1 2009/11/1 2010/3/1 2010/7/1 2010/11/1 2011/3/1 2011/7/1 2011/11/1 2012/3/1 2012/7/1 2012/11/1 2013/3/1 2013/7/1 2013/11/1 2014/3/1 2014/7/1 2014/11/1 2015/3/1 2015/7/1 2015/11/1 2016/3/1 2016/7/1 2016/11/1 2017/3/1 2017/7/1 2017/11/1 2018/3/1 2018/7/1 2018/11/1 2019/3/1 2019/7/1 2019/11/1 2020/3/1 amenity & shop amenity shop 北海道で急増 （94311→289819） 東北地⽅で急増 （1175→20790） 北海道や東北で激減 （265785 →209794 ）
18. 2020/11/07 State of the Map Japan 2020 18 Amenityの傾向分析（Prophet法） 2010年4⽉・8⽉頃・ 2011年9⽉〜2012年9⽉・ 2015年10⽉〜2016年12⽉ に⼤きな変化点がありそう
19. 2020/11/07 State of the Map Japan 2020 19 0 10,000 20,000 30,000 40,000 50,000 60,000 70,000 80,000 90,000 100,000 2007/11/1 2008/3/1 2008/7/1 2008/11/1 2009/3/1 2009/7/1 2009/11/1 2010/3/1 2010/7/1 2010/11/1 2011/3/1 2011/7/1 2011/11/1 2012/3/1 2012/7/1 2012/11/1 2013/3/1 2013/7/1 2013/11/1 2014/3/1 2014/7/1 2014/11/1 2015/3/1 2015/7/1 2015/11/1 2016/3/1 2016/7/1 2016/11/1 2017/3/1 2017/7/1 2017/11/1 2018/3/1 2018/7/1 2018/11/1 2019/3/1 2019/7/1 2019/11/1 2020/3/1 北海道 ⻘森県 岩⼿県 宮城県 秋⽥県 ⼭形県 福島県 茨城県 栃⽊県 群⾺県 埼⽟県 千葉県 東京都 神奈川県 新潟県 富⼭県 ⽯川県 福井県 ⼭梨県 ⻑野県 岐⾩県 静岡県 愛知県 三重県 滋賀県 京都府 ⼤阪府 兵庫県 奈良県 和歌⼭県 ⿃取県 島根県 東京都 神奈川県 ⼤阪府 愛知県
20. 2020/11/07 State of the Map Japan 2020 20 OSM建物データ / ゼンリン建物統計データ （RESAS提供,全国約4000万）との⽐率 OSM建物データ︓総計約1300万棟
21. 2020/11/07 State of the Map Japan 2020 21 OSM道路データ/ 道路統計年報 （国⼟交通省,2019，総実延⻑約113万km）との⽐率 OSM道路データ︓総計約176万km
22. 2020/11/07 State of the Map Japan 2020 22 yh:WIDTHデータ / OSM道路データ （国⼟交通省,2019，総実延⻑約113万km）との⽐率 OSM道路データ︓総計約71.5万km
23. 2020/11/07 State of the Map Japan 2020 23 amenityデータ / 都道府県別⼈⼝数（千⼈あたり） （総務省,2019，総⼈⼝約1億2700万⼈）との⽐率 OSM施設データ︓総計約71万6000
24. 2020/11/07 State of the Map Japan 2020 24 まとめ ＆ 今後に向けて • ⽇本を編集したMapperの時系列推移の全体像が把握可能に（累 計35,000以上） • マッパーが最初に編集した時期も把握可能に • ohsome APIでの都道府県単位ｘ⽉次単位で任意のKey=value の推移が把握可能に • ohsome APIの機能をさらに深堀りすることでKey=valueごと のマッパー数など集計単位も把握可能になりそう • 時系列推移のtipping point(転換点）については 引き続きデータを⾒ながら要因を分析 • 開発したスクリプトや集計データは⼀定の整理 ＆論⽂化を踏まえて公開予定
25. 2020/11/07 State of the Map Japan 2020 25 Happy Mapping! tosseto@csis.u-tokyo.ac.jp http://researchmap.jp/tosseto https://speakerdeck.com/tosseto