20221112_FOSS4G2022Online.pdf

マピオンテックラボ
https://labs.mapion.co.jp/

気象庁（CSV）
https://www.data.jma.go.jp/obd/stats/data/mdrr/docs/csv_dl_readme.html
京都大学生存圏研究所（教育研究機関向け）
http://database.rish.kyoto-u.ac.jp/arch/jmadata/
NOAA
https://nomads.ncep.noaa.gov/

wgrib2とGDALを使えるようにしたDockerイメージ
https://hub.docker.com/r/ochonjo/wgrib2-with-gdal
ソースコード
https://github.com/mapion/docker-wgrib2-with-gdal
開発環境
https://github.com/mapion/dev-wgrib2-with-gdal

Transcript

1. 株式会社ONE COMPATH(ワンコンパス) 2022/11/12 株式会社 ONE COMPATH 本城 博昭 清⽔ 珠⾥ 気象データ（GRIB2）を 可視化してみよう 1
2. ©ONE COMPATH CO., LTD. All rights reserved. p ౢඣᇨ৚čźƢŽŻƨƭĎ p ն࿐Ɗƒࡹ⊤Ƶ࿐ƖaྍቁƊ҂ọṰఒ∊Ǝೆഠb⬼∊Ƶք֒b p ǃǹȀƸǗƽȉǎƵॉūaభ⊊ƊťƮSierƎƾȉǎǡƸƋźƉೆഠ ఒ∊ƑⴝഈƧఔ≌Ƶܵ৘żƮǍǏǜǶƑῘ㻂ƎེƲƮb p 2014୍ᇩൔ߶ഠǴǪǀȉč⇀ᇩൔ߶ഠONE COMPATHʣʹೖࣾɻ ֹ⯥倔’Nj✣ǩǏƊ൐ƲƯƉŧƮֹ⯥ࠎ₲Ƒ≓ႨaŭƫƖῘ㻂Ƶք֒b p ݱࡏ͸஍ਤαʔϏεͷاը/ӡ༻΍Ϛωδϝϯτۀ຿ʹैࣄɻ p OSGeoರЧᆦ҆ ৘൙ 2 ⾃⼰紹介
3. ONE COMPATH のご紹介 3
4. ©ONE COMPATH CO., LTD. All rights reserved. 4 会社概要 株式会社ONE COMPATH（ワン・コンパス） 東京都港区芝浦3-19-26 トッパン芝浦ビル 1997年 1⽉ 20⽇ 代表取締役社⻑CEO 早川 礼 6億円 141名（2022年4⽉時点/他社からの出向者含む） ⼀般社団法⼈OSGeo⽇本⽀部 団体会員、新経済連盟、東京商⼯会議所 情報通信業（インターネットサービス） 社名 所在地 設⽴ 代表 資本⾦ 従業員数 主な参加団体 業種
5. サービス紹介 7
6. ©ONE COMPATH CO., LTD. All rights reserved. 8 POINT 1 POINT 2 POINT 3 美しい地図デザイン ⽇本最⼤級の地図検索サイト "迷わない地図"と"⾒て楽しめる地図"を両⽴した⽇本最⼤級の地図検索サイトMapion（マピオン） 。周辺スポット検索やルート検索、乗換案内に天気予報など、おでかけに便利な情報も掲載。 地図検索サービス Mapion アプリ「地図マピオン」 ⽉間UU 1200万⼈ https://www.mapion.co.jp/ ⽇本初の インターネット地図 “迷わない地図”と“⾒て楽しめる地図” を両⽴した便利で楽しいインターネッ ト地図でグッドデザイン賞も受賞 便利で楽しい地図が 搭載された地図アプリ 境界線マップ 通り名マップ 恵⽅機能 境界線や道路、防災マップなど様々な ⽤途に特化した豊富なラインナップ。 さらには節分に役⽴つ「恵⽅」が分か る機能も マピオン地図をベースとした 多彩なアプリ キョリ測 超ピンポイント天気 ⾃分好みのルートを設定し距離を測る ことができる「キョリ測」や、超ピン ポイントな特定の場所の天気がわかる 「超ピンポイント天気」なども展開
7. ©ONE COMPATH CO., LTD. All rights reserved. 9 POINT 1 POINT 2 POINT 3 どこにあるの？を⼿軽に解決する 法⼈向け地図ソリューション 地図検索サービス「マピオン」をベースとした20年以上の運⽤実績をもつ法⼈向け地図ソリューショ ンサービス。店舗検索、取扱い店舗検索、Google マイビジネス連携など、様々なビジネスシーンで活 ⽤いただけるASP、地図APIや各種地図コンテンツを提供。 MapionBiz 地図ソリューションサービス https://www.mapion.co.jp/sales/ 〇〇店はどこ？がすぐ⾒つかる 「店舗検索サービス」 地図上で店舗を検索できるページを配 信。展開している店舗のデータ管理、 店舗案内ページの管理に課題を抱えて いる企業様におすすめです あの商品はどこで買える？ 「取扱い店舗検索サービス」 商品を取扱う最寄りの店舗を⼿軽に検 索。⾃社商品の販売機会損失防⽌や、 コンタクトセンター・お客様相談室の 業務効率化におすすめです 地図や位置情報を活⽤するサービスや アプリ開発を⽀援する各種APIを提供 。また、要望に応じたシステムを経験 豊富なエンジニアが設計・開発します 。 コンテンツの魅⼒を⾼める 各種APIとスクラッチ開発
8. ©ONE COMPATH CO., LTD. All rights reserved. 10 POINT 1 POINT 2 POINT 3 デジタル接点で、店舗と⽣活者をつなぐ コミュニケーションプラットフォーム LocalONEは、様々なメディアに掲載している店舗の営業時間や、チラシなど販促情報、投稿された ⼝コミを⼀括で管理し、お客様とのリレーションを深めていくためのサービスです。 LocalONE （ローカルワン） https://localone.jp/ 様々なメディアの 店舗情報を⼀括で更新 様々なメディアに掲載している複数店舗 の住所や営業時間をはじめ、正確性が求 められる店舗データを⼀括で修正・管理 することができます クーポンやイベントでの 集客を促進 鮮度が重要なクーポン・イベントなど の情報発信をサポートします。⽣活者 にとって魅⼒的なコンテンツで集客を 後押しします たくさんの⼝コミを まとめて監視・対応 各種地図サービスや⼝コミサイトでの ⼝コミや投稿された写真を全店舗・全 サイト分まとめて監視できるので素早 く丁寧に対応できます
9. ©ONE COMPATH CO., LTD. All rights reserved. 11 POINT 1 POINT 2 POINT 3 いつでも無料でチラシが⾒られる ⽇本最⼤級の電⼦チラシサービス ⼤⼿スーパーはもちろん、ドラッグストアや家電量販店など、毎⽇のお買い物に便利なお店のチラ シをたくさん掲載しています。PCやスマホ、タブレットなど様々な端末で最新のチラシをチェック できます。 電⼦チラシサービス Shufoo!(シュフー) ⽉間UU 1,600万⼈ ⽉間PV 4.5億回 掲載店舗 12万店舗 https://www.shufoo.net/ 国内認知率＆利⽤率No.1(※1) 電⼦チラシサービス チラシ閲覧数は⽉間4.5億、ユニークユ ーザーは⽉間全国1,600万⼈。⽇本最⼤ 級のメディア規模を誇る、国内利⽤率 No.1の電⼦チラシサービスです。 (※2) ※1 マクロミル「電⼦チラシ、紙媒体チラシに関する調査」より(2020年4⽉実施) ※2 提供ASP上のアクセスを含んだ数値になります。 流通・メーカー等 多くの企業に導⼊ 4,600企業、12万店舗が利⽤。近くの お店だけでなく、メーカーの新商品情 報なども届きます。 チラシ、クーポンなど お買い物前に役⽴つコンテンツ お店からのタイムリーな情報やクーポ ンなど、毎⽇のお買物を便利に・お得 にする情報が充実
10. ©ONE COMPATH CO., LTD. All rights reserved. 12 POINT 1 POINT 2 POINT 3 歩くだけで地域名産品が抽選で当たる あなたの⼀歩が宝にかわるウォーキングアプリ スマホを持って歩くだけで⽇本全国、地域の名産品が無料で当たる、⼀歩先⾏くウォーキングアプ リ。位置情報ゲーム要素で楽しく継続。歩数を増やして健康なカラダづくりを。健康経営を⽬指す 法⼈向けサービスも展開。 ウォーキングアプリ aruku&(あるくと) ユーザー数 累計150万⼈ https://www.arukuto.jp/ ⻑く続けられる 楽しい仕組みが満載 ウォーキングイベントを実施でき る法⼈・⾃治体向けサービス 健康経営、従業員・地域住⺠の健康増 進施策に。アプリを活⽤したウォーキ ングイベントを気軽に開催できます。 圧倒的な アクティブ率 アプリの翌⽉利⽤継続率は80％と⾼く 、起動回数は14回/⽇ととても多いの が特徴です 地域の名産品が当たったり、住⺠キャ ラクターを集めたり、チームランキン グで競ったり…。楽しく続けられるた めの仕掛けが満載です しい 歩数 不正 がな い、 部署 がそ れっ ぽい など 翌⽉継続率 14回 1⽇起動回数
11. ©ONE COMPATH CO., LTD. All rights reserved. 14 POINT 1 POINT 2 POINT 3 「⽅向」と「距離」だけの 新しいサイクルコンパスアプリ 従来のナビのように⾛る道を指⽰せず、ユーザー⾃⾝が⾃由に⾛る道を決めることができます。街 の散策やグルメポタリングなど⽇常からレジャーまで幅広い⽤途でご利⽤いただけます。 サイクルコンパスアプリ U-ROUTE（ユールート） https://www.u-route.com/ ナビに指⽰されず ⾃由に⾛れる U-ROUTEが⽰すのは「⽅向」と「距 離」だけ。どのルートを⾛るのか、あ なたが⾃由に選択できます ルートログを保存 写真と⼀緒にSNSにシェア ⾛⾏ルート、⾛⾏距離、⾛⾏時間、平 均速度や推計消費カロリーを記録。サ イクリングの思い出写真とともにSNS にシェアできます 操作はシンプルで簡単 最短2タップで開始できるから、⽇常 からレジャーまで気軽にご利⽤いただ けます
12. iOS地図マピオン アップデート 15
13. ©ONE COMPATH CO., LTD. All rights reserved. 16 2022.01.17 防災マップに緊急避難場所データを追加
14. ©ONE COMPATH CO., LTD. All rights reserved. 17 2022.04.19 「到達圏マップ」機能拡充 サブスク開始
15. ©ONE COMPATH CO., LTD. All rights reserved. 18 2022.05.30 標準地図アップデート
16. ©ONE COMPATH CO., LTD. All rights reserved. 19 2022.10.06 “ひらがなだけ”の地図(ちず)を搭載
17. マピオンテックラボ 20
18. ©ONE COMPATH CO., LTD. All rights reserved. p 位置情報や地図を中⼼とした様々な技術情報の発信やβ版サービスを試験的に公開するサイト 21 マピオンテックラボとは
19. ©ONE COMPATH CO., LTD. All rights reserved. 22 2022.06.03 「世界降⽔マップ」 公開
20. ©ONE COMPATH CO., LTD. All rights reserved. 23 2022.08.02 「世界可降⽔量マップ」 公開
21. 気象データ（GRIB2）を 可視化してみよう 24
22. ©ONE COMPATH CO., LTD. All rights reserved. p 本城 博昭（ソフトウェアエンジニア） p 2006年サイバーマップジャパン（現ONE COMPATH）⼊社 p 地図周り（GIS）の開発に従事（以下古い順） p 地図画像の⾃社開発（その前はアルプス社から提供） p Webメルカトル採⽤（その前はアルプス社の仕様を踏襲） p 地図API開発（所謂StaticMapなど） p 地図SDK（iOS/Android）開発（現在はMapLibreに移⾏） p 地図のベクター化 p ベクター地図のカルトグラフィー p 陰影起伏図や等⾼線など各種タイルセット開発 p その他GIS系の研究開発（最近はご多分に漏れず3D GISやAR） p テックラボ p 近年はGISよりITの⽐率⼤ p ⽣産性向上 p DevOps p モダナイゼーション 25 ⾃⼰紹介
23. ©ONE COMPATH CO., LTD. All rights reserved. p 地球の様⼦を表すデータ p 過去〜現在の観測データと未来の予測データの2種類がある p 様々な観測装置を使って観測しそのデータを元にスーパーコンピュータなどで予測している p ⽇本では主に気象庁が24時間365⽇、様々な⾃然現象を観測・予測して情報を発信して いる 26 気象データとは？ 気象庁のマスコットキャラクター 「はれるん」
24. ©ONE COMPATH CO., LTD. All rights reserved. 観測・解析 p 降⽔量、⻯巻発⽣確度、雷の激しさや雷の可能性、気温、天気、 ⽇照時間、積雪深、降雪量、⻩砂、紫外線など 数値予報 p ⾵、気温、雲量、⽇射量など 海洋 p 波⾼、周期、波向、⾵向、⾵速など 天気図 p 天気図画像ファイル、天気図情報（ベクトル形式） 気象衛星 p 気象衛星画像、雲情報 防災情報 p 指定河川洪⽔予報、⼟砂災害警戒情報、潮位、台⾵の暴⾵域に⼊ る確率、⼟壌⾬量指数など 地震・⽕⼭・津波 p 緊急地震速報、噴⽕警報・予報・速報、降灰予報、津波警報など 27 どんな気象データがある？
25. ©ONE COMPATH CO., LTD. All rights reserved. 28 気象データはどこで⼿に⼊る？ ※以下などからも⼊⼿可 ・気象庁CSV ・京都⼤学⽣存圏研究所（教育研究機関向け） ・海外サイト（ NOAAなど） 加⼯して販売だけでなく予 報業務許可事業者として独 ⾃に観測して独⾃に予報し ているところもある
26. ©ONE COMPATH CO., LTD. All rights reserved. p GPV（ Grid Point Value, 格⼦点値）データをGRIB2というフォーマットで固めるのが⼀ 般的 29 気象データのフォーマットは？ 画像引⽤元） 降⽔ナウキャスト (５分） http://www.jmbsc.or.jp/jp/online/file/f-online30210.html
27. ©ONE COMPATH CO., LTD. All rights reserved. p 正式名称は国際気象通報式 FM92 GRIB ⼆進形式格⼦点資料気象通報式（第2版） p WMO（世界気象機関）が定めるグリッドデータフォーマット（バイナリ） p 1ファイルに複数のグリッドデータを格納することができる 30 GRIB2とは？
28. ©ONE COMPATH CO., LTD. All rights reserved. p wgrib2というCLIで処理することができる p ただ、wgrib2はビルドが⼤変…環境によって諦めざるを得ないことも… p そこで、wgrib2とGDALを使えるようにしたDockerイメージを作った p Docker Hubで公開中 p ソースコードはGitHubで公開中 p これを使った開発環境（Docker）もGitHubで公開中 31 GRIB2を処理する⽅法 // 名前が⻑いのでリネーム $ mv Z__C_RJTD_20170807020000_NOWC_GPV_Ggis1km_Prr05lv_FH0005-0100_grib2.bin nowc_grib2.bin // 第⼀要素をXYZのバイナリ形式に変換 $ wgrib2 nowc_grib2.bin -d 1 -order we:ns -no_header -bin xyz.bin check_pdt_size: pdt=50008 needs to be added to pdt_len(..) 1.1:0:d=2017080702:var discipline=0 center=34 local_table=1 parmcat=1 parm=203:surface:0-5 min acc fcst: https://hub.docker.com/r/ochonjo/wgrib2-with-gdal https://github.com/mapion/docker-wgrib2-with-gdal https://github.com/mapion/dev-wgrib2-with-gdal
29. ©ONE COMPATH CO., LTD. All rights reserved. p 世界降⽔マップ p アメリカ海洋⼤気庁（ NOAA）の降⽔データ（ 20kmメッシュ）を使って実現 p サーバ側でGRIB2を処理 p 世界可降⽔量マップ p アメリカ海洋⼤気庁（ NOAA ）の可降⽔量データ（ 20kmメッシュ）を使って実現 p 可降⽔量とは、⼤気中の⽔蒸気がすべて降⽔となった場合の量 p 実際の降⽔量はそれより少ない p クライアント側でGRIB2を処理 32 GRIB2を可視化してみる テックラボ で公開中 テックラボ で公開中
30. ©ONE COMPATH CO., LTD. All rights reserved. p 1⽇1回、NOAAからGRIB2をGETしてタ イル化 p AWS Lambda(Docker)でタイル⽣成 p 費⽤は無料枠内で収まる p 無料枠を使わなかったとしても0.46USD/ ⽉ほど p ラスター化でgdal2tiles.pyを使⽤ 33 世界降⽔マップの仕組み
31. ©ONE COMPATH CO., LTD. All rights reserved. p grib2class（npmモジュール）でGRIB2をパース p 気象庁のGRIB2には未対応 p 詳細は次スライド p plotly.js（npmモジュール）で可視化 34 世界可降⽔量マップの仕組み
32. ©ONE COMPATH CO., LTD. All rights reserved. // 名前が⻑いのでリネーム $ mv Z__C_RJTD_20170807020000_NOWC_GPV_Ggis1km_Prr05lv_FH0005-0100_grib2.bin nowc_grib2.bin // GDALで読み込み（エラーになる） $ gdalinfo nowc_grib2.bin getdrstemplate: DRS Template 5.200 not defined. ERROR 4: nowc_grib2.bin is a grib file, but no raster dataset was successfully identified. gdalinfo failed - unable to open 'nowc_grib2.bin'. // データ圧縮⽅式を確認（ランレングス圧縮） $ wgrib2 nowc_grib2.bin -packing -d 1 check_pdt_size: pdt=50008 needs to be added to pdt_len(..) 1.1:0:packing=Run length packing with level values,_ // データ圧縮⽅式を⼀般的な形式に変換 $ wgrib2 nowc_grib2.bin -set_grib_type complex3 -grib_out nowc_grib2_gen.bin // nowc_grib2_gen.binが出来上がる // データ圧縮⽅式を確認（Grid Point Data - Complex Packing and Spatial Differencing） $ wgrib2 nowc_grib2_gen.bin -packing -d 1 check_pdt_size: pdt=50008 needs to be added to pdt_len(..) 1:0:packing=Grid point data - complex packing and spatial differencing,c3 // GDALで読み込み（成功） $ gdalinfo nowc_grib2_gen.bin Warning 6: Template 4.50008 is not recognized currently Driver: GRIB/GRIdded Binary (.grb, .grb2) Files: nowc_grib2_gen.bin Size is 2560, 3360 Coordinate System is: GEOGCRS["Coordinate System imported from GRIB file", ... 35 気象庁のGRIB2はデータ圧縮⽅式がマイナー なのでwgrib2以外のパー サーはほとんど未対応 wgrib2で⼀般的なデータ圧縮 ⽅式に変換してあげればその 他のパーサーで読み込める GRIB2が対応してるデータ圧縮⽅式⼀覧 GDALはランレングス圧縮に対応していない wgrib2はランレングス圧縮に対応している 気象庁はランレングス圧縮でデータ部を圧縮 これでQGISで 読める
33. ©ONE COMPATH CO., LTD. All rights reserved. p 気象庁のGRIB2は、データによっては単純圧縮⽅式を採⽤しているデータもある p 例えば、全球数値予報モデルＧＰＶ p 単純圧縮⽅式ならほとんどのパーサーで読める 36 補⾜
34. ©ONE COMPATH CO., LTD. All rights reserved. p 気象データは⽇本では主に気象庁が気象データを発信している p 正確には気象業務⽀援センターが気象庁のデータを発信している p 独⾃に気象データを観測して発信している⺠間企業もある p ⽣の気象データはGRIB2形式のものが多い p GRIB2は気象データの国際標準 p GRIB2を処理するにはwgrib2を⽤いるとよい p wgrib2とGDALが使えるDockerイメージをDocker Hubにアップした p GRIB2を処理するデモとして世界降⽔マップと世界可降⽔量マップをリリースした p 世界降⽔マップはサーバ側でGRIB2を処理、wgrib2とgdal2tiles.pyを利⽤している p 世界可降⽔量マップはクライアント側でGRIB2を処理、grib2classとplotly.jsを利⽤している p 気象庁のGRIB2は海外ではあまり⽤いられないランレングス圧縮でデータ部を圧縮している（全てでは ない） p ランレングス圧縮は、wgrib2以外のparserは⾮対応のものが多い p 気象庁のGRIB2を他のparserで使うには、wgrib2でデータ圧縮⽅式を変換すればよい p とは⾔え、wgrib2だけで利⽤するならそのままデータ部を抽出するなりすればよい 37 まとめ
35. さいごに 38
36. ONE COMPATH では ⼀緒に働く仲間を募集しています！ 39 まずはカジュアル⾯談で お話させてください （30分程度、オンライン可）
37. ありがとうございました 40