BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19

AGENDA 自己紹介 天気予報で知りたい情報わかりますか？ BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.

©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部　データアナリスト 北海道出身　1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin　 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1
 3 @wakama1994 Takumu Wakamatsu

天気予報知る時って、 過去の情報も気になりませんか？

©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS　News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨　京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象

©primeNumber Inc. 6 こんな時はありませんか？ ① 暑さ寒さに敏感なXさん.... ● 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの？ ● 毎年寒暖差で服を決めているけど、この１週間の暑さは何月くらいなの？

©primeNumber Inc. 7 スーパーマーケット店長のYさん.... ● 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... ● 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう？ ②

©primeNumber Inc. 8 ● 基本的に予測値しか把握できない... ● 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ○ 見られる期間も限られている アプリから情報を拾おうとしたところ.... ウェザーニュースのアプリ画面

©primeNumber Inc. 9 こんな情報もっと知りたい...!!! ● 一定期間遡った気温の推移 ● 梅雨などの毎年発生する気象現象

©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ 情報を可視化　 開発したいもの 過去の気象データを時系列的に 把握できるツール構築

©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない ● Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり ● スクレイピングの実装の工数も高く、日毎更新には不向 Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考

©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新７日分のデータがcsv経由で取得可能である ● URL形式のpathが存在するため、技術スタックが高くなく実装可能 ● 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより

©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 ● 平年差や何月ごろの気温もわかる ● 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ と同じ分量に..!! 気象庁HPより

©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数 梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は１h・その他は日ごと更新

©primeNumber Inc. 15 TROCCO内の内部処理 ● カスタム変数とスケジュール設定すれば、定期実行も可能

©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート

©primeNumber Inc. 17 構築したダッシュボード ● 気候は「該当旬」のデータ ● 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 ● 今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得

©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) ● 気象庁の予報ページがjsonになっているものが存在 ○ TROCCOのHTTPコネクタからjsonも転送可能 ② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json

©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った ● しかし、過去データに関する無償APIは存在しなかった ● アメダスデータであれば、直近過去７日分のデータを取得が可能 ○ データを継続的に蓄積すれば、過去統計値と同等の情報に ● 今後は予測値のjsonデータなど、データの種類を増やしていく予定

あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I S I O N 20 ご清聴ありがとうございました！