Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BQで天気基盤をつくって、役立つ情報を可視化してみた!
Search
wakama1994
May 23, 2024
Programming
4
970
BQで天気基盤をつくって、役立つ情報を可視化してみた!
bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/
wakama1994
May 23, 2024
Tweet
Share
More Decks by wakama1994
See All by wakama1994
Kaggleの歩き方-関西Kaggler会に参加してみて-
wakamatsu_takumu
2
380
「データモデリング実践入門」は20年経っても色あせない
wakamatsu_takumu
2
760
いろんな可視化ツールあるけどggplotて何がいいの?- 複数ツールで比較してみた!-
wakamatsu_takumu
1
1.3k
文系出身でも「アルゴリズム×数学」はスッキリ理解できた!話
wakamatsu_takumu
0
410
ChatGPTにどんなときRを使えばいいか聞いてみた!
wakamatsu_takumu
0
640
A/Bテスト実践ガイド ~真のデータドリブンへ至る信用できる実験とは~
wakamatsu_takumu
1
980
EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf
wakamatsu_takumu
0
320
データサイエンス100本ノック(構造化データ加工編) No1~40までをSQLで書いてみて
wakamatsu_takumu
0
110
Other Decks in Programming
See All in Programming
採用事例の少ないSvelteを選んだ理由と それを正解にするためにやっていること
oekazuma
2
1k
コンテナをたくさん詰め込んだシステムとランタイムの変化
makihiro
1
130
責務を分離するための例外設計 - PHPカンファレンス 2024
kajitack
1
600
競技プログラミングへのお誘い@阪大BOOSTセミナー
kotamanegi
0
360
Semantic Kernelのネイティブプラグインで知識拡張をしてみる
tomokusaba
0
180
短期間での新規プロダクト開発における「コスパの良い」Goのテスト戦略」 / kamakura.go
n3xem
2
170
CSC305 Lecture 26
javiergs
PRO
0
140
선언형 UI에서의 상태관리
l2hyunwoo
0
160
MCP with Cloudflare Workers
yusukebe
2
220
talk-with-local-llm-with-web-streams-api
kbaba1001
0
180
今年のアップデートで振り返るCDKセキュリティのシフトレフト/2024-cdk-security-shift-left
tomoki10
0
200
良いユニットテストを書こう
mototakatsu
5
2.1k
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
810
Producing Creativity
orderedlist
PRO
341
39k
A Tale of Four Properties
chriscoyier
157
23k
Agile that works and the tools we love
rasmusluckow
328
21k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Practical Orchestrator
shlominoach
186
10k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Designing for Performance
lara
604
68k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.9k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.9k
Facilitating Awesome Meetings
lara
50
6.1k
Transcript
BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
AGENDA 自己紹介 天気予報で知りたい情報わかりますか? BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部 データアナリスト
北海道出身 1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1 3 @wakama1994 Takumu Wakamatsu
天気予報知る時って、 過去の情報も気になりませんか?
©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨 京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
©primeNumber Inc. 6 こんな時はありませんか? ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの? • 毎年寒暖差で服を決めているけど、この1週間の暑さは何月くらいなの?
©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう? ②
©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ....
ウェザーニュースのアプリ画面
©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ
情報を可視化 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向
Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新7日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html
https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ
と同じ分量に..!! 気象庁HPより
©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数
梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は1h・その他は日ごと更新
©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 •
今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能
② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去7日分のデータを取得が可能 ◦
データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I
S I O N 20 ご清聴ありがとうございました!