Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BQで天気基盤をつくって、役立つ情報を可視化してみた!
Search
wakama1994
May 23, 2024
Programming
4
1k
BQで天気基盤をつくって、役立つ情報を可視化してみた!
bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/
wakama1994
May 23, 2024
Tweet
Share
More Decks by wakama1994
See All by wakama1994
Kaggleの歩き方-関西Kaggler会に参加してみて-
wakamatsu_takumu
2
410
「データモデリング実践入門」は20年経っても色あせない
wakamatsu_takumu
2
840
いろんな可視化ツールあるけどggplotて何がいいの?- 複数ツールで比較してみた!-
wakamatsu_takumu
1
1.3k
文系出身でも「アルゴリズム×数学」はスッキリ理解できた!話
wakamatsu_takumu
0
440
ChatGPTにどんなときRを使えばいいか聞いてみた!
wakamatsu_takumu
0
650
A/Bテスト実践ガイド ~真のデータドリブンへ至る信用できる実験とは~
wakamatsu_takumu
1
1.1k
EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf
wakamatsu_takumu
0
330
データサイエンス100本ノック(構造化データ加工編) No1~40までをSQLで書いてみて
wakamatsu_takumu
0
120
Other Decks in Programming
See All in Programming
データベースのオペレーターであるCloudNativePGがStatefulSetを使わない理由に迫る
nnaka2992
0
180
Amazon ECS とマイクロサービスから考えるシステム構成
hiyanger
2
570
2024年のWebフロントエンドのふりかえりと2025年
sakito
3
260
Unity Android XR入門
sakutama_11
0
160
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
580
Rubyで始める関数型ドメインモデリング
shogo_tksk
0
120
Amazon Q Developer Proで効率化するAPI開発入門
seike460
PRO
0
120
ソフトウェアエンジニアの成長
masuda220
PRO
12
1.9k
富山発の個人開発サービスで日本中の学校の業務を改善した話
krpk1900
5
390
第3回関東Kaggler会_AtCoderはKaggleの役に立つ
chettub
3
1k
バックエンドのためのアプリ内課金入門 (サブスク編)
qnighy
8
1.8k
pylint custom ruleで始めるレビュー自動化
shogoujiie
0
120
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
427
64k
The Pragmatic Product Professional
lauravandoore
32
6.4k
How to Ace a Technical Interview
jacobian
276
23k
4 Signs Your Business is Dying
shpigford
182
22k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Building Applications with DynamoDB
mza
93
6.2k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Writing Fast Ruby
sferik
628
61k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Gamification - CAS2011
davidbonilla
80
5.1k
Transcript
BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
AGENDA 自己紹介 天気予報で知りたい情報わかりますか? BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部 データアナリスト
北海道出身 1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1 3 @wakama1994 Takumu Wakamatsu
天気予報知る時って、 過去の情報も気になりませんか?
©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨 京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
©primeNumber Inc. 6 こんな時はありませんか? ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの? • 毎年寒暖差で服を決めているけど、この1週間の暑さは何月くらいなの?
©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう? ②
©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ....
ウェザーニュースのアプリ画面
©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ
情報を可視化 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向
Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新7日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html
https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ
と同じ分量に..!! 気象庁HPより
©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数
梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は1h・その他は日ごと更新
©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 •
今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能
② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去7日分のデータを取得が可能 ◦
データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I
S I O N 20 ご清聴ありがとうございました!