Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BQで天気基盤をつくって、役立つ情報を可視化してみた!
Search
wakama1994
May 23, 2024
Programming
4
1k
BQで天気基盤をつくって、役立つ情報を可視化してみた!
bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/
wakama1994
May 23, 2024
Tweet
Share
More Decks by wakama1994
See All by wakama1994
Kaggleの歩き方-関西Kaggler会に参加してみて-
wakamatsu_takumu
2
410
「データモデリング実践入門」は20年経っても色あせない
wakamatsu_takumu
2
840
いろんな可視化ツールあるけどggplotて何がいいの?- 複数ツールで比較してみた!-
wakamatsu_takumu
1
1.3k
文系出身でも「アルゴリズム×数学」はスッキリ理解できた!話
wakamatsu_takumu
0
440
ChatGPTにどんなときRを使えばいいか聞いてみた!
wakamatsu_takumu
0
650
A/Bテスト実践ガイド ~真のデータドリブンへ至る信用できる実験とは~
wakamatsu_takumu
1
1.1k
EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf
wakamatsu_takumu
0
330
データサイエンス100本ノック(構造化データ加工編) No1~40までをSQLで書いてみて
wakamatsu_takumu
0
120
Other Decks in Programming
See All in Programming
『GO』アプリ データ基盤のログ収集システムコスト削減
mot_techtalk
0
120
コミュニティ駆動 AWS CDK ライブラリ「Open Constructs Library」 / community-cdk-library
gotok365
2
120
負債になりにくいCSSをデザイナとつくるには?
fsubal
9
2.4k
Unity Android XR入門
sakutama_11
0
160
pylint custom ruleで始めるレビュー自動化
shogoujiie
0
120
PHPカンファレンス名古屋2025 タスク分解の試行錯誤〜レビュー負荷を下げるために〜
soichi
1
190
SwiftUIで単方向アーキテクチャを導入して得られた成果
takuyaosawa
0
270
仕様変更に耐えるための"今の"DRY原則を考える / Rethinking the "Don't repeat yourself" for resilience to specification changes
mkmk884
0
160
個人アプリを2年ぶりにアプデしたから褒めて / I just updated my personal app, praise me!
lovee
0
340
iOSエンジニアから始める visionOS アプリ開発
nao_randd
3
130
Domain-Driven Transformation
hschwentner
2
1.9k
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
470
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
A Tale of Four Properties
chriscoyier
158
23k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
550
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Become a Pro
speakerdeck
PRO
26
5.1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
Transcript
BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
AGENDA 自己紹介 天気予報で知りたい情報わかりますか? BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部 データアナリスト
北海道出身 1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1 3 @wakama1994 Takumu Wakamatsu
天気予報知る時って、 過去の情報も気になりませんか?
©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨 京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
©primeNumber Inc. 6 こんな時はありませんか? ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの? • 毎年寒暖差で服を決めているけど、この1週間の暑さは何月くらいなの?
©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう? ②
©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ....
ウェザーニュースのアプリ画面
©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ
情報を可視化 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向
Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新7日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html
https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ
と同じ分量に..!! 気象庁HPより
©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数
梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は1h・その他は日ごと更新
©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 •
今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能
② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去7日分のデータを取得が可能 ◦
データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I
S I O N 20 ご清聴ありがとうございました!