Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BQで天気基盤をつくって、役立つ情報を可視化してみた!
Search
wakama1994
May 23, 2024
Programming
4
900
BQで天気基盤をつくって、役立つ情報を可視化してみた!
bq_sushi#19での発表資料
https://bq-sushi.connpass.com/event/317348/
wakama1994
May 23, 2024
Tweet
Share
More Decks by wakama1994
See All by wakama1994
Kaggleの歩き方-関西Kaggler会に参加してみて-
wakamatsu_takumu
2
340
「データモデリング実践入門」は20年経っても色あせない
wakamatsu_takumu
2
680
いろんな可視化ツールあるけどggplotて何がいいの?- 複数ツールで比較してみた!-
wakamatsu_takumu
1
1.2k
文系出身でも「アルゴリズム×数学」はスッキリ理解できた!話
wakamatsu_takumu
0
360
ChatGPTにどんなときRを使えばいいか聞いてみた!
wakamatsu_takumu
0
620
A/Bテスト実践ガイド ~真のデータドリブンへ至る信用できる実験とは~
wakamatsu_takumu
1
840
EBImageを用いたVR画像の変化域抽出と生態系への活用.pdf
wakamatsu_takumu
0
290
データサイエンス100本ノック(構造化データ加工編) No1~40までをSQLで書いてみて
wakamatsu_takumu
0
88
Other Decks in Programming
See All in Programming
Новый уровень ML-персонализации Lamoda: Как мы усилили ее в каталоге и перенесли на другие продукты
lamodatech
0
220
データマイグレーションの成功戦略~サービスリニューアルで失敗しないための実践ガイド~
tkzwtks
8
750
"noncopyable types" の使いどころについて考えてみた
andpad
0
160
色んなオートローダーを覗き見る #phpcon_okinawa
o0h
PRO
5
410
C#および.NETに対する誤解をひも解く
ymd65536
0
310
Kotlin Multiplatform at Stable and Beyond (Kotlin Vienna, October 2024)
zsmb
2
370
ACES Meet におけるリリース作業改善の取り組み
fukucheee
0
140
実務未経験からいち早く戦力化するための新人エンジニア育成術 ~ 具体的な方法と育成する側の心得 ~
juri_matsuda
0
110
pytest プラグインを開発して DRY に自動テストを書こう
inuatsu
2
260
タイミーにおけるデータの利用シーンと データ基盤の挑戦
marufeuille
4
3.2k
実践Dash - 手を抜きながら本気で作るデータApplicationの基本と応用 / Dash for Python and Baseball
shinyorke
2
600
【YAPC::Hakodate 2024】TypeScriptエンジニアが感じたPerlのここが面白い
kimitashoichi
1
270
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
130k
Become a Pro
speakerdeck
PRO
24
4.9k
From Idea to $5000 a Month in 5 Months
shpigford
381
46k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
11
1.5k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Optimizing for Happiness
mojombo
375
69k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
29
1.7k
How To Stay Up To Date on Web Technology
chriscoyier
787
250k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Infographics Made Easy
chrislema
239
18k
Transcript
BQで天気基盤をつくって 役立つ情報を可視化してみた! Takumu WAKAMATSU bq_sushi#19
AGENDA 自己紹介 天気予報で知りたい情報わかりますか? BQを活用した天気データの可視化 今後の計画 01. 02. 03. 04.
©primeNumber Inc. 3 若松 拓夢 WHO AM I? primeNumber.Inc ソリューション本部 データアナリスト
北海道出身 1994年6月生まれ 文系学部でデータ分析に出会い 理工系の大学院に転部 新卒では気象情報会社にてデータ分析とサービス開発 2023年10月primeNumberにjoin 趣味は自転車・秘境駅めぐり・Kaggle・勉強会でわいわい 1 3 @wakama1994 Takumu Wakamatsu
天気予報知る時って、 過去の情報も気になりませんか?
©primeNumber Inc. 5 Youtubeの天気予報-気温と週間予報 MBS News Youtubeチャンネルより【5月23日(木)】梅雨前線が近づく…南ほど雨 京阪神でも傘の出番がありそう【近畿の天気】#天気 #気象
©primeNumber Inc. 6 こんな時はありませんか? ① 暑さ寒さに敏感なXさん.... • 先週暑くて薄着してたけど、今日はその時と比べてどれくらい暑いの? • 毎年寒暖差で服を決めているけど、この1週間の暑さは何月くらいなの?
©primeNumber Inc. 7 スーパーマーケット店長のYさん.... • 連日暑い日が続くと、徐々に飲料の売れ行きがよくなるよな... • 梅雨時期は食品が腐りやすく、発注を考える上で時期を把握したい..! こんな時はどうしよう? ②
©primeNumber Inc. 8 • 基本的に予測値しか把握できない... • 過去の値を見れるものもあったが、予測値なのか実測値なのかわからない... ◦ 見られる期間も限られている アプリから情報を拾おうとしたところ....
ウェザーニュースのアプリ画面
©primeNumber Inc. 9 こんな情報もっと知りたい...!!! • 一定期間遡った気温の推移 • 梅雨などの毎年発生する気象現象
©primeNumber Inc. 10 開発方針: ① 外部から取得できる気象データを ② BigQuery内で格納し ③ ダッシュボードを使って役立つ
情報を可視化 開発したいもの 過去の気象データを時系列的に 把握できるツール構築
©primeNumber Inc. 11 調査はしてみたが.... 過去の気象データに関する無償APIがない • Yahoo社の無償APIも存在したが、予報データしか存在しない 気象庁の過去統計の場合、webページをスクレイピングする必要あり • スクレイピングの実装の工数も高く、日毎更新には不向
Qiita:全観測地点・数十年分の気象データを Pythonでスクレイピング参考
©primeNumber Inc. 12 気象庁が発布する最新の気象データ 最新7日分のデータがcsv経由で取得可能である • URL形式のpathが存在するため、技術スタックが高くなく実装可能 • 梅雨の観測データもcsvで過去統計値として格納 https://www.data.jma.go.jp/cpd/baiu/index.html
https://www.data.jma.go.jp/stats/data/mdrr/docs/csv_dl_readme.html 気象庁HPより
©primeNumber Inc. 13 取得可能なデータについて 全国約1,300地点分のデータの取得可能 • 平年差や何月ごろの気温もわかる • 当日の気温も観測時刻まで把握 今後継続して取得すると、過去統計データ
と同じ分量に..!! 気象庁HPより
©primeNumber Inc. 14 設計したフロー図 csvのURL 全国分の過去7日分 全データ 全国の当日観測された 全データ 梅雨の観測日数
梅雨入り明け 日数カウントマート 東京の過去7日分 データマート 東京の当日観測された データマート ※当日分は1h・その他は日ごと更新
©primeNumber Inc. 15 TROCCO内の内部処理 • カスタム変数とスケジュール設定すれば、定期実行も可能
©primeNumber Inc. 16 BQ内のデータの持たせ方 全国の当日観測されたデータ 東京の当日観測されたデータマート
©primeNumber Inc. 17 構築したダッシュボード • 気候は「該当旬」のデータ • 梅雨の計算は去年と平年を基準に し、あと何日で到達するかの日数 •
今年一番の寒さ/暑さは今年の最高 気温と最低気温を取得
©primeNumber Inc. 18 今後追加したい情報 ① 天気予報値の取得(7日先) • 気象庁の予報ページがjsonになっているものが存在 ◦ TROCCOのHTTPコネクタからjsonも転送可能
② 台風や積雪情報などの季節性気象情報の拡充 https://www.jma.go.jp/bosai/fore cast/data/forecast/130000.json
©primeNumber Inc. 19 まとめ 公開されている過去データを用いて、役立つ気象情報の可視化を行った • しかし、過去データに関する無償APIは存在しなかった • アメダスデータであれば、直近過去7日分のデータを取得が可能 ◦
データを継続的に蓄積すれば、過去統計値と同等の情報に • 今後は予測値のjsonデータなど、データの種類を増やしていく予定
あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。 V I
S I O N 20 ご清聴ありがとうございました!