Upgrade to Pro — share decks privately, control downloads, hide ads and more …

公的統計を毎月自動で更新するには? e-Stat→DuckDB→dbtで「くらしの指標」を作る

公的統計を毎月自動で更新するには? e-Stat→DuckDB→dbtで「くらしの指標」を作る

物価・雇用・賃金の4つの公的統計を、取得→DuckDB→dbt→ダッシュボードの流れで毎月同じコードで更新できるようにしました。全体は約30秒で流れ、テスト20本が合格。作り直した実質賃金指数は公表値と680か月すべてで一致し、わざと壊したデータではテスト3本が失敗して止まりました。

note:https://note.com/takayukimatsuura/n/n64d9ee5a64e9
GitHub:https://github.com/takayuki-0127/japan-open-data-notes/tree/main/articles/F12_stats_pipeline

松浦孝征

October 31, 2026

Transcript

8 slides
  1. 手法:取得 → DuckDB → dbt → 出力 dbt で 生データ

    → 整えた表 → 指標の表 の3段に分け、表ごとにテストを書きました

More Decks by 松浦孝征

Other Decks in Technology