dbtで家計簿アプリ作ってみた

Slide 1

Slide 1 text

©︎ 2025 gen_shun dbtで家計簿アプリ作ってみたゲンシュン 1

Slide 2

Slide 2 text

©︎ 2025 gen_shun ⚫自己紹介 ⚫データエンジニアリングの上げ方 ⚫家計簿アプリについて ⚫学び/感想お品書き 2

Slide 3

Slide 3 text

©︎ 2025 gen_shun 3 自己紹介

Slide 4

Slide 4 text

©︎ 2025 gen_shun データエンジニアやってます、ゲンシュンです。昨年9月に現職へ転職自己紹介 4

Slide 5

Slide 5 text

©︎ 2025 gen_shun 全てのアウトプットgen_shunでやってるので、よかったらフォロー！自己紹介 5

Slide 6

Slide 6 text

©︎ 2025 gen_shun みん強の企画・運営・司会やってます〜来週開催です！自己紹介 6

Slide 7

Slide 7 text

皆さんは普段どうやってデータエンジニアリング力を高めてますか！？ 7

Slide 8

Slide 8 text

©︎ 2025 gen_shun ⚫普段の業務 ⚫書籍を読む ⚫勉強会 / コミュニティでの活動 ⚫OSS活動 ⚫アプリ自作皆さんはどうやって高めてますか？データエンジニアリングの上げ方 8

Slide 9

Slide 9 text

©︎ 2025 gen_shun ⚫普段の業務 ◼当たり前。課題を技術で解決出来るとキレイですよね〜 ⚫書籍を読む ⚫勉強会 / コミュニティでの活動 ⚫OSS活動 ⚫アプリ自作皆さんはどうやって高めてますか？データエンジニアリングの上げ方 9

Slide 10

Slide 10 text

©︎ 2025 gen_shun ⚫普段の業務 ⚫書籍を読む ◼社内/社外で輪読会を色々実施したが、具体例を交えた議論が出来て良き ⚫勉強会 / コミュニティでの活動 ⚫OSS活動 ⚫アプリ自作皆さんはどうやって高めてますか？データエンジニアリングの上げ方 10

Slide 11

Slide 11 text

©︎ 2025 gen_shun ⚫普段の業務 ⚫書籍を読む ⚫勉強会 / コミュニティでの活動 ◼今回のような場への登壇や、イベント参加で話を聞いたり現地で喋ったり ⚫OSS活動 ⚫アプリ自作皆さんはどうやって高めてますか？データエンジニアリングの上げ方 11

Slide 12

Slide 12 text

©︎ 2025 gen_shun ⚫普段の業務 ⚫書籍を読む ⚫勉強会 / コミュニティでの活動 ⚫OSS活動 ◼やったことない！今年やりたい ⚫アプリ自作 ◼データ周りでアプリ作ったことないな皆さんはどうやって高めてますか？データエンジニアリングの上げ方 12

Slide 13

Slide 13 text

©︎ 2025 gen_shun ⚫前職データ基盤安定後は、プロダクト戦略や事業企画業務が中心だったので、技術にあまり触れられなかった ⚫データモデリングしたいし、久しぶりにdbtゴリゴリ触りたい〜 ⚫一方現在転職直後だし、現職dbt使っていないしdimensional modeling導入は当分先かな〜 ⚫自分で触るしかねぇ！！ ⚫でも、データ周りの自作アプリってあんまり記事見ないな・・？ ⚫じゃ自分で作ってみるしかねぇ！！今の自分の状況データエンジニアリングの上げ方 13

Slide 14

Slide 14 text

©︎ 2025 gen_shun 14 てことで、家計簿アプリ作ってみた

Slide 15

Slide 15 text

©︎ 2025 gen_shun ⚫目的 ⚫データ抽出 ⚫インフラ基盤 ⚫dbtでモデリング ⚫MLする ⚫looker studioで可視化こんな感じで話します家計簿アプリを作ってみた 15

Slide 16

Slide 16 text

©︎ 2025 gen_shun ⚫俺の出費の可視化と妻アラートの導入。 ◼家計簿アプリを見れば済むとか言わない ⚫自分が触ったことない技術を、なるべくたくさん触ってみる ⚫基盤プロジェクト立ち上げのテンプレコード確立できたら良いな今回の目的はこれ！家計簿アプリを作ってみた 16

Slide 17

Slide 17 text

©︎ 2025 gen_shun ⚫妻が管理してきた家計簿アプリから、直近5年のデータをcsv出力。 ◼普段自分見てません、ごめぇん！ ◼てか丁寧に管理されたおかげでデータが整ってる！あたたけぇ！ ◼このcsvエクスポート機能のためだけに、今回課金した ⚫API周りが結構面倒だったので、ここは手動での出力で妥協データ抽出について家計簿アプリを作ってみた 17

Slide 18

Slide 18 text

©︎ 2025 gen_shun ⚫インフラリソースはterraformで全部管理 ◼データセット、サービスアカウント、role周り ⚫データ基盤はdbtで作り、データはBigQueryへ ⚫github actions経由で、terraform applyとdbt runを実行させる ◼github × WorkloadIdentity周りを対応 ◼mainブランチ取り込み時にterraform applyとdbt run発射させるインフラ基盤について家計簿アプリを作ってみた 18

Slide 19

Slide 19 text

©︎ 2025 gen_shun インフラ基盤について。terraform周り（今回モジュールは細かい粒度で） ※諸事情により今回のアプリ名c old_waveです家計簿アプリを作ってみた 19

Slide 20

Slide 20 text

©︎ 2025 gen_shun インフラ基盤について。github actions周りの雰囲気だけ家計簿アプリを作ってみた 20

Slide 21

Slide 21 text

©︎ 2025 gen_shun ⚫stg層：日付の変換や、税や利息などの面倒いデータ除去 ⚫int層：口座間のお金のやり取り(振替)や、各カテゴリの整理 ◼口座A(個人)→口座B(家計)に食費出す場合、全体的にはお金の動きは±0 なのに、単体口座で見ると謎の出費や収入に見える ⚫mart層：dim_categoryとfct_billing_xxxを作り、カテゴリごとの出費をまとめるモデリングは一旦雑に作る家計簿アプリを作ってみた 21

Slide 22

Slide 22 text

©︎ 2025 gen_shun 家計簿アプリを作ってみた 22

Slide 23

Slide 23 text

©︎ 2025 gen_shun モデリング。dbt docsのリネージはこんな感じ家計簿アプリを作ってみた 23

Slide 24

Slide 24 text

©︎ 2025 gen_shun ⚫dbt-osmosisを使ってみた ◼ymlのドキュメント入力補完、結構良い！ ⚫dbt exposuresを使ってみた ◼データ利用状況をdbt docsに追記できるやーつで便利！ ⚫dbt_mlを使ってみた ◼後述 dbt周りの今回のチャレンジ家計簿アプリを作ってみた 24

Slide 25

Slide 25 text

©︎ 2025 gen_shun ⚫リネージで繋がってるテーブルのドキュメントを補完 ⚫左の状態からコマンド実行で右の状態に！すげぇ！ dbt-osmosis使ってみた家計簿アプリを作ってみた 25

Slide 26

Slide 26 text

©︎ 2025 gen_shun ⚫業務でガッツリMLやったことないので、BQML触ってみる ◼まずは「やってみる」のはじめの一歩が大事！ ⚫直近4年のデータを渡し、来月の自分の出費の予測出せばOK ◼精度とかそういうのは無視！ ◼欲しいものがあれば買うので、多分ちゃんとした予想無理(笑 dbt_ml使ってみた家計簿アプリを作ってみた 26

Slide 27

Slide 27 text

©︎ 2025 gen_shun ⚫ソースコードと来月の出費予想データ。 ◼BQMLサクッとできてすごい〜 dbt_ml使ってみた家計簿アプリを作ってみた 27

Slide 28

Slide 28 text

©︎ 2025 gen_shun ⚫LookerStudioで可視化する ⚫データソースはdim_xxxとfct_xxxを参照、レポートを作成してごにょごにょ ⚫接続はサービスアカウント使うビジュアライゼーション家計簿アプリを作ってみた 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

©︎ 2025 gen_shun ⚫WEBアプリは個人で作る際に色んな技術やライブラリを触るチャンスだが、データ周りはそういうイメージが個人的には無かった ◼デー周りも自作アプリでも全然いろんな技術触ることできる！ ◼本で読んだモデリング、業務で試せないなら個人アプリで試すのはあり！ ⚫terraform、dbt、開発フロー周りの開発テンプレみたいなの個人的にできたので満足 ◼そのうちzenn.dev書きます学び/感想 38