Snowflakeで眠ったデータを起こそう！

2024-04-16に行われた 「成長企業3社はデータベースとどう向き合っているか」(https://estie.connpass.com/event/313405/ )にてスタッフエンジニアkenkoooo(https://twitter.com/kenkoooo )が登壇した資料です。

Transcript

1. Snowflake で眠ったデータを起こそう！ @kenkoooo
2. 自己紹介 1
 @kenkoooo • 株式会社 estie • スタッフエンジニア • 大学（分子生物学・化学） • →自宅（警備） • →国立情報学研究所（アルゴリズム） • →リクルート（ウェブ広告） • →SoundHound（AIスピーカー） • →Indeed（求人検索） • →estie（不動産）
5. 自己紹介 4
 @kenkoooo • 株式会社 estie • スタッフエンジニア • 大学（分子生物学・化学） • →自宅（警備） • →国立情報学研究所（アルゴリズム） • →リクルート（ウェブ広告） • →SoundHound（AIスピーカー） • →Indeed（求人検索） • →estie（不動産）
7. スタッフエンジニアとは 6

8. Snowflakeとは？ 7

9. Snowflake とは 8
 • Snowflake 社が開発するデータプラットフォーム • メチャクチャでかいデータベース • メチャクチャ強い
10. Snowflake とは 9
 SQL でクエリが書ける
13. estie が抱える課題 12
 • データがメチャクチャ増えてきた！ • データソースが増えてきた！ • カバー範囲が広がってきた！ • ユーザーが増えてきた！
14. 全てのデータが集まる場所 13

15. S3 にデータが置けるものなら Snowpipe で同期できる 14
 CSV ファイル アプリのログ S3 バケット S3 バケット
16. アプリの MySQL のデータも Snowflake に寄せられる 15
 アプリのDB GitHub のログ Fivetran Fivetran
17. 全てのデータが集まる！ 16
 ユーザーが入力したデータ 開発生産性 リクエストログ 受領したデータ
18. 全てのデータが集まっていると何が良い？ 17
 商品に関心のあるユーザー from アプリの MySQL 商品情報 from 受領したデータ ユーザーの詳細情報 from ユーザー基盤の MySQL ユーザーの行動 from 別アプリのログ
19. パワフルデータ加工場 18

20. 受領したデータをそのまま出すことはない 19
 受領したデータ アプリの MySQL
21. 受領したデータをそのまま出すことはない 20
 受領したデータ アプリの MySQL 社内の データ
22. こんな感じのイメージ 21
 const input = read_csv(); const my_data = load_from_db(); const new_db1 = my_function1(input); const new_db2 = my_function2(new_db1); const new_db3 = my_function3(new_db2); const new_db4 = my_function4(my_data, new_db2); app_db.load(new_db3); app_db.load(new_db4);
23. dbt で加工する 22
 select building_id, building_name, building_address, prefectures.name as prefecture_name, owners.name as owner_name from {{ ref("buildings") }} left join {{ ref("owners") }} owners on owners.building_id = buildings.building_id left join {{ source("areas", "prefectures") }} prefectures on prefectures.prefecture_id = buildings.prefecture_id
24. こんな感じのグラフが出せる 23

25. 受領したデータをそのまま出すことはない 24
 受領したデータ アプリの MySQL 社内の データ
26. データの加工は Snowflake + dbt 25
 受領したデータ 社内の データ
27. Streamlit 26

28. Streamlit とは 27
 • Python で簡単にデータアプリが作れる
29. Snowflake が Streamlit を買収 28

30. 社内向けデータアプリが簡単に作れる！ 29

31. 社内向けデータアプリが簡単に作れる！ 30
 • Snowflake アカウントを持っているとアクセスできる • アカウント管理が超ラク • データの権限もアカウントに紐付いている • 社内用途なら Streamlit で十分 • インフラの設定なども不要 • Snowflake の高級なインスタンスでウェブアプリを……
32. まとめ 31

33. まとめ 32
 • あらゆるデータが１ヶ所に集まるのは最高！ • データの加工もできて最高！ • データアプリも簡単に作成できて最高！
34. estie で大量のデータをぶん回そう！ 33