Snowflake女子会#3 Snowpipeの良さを5分で語るよ

Transcript

1. Snowpipeの良さを5分で語るよ Snowflake女子会#3 2024.12
2. 2 庵原 崚生(Takaki Ihara) 株式会社primeNumber シニアデータエンジニア primeNumber１人目のデータエンジニア → JTC SIerのフロントエンドエンジニア 先週ジムでぎっくり腰になって療養中 ポケポケのやりたい
3. 会社概要 3 株式会社primeNumber 代表取締役CEO 田邊 雄樹 2015年11月 約105名 約34億円 東京都品川区上大崎3丁目1番1号 JR東急目黒ビル5F 会社名 代表 創業 メンバー数 累計調達額 オフィス © primeNumber Inc.
4. あらゆるデータを、 ビジネスの力に変える。 人とAIが共存する時代に。 知の源泉となるデータを、 誰もがすばやく、自由に使えるように。 primeNumberは、テクノロジーの力で データ活用における不自由をなくし、 あらゆるデータを、ビジネスの力に変えていく。 そして、それまでの常識や産業の枠を超えて、 さまざまな人や企業、技術、アイデアとつながり、 まだない価値を共に生み出していく。 私たちは、人とデータの開かれた関係を築くことで、 人の創造力を解放し、 世界中のビジネスと社会全体の可能性を拡げます。 VISION 4 © primeNumber Inc.
5. 5 さてみなさん、 Snowpipe。使ってますか？
6. 6 もしかしてご存知ない？
7. 7 伝授しましょう
8. 8 Snowpipeとは？ 例えば、CSVファイルをSnowflakeに入れたい時にどうするか？ SnowSQL Snowsight
9. 9 Snowpipeとは？ 例えば、CSVファイルをSnowflakeに入れたい時にどうするか？ SnowSQL Snowsight 手動でファイル連携するのは結構面倒！！ とはいえOSS採用するにもSaaS契約するにも大変！！
10. 10 そんな時のSnowpipe
11. 11 改めて、Snowpipeとは？ Snowflakeに対して、継続的なデータロードを行える仕組み → S3やGoogle Cloud Storageなどのクラウドストレージ（外部ストレージ）にファイル が格納されたら、Snowflakeに通知が飛び、勝手にテーブルにファイルデータが格納され る Continuous ingestion, and data streaming
12. 12 ざっくりいうと データ取り込みを“勝手に” やってくれるヤツです
13. 13 何が嬉しいの？ • 管理が必要最低限になる ◦ データロードのコンピューティングリソース ▪ サーバレス ◦ 転送タイミングの調整が不要 ▪ メッセージングキューの利用 ▪ ニアリアルタイム連携 ▪ SimpleIngestManager（後述） • データパイプラインとしての堅牢性 ◦ 冪等性の担保 ◦ 1度ロードしたファイルは14日間ロードできない • コストの納得感 ◦ ベストプラクティスに則ればコストを最小限にできる ▪ ファイルサイズ
14. 14 働きすぎなデータエンジニアの 強い味方
15. 15 Snowpipeを使っていない世界線（おおげさ） またエラー出た... クリスマスに残業か… 毎日バッチジョブの 結果を見て手動で修正... 疲れた...
16. 16 Snowpipeを使っている世界線（おおげさ） Snowpipeが 働いてる間に一服 データをS3にあげたら あとは勝手にやってくれる
17. 17 Snowpipe、使いたくなりません？
18. 18 私が組んだ実例も授けましょう
19. 19 Snowpipeを使った実際の例 Excelのダウンロードを画面上でしか行えないサービスを スクレイピングツール（Selenium）を用いて開発した話
20. 20 Snowpipeを使った実際の例 Excelのダウンロードを画面上でしか行えないサービスを スクレイピングツール（Selenium）を用いて開発した話 ⭐Point⭐ • 後続処理の起動タイミング に合わせるために、あえて 自動データロード機能を 不採用 • SimpleIngestManagerとい うPythonライブラリを用い てSnowpipeを制御 • 諸々のデプロイメントは Terraformを利用
21. 21 とはいえ注意点もあります
22. 22 Snowpipeを使う上での注意点 便利だけではないよ、Snowpipe • 監視は必要 ◦ COPY_HISTORYなどを用いた監視 ◦ エラー時はNOTIFICATION INTEGRATIONを用いた通知管理（メール・Slack） • ファイルサイズの最適化が必要 ◦ 1ファイルあたり100MB ~ 250MBが最適 ◦ 同じデータ量でもファイルサイズが小さいとコストが跳ね上がる 出展: Snowflake Snowpipe: The Definitive Guide (2024)
23. 23 正しく使って 良いデータエンジニアリングライフを
24. 24 参考記事 めっちゃ助かる。Snowflakeコミュニティの成熟度に感謝。 • Snowpipe によるファイル取り込みを AWS Lambda から動かしてみる ◦ LambdaからSimpleIngestManagerを用いてSnowpipeを制御方法の指南書 ◦ Terraformでのデプロイ前提なのが嬉しい • Snowflake Snowpipeを本番導入する前に読むやつ ◦ 「At least once」との付き合い方について説いている ◦ 本番導入に際して、気をつけるべき点がどこかを包括的に説明
25. 25 最後に宣伝 一緒に働いてくれる方、探しています！👀 • データエンジニア • データストラテジスト • その他の職種について（全ての求人一覧） • primeNumberリクルートサイト
26. Thank you!