Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30

Data Engineering Study #30「祝30回！過去登壇者と振り返るデータエンジニアの技術とキャリアのこれまでとこれから」発表資料: https://forkwell.connpass.com/event/357942/
Youtube Live アーカイブ: https://www.youtube.com/watch?v=UppgeRpIb8g

Transcript

1. © 2025 Snowflake Inc. All Rights Reserved Snowflake のアーキテクチャは 本当に筋がよかったのか Yoshi Matsuzaki Senior Performance Engineer, Snowflake Data Engineering Study #30 - Jul 18, 2025
2. © 2025 Snowflake Inc. All Rights Reserved • Yoshi Matsuzaki • Senior Performance Engineer, Snowflake • 製品開発チーム所属 (アジア唯一) • 新規導入 PoC におけるクエリパフォーマンスチューニング • プロダクトレベルでのクエリパフォーマンス改善のドライブ • コードは書いていない • 静岡市在住 (フルリモート) 誰 2
3. © 2025 Snowflake Inc. All Rights Reserved • 私はどうなったか • Snowflake はどうなったか • Snowflake のアーキテクチャはまだ「筋がいい」のか？ お話すること 3
4. © 2025 Snowflake Inc. All Rights Reserved 私はどうなったか
5. © 2025 Snowflake Inc. All Rights Reserved • 2020 年 4 月 … Snowflake 入社 (Principal Cloud Support Engineer) • 日本法人 1 人目のサポートエンジニア • 2020 年 12 月 … Data Engineering Study #5 • まだ入社 8 ヶ月…そんなにわかってない時期にがんばった… • 2021 年 11 月 … 日本語サポート正式提供開始 • 2023 年 10 月 … 製品開発チームに異動 (Senior Performance Engineer) • 2025 年 7 月 … 今 年表 5
6. © 2025 Snowflake Inc. All Rights Reserved • 「日本語サポートの立ち上げ」という大目標を達成してしまった • 技術面でテイカー側に回れることがほとんどなくなった • Snowflake というプロダクトが想像以上に面白かった • もっとプロダクトにフォーカスしたくなった • 自分の評価から地理的・言語的属性を切り離したかった • 例: 日本語・日本在住・UTC+9 なぜ製品開発チームに？ 6
7. © 2025 Snowflake Inc. All Rights Reserved 1. 面識のある偉い人に Slack でなんかポジション無いか聞く 2. SWE は地理的に無理だけどここならワンチャン…と今のチームを紹介される 3. 面接を受ける • 前職 (AWS) でも同じパスだったので個人的再現性あり • サポートエンジニアとして技術面で目立って存在を知らしめておく • 「コードを書かないエンジニアロール」を狙う どうやって製品開発チームに？ 7
8. © 2025 Snowflake Inc. All Rights Reserved Snowflake はどうなったか
9. © 2025 Snowflake Inc. All Rights Reserved 前回は 5 年前… 9
10. © 2025 Snowflake Inc. All Rights Reserved Recap: 何が「筋がいい」という主張だったか 10
11. © 2025 Snowflake Inc. All Rights Reserved • データエンジニアリング • Snowpipe Streaming, Dynamic Tables, Apache Iceberg™, Openflow ... • データウェアハウス • Search Optimization Service, Query Acceleration Service, ... • アプリケーション • Snowpark (SPCS), Snowsight, Native Apps, Streamlit in Snowflake ... • AI/ML • Document AI, Unstructured Data, Snowflake Copilot, Cortex AI, ... この 5 年で Snowflake に追加されたもの (一部) 11
12. © 2025 Snowflake Inc. All Rights Reserved • Apache Iceberg™ • ダウンロードによる疎結合なデータ/メタデータアクセス • Snowpark / Streamlit in Snowflake / Native Apps • 既存の仮想ウェアハウス、ストレージ、RBAC の活用 • Marketplace/Data Sharing の拡張によるアプリの共有 (Native Apps) • Cortex AI • 既存の仮想ウェアハウス、ストレージ、RBAC の活用 • 既存の仕組みを利用していることによる SQL とのシームレスな統合 Snowflake の拡張性は今 12
13. © 2025 Snowflake Inc. All Rights Reserved • Simplicity – マチュアでシンプルなコンポーネントの再利用 • 仮想ウェアハウス … スケーラブルで純粋なコンピュートリソース • ストレージ … コンピュートと疎結合 – Stage, External Volume • RBAC … テーブルなどと共通の権限管理 • シームレスに AI や新機能を簡単に安全に慣れ親しんだ方法で使える • すべて Single Unified Platform で Simplicity – これからの Snowflake の拡張性 13
14. © 2025 Snowflake Inc. All Rights Reserved Snowflake のアーキテクチャは まだ「筋がいい」のか？
15. © 2025 Snowflake Inc. All Rights Reserved Yes
16. © 2025 Snowflake Inc. All Rights Reserved THANK YOU