Slide 1

Slide 1 text

2025/11/28 クラスメソッド株式会社 相樂悟 Modern Data Stack⼤好きマンが語る Snowflakeの魅⼒

Slide 2

Slide 2 text

⾃⼰紹介 2 ● 2020年9⽉ ⼊社 ○ Modern Data Stackに該当する製品の 技術⽀援‧プリセールスを担当 ○ 新しい技術情報を定期的に収集し、 ブログで情報発信 ● 部署‧役割 ○ Modern Data Stackチーム テックリード ● 名前(ニックネーム) ○ 相樂 悟 (さがら)

Slide 3

Slide 3 text

「Modern Data Stack」とは 3 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え⽅や該当するサービス群を指す⾔葉 引用元:Who’s Who in the Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack

Slide 4

Slide 4 text

私が定期調査している分野‧製品 4 下記の製品のブログやリリースノートを2週間毎にざっとチェックしています ● Data Extract/Load ○ Fivetran、Airbyte、Meltano、Snowplow、dlt、Omnata ● Data Warehouse/Data Lakehouse ○ Snowflake、BigQuery、Redshift、Databricks、ClickHouse、Onehouse、DuckDB/MotherDuck、Starburst、LakeFS、Bauplan ● Data Transform ○ dbt、Datacoves、Dataform、Coalesce ● Semantic Layer ○ dbt Semantic Layer、Cube、AtScale、Honeydew ● Business Intelligence ○ Looker、Tableau、Power BI、Sigma、ThoughtSpot、Hex、Preset、Lightdash、Omni、Steep、Evidence ● Data Catalog ○ Atlan、Select Star、Secoda、Alation、OpenMetadata ● Data Activation (Reverse ETL) ○ Hightouch、Census ● Data Observability‧Data Quality ○ Monte Carlo、Sifflet、Acceldata、Decube、Anomalo、Soda、Datafold、Great Expectations、Recce、Elementary、re_data ● Data Orchestration ○ Dagster、Prefect、Astronomer(Airflow)、Kestra、Mage、Orchestra

Slide 5

Slide 5 text

⾊んな製品を⾒ている 私がSnowflakeを好きな理由 テンション上がる熱い機能を たくさんリリースしてくれる (追いきれないほどに)

Slide 6

Slide 6 text

⾊んな製品を⾒ている 私がSnowflakeを好きな理由 テンション上がる熱い機能を たくさんリリースしてくれる (追いきれないほどに)

Slide 7

Slide 7 text

個⼈的に熱かった2025年の新機能を 振り返っていきます

Slide 8

Slide 8 text

新しいレコードを検知したアラート機能 8 ● 対象のテーブルに新しいレコードが追加されたときに指定した条件式を実⾏して、 条件に該当するレコードがあったときのみメール送信など⾏える機能 ○ イベントテーブルにDynamic Tableとタスクのログを出⼒し、エラー監視可能 ● 参考ブログ

Slide 9

Slide 9 text

Programmatic access tokens 9 ● TableauやPower BIのパスワード欄にも使えるSnowflakeのアクセストークン機能 ○ 今年はMFAの強制化の話もあったため、キーペア認証がないBIツールを 使っているユーザー向けにリリースされて本当に良かった、という想いが強い ● 参考ブログ

Slide 10

Slide 10 text

terraform-provider-snowflakeがSnowflake公式で⼀般提供 10 ● terraform-provider-snowflakeがv2.0.0のリリースと併せて、 Snowflake公式より⼀般提供!(正式にサポートされるようになった) ○ 今まで破壊的な変更が多かったので、これで安⼼して使える…!となりました ● 参考ブログ

Slide 11

Slide 11 text

Generation 2 standard warehouses 11 ● 従来の仮想ウェアハウスの次世代版、よりパフォーマンス向上がしたウェアハウス ○ コストはAWS‧Google Cloudで1.35倍、Azureの場合は1.25倍となるが、 スキャン量が多く処理が複雑なクエリほど性能を活かせてコストメリットあり ● 参考ブログ

Slide 12

Slide 12 text

コストの異常を⾃動で検知‧通知してくれるCost anomalies 12 ● アカウント‧組織レベルでコストの異常を⾃動で検知‧通知してくれる機能 ○ リソースモニターなどの機能では制御しきれない、コストの急増を 検知して通知もしてくれる、使って損がない機能 ● 参考ブログ

Slide 13

Slide 13 text

Snowflake Cortex AISQL:AI_FILTER関数 13 ● テキストデータに対する⾃然⾔語を⽤いた絞り込み‧結合が⾏えるAI関数 ○ 衝撃度合いで⾔えば今年⼀だったかもしれない、テキストデータの分析の 仕⽅が抜本的に変わると感じた機能 ● 参考ブログ

Slide 14

Slide 14 text

Snowflake Cortex AISQL:AI_EXTRACT関数 14 ● PDFのような⾮構造化データに対して⾃然⾔語で問い合わせることで、 その内容をJSON形式で出⼒することができる⇛VARIANT型でテーブルへ保存可能 ● 参考ブログ(Snowflake社の⾼⽥さんの記事)

Slide 15

Slide 15 text

dbt Projects on Snowflake 15 ● dbt Core(OSS版)を⽤いた開発〜定期実⾏まで、Snowflake内で⾏える機能 ○ 仕事で必要だったのもありますが、2025/6末にリリースされてから 関連ブログを11本投稿するくらいには激アツな機能です ● 参考ブログ

Slide 16

Slide 16 text

OpenflowのSnowflake Deployments版 16 ● Snowpark Container Services上にデプロイできるOpenflow ○ デプロイが⾮常に簡単のため、AWS版よりもインフラ⾯‧運⽤⾯のコスト削減 ○ また、Slackなど⼀部コネクタはCortex Search Serviceも⾃動で作成 ● 参考ブログ

Slide 17

Slide 17 text

QUERY_INSIGHTSビュー 17 ● 実⾏したクエリのパフォーマンス分析‧改善提案の情報がまとまったビュー ○ WHERE句の未設定、select *を使⽤、ウェアハウスの容量を超えるデータ量 などよくあるパフォーマンス問題が起きているクエリを⾃動抽出 ● 参考ブログ

Slide 18

Slide 18 text

Snapshot 18 ● 最上位権限であるACCOUNTADMINロールでも削除‧編集不能に設定した データベースバックアップを取得できる機能 ※参考ブログ ○ 監査要件などで、S3エクスポートなどをせずに済みます

Slide 19

Slide 19 text

OBJECT_VISIBILITYプロパティ 19 ● Snowflake内のオブジェクト検索時に、検索結果に権限がないデータベースオブ ジェクトも出⼒可能となるプロパティ ※参考ブログ ○ この機能のすごい点は「権限リクエストの導線」もあること ○ 2025/11/25にSelect Starの買収も発表、別のカタログはもういらないかも…

Slide 20

Slide 20 text

ManagedのIcebergテーブルに対して外部エンジンからクエリ 20 ● 今まではOpen Catalog(Apache Polaris)を介さないと外部エンジンから Snowflake ManagedのIcebergテーブルをクエリできなかった… ⇛このアップデートでOpen Catalogが不要に!! ※プレビュー機能のため注意

Slide 21

Slide 21 text

Snowflakeの機能、本当に熱いですよね!!

Slide 22

Slide 22 text

ただ、喜んでばかりもいられない…

Slide 23

Slide 23 text

クラスメソッドのModern Data Stack 23 ● 私のチームは、下図のツールの「販売‧導⼊⽀援」をする⽴場です

Slide 24

Slide 24 text

クラスメソッドのModern Data Stackに対する脅威 24 Openflowってなに…? GUIベースで差分ロードも可能で Cortex Search Serviceも作っちゃうの…?

Slide 25

Slide 25 text

クラスメソッドのModern Data Stackに対する脅威 25 dbt Projects on Snowflake…? Snowflakeだけでdbtの開発‧実⾏が できちゃうの…?

Slide 26

Slide 26 text

クラスメソッドのModern Data Stackに対する脅威 26 Semantic View/Model…? Snowflakeの中でSemantic Layerの定義が できちゃうの…?

Slide 27

Slide 27 text

クラスメソッドのModern Data Stackに対する脅威 27 あれ、Snowflakeだけでよいのでは…?

Slide 28

Slide 28 text

クラスメソッドのModern Data Stackに対する脅威 28 ※半分冗談、半分本⾳ですw  Snowflakeだけでデータ基盤を構築できるようになってきていますが、  Snowflakeだけだと機能的に⾜りないと感じるところはあります  しかし、うかうかしているとSnowflakeにすべてを喰われるのは事実…

Slide 29

Slide 29 text

最後に 29 テンションが上がる新機能をたくさん出してくれる Snowflake、⼤好きです!! ただ、Modern Data Stack⼤好きマンとしては、 他の製品もSnowflakeに負けずに頑張ってほしい!!

Slide 30

Slide 30 text

No content