Redshift Serverless vs Snowflake 徹底比較!

by Atsushi Sumita

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2013 - 2022 Finatext Ltd. 4 ナウキャストの紹介 Alternative Dataとは利活用の進んでいないビッグデータの総称 Alternative Dataとは元々は金融領域の用語で、伝統的に使われてきた財務情報や経済統計のようなデータ（ Traditional Data）に対して、これまで利活用の進んでこなかったビッグデータのことを指します。データ利活用が活発なアメリカでは、様々な種類の Alternative Dataがサービスとして実際に提供されています。参考) オルタナティブデータとは

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2013 - 2022 Finatext Ltd. 9 AWSのPaaSゆえに導入のハードルが低く, 他のAWSサービスとの連携もスムーズなRedshift ● AWSを既に使っているなら今この瞬間にでも動かし始められる! ○ アカウント管理, 請求, 各種ポリシーなどが既に整備されている ○ アクセス制御/ドキュメント/APIの仕様など馴染みがあり, 学習コストが低い ○ Serverlessになってさらに手軽に Federated query RDS Redshift Spectrum S3 COPY command S3, DynamoDB, EMR ● 他のAWSのサービスとシームレスなデータ連携

Slide 10

Slide 10 text

© 2013 - 2022 Finatext Ltd. 10 マルチクラウド対応のSaaSとしてクラウドを跨ったデータの集約/連携が魅力のSnowflake ● 組織内にマルチクラウド環境がある場合, 簡単にsnowflakeに集約可能 ● 別組織にあるsnowflakeやクラウド環境にシームレスにデータ連携 COPY INTO COPY INTO Data Sharing Organization A Organization B Organization C

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2013 - 2022 Finatext Ltd. 13 TPC-DS 10TBによるベンチマーキングのやり方 ● OLAP用のベンチマークの産業標準であるTPC-DSを使って実行速度や費用を確かめたい ○ 意思決定支援システムを模したデータセット (今回は10TBを使用) ○ 様々な種類のOLAPクエリ99個 ● Redshiftでの用意の仕方 ○ https://github.com/awslabs/amazon-redshift-utils/tree/master/src/CloudDataWarehouseBenchmark/Cloud-DWB-Derived-from-TPCDS/10TB ○ ddl.sqlを実行するとテーブルが用意されます ○ query_0.sqlにベンチマーキング用のクエリがまとまっています ● Snowflakeでの用意の仕方 ○ https://docs.snowflake.com/en/user-guide/sample-data.html ○ SNOWFLAKE_SAMPLE_DATAというDBをdata sharingさせてくれます ○ クエリも専用のworksheetにまとめてくれています

Slide 14

Slide 14 text

© 2013 - 2022 Finatext Ltd. 14 99個のクエリを順次実行し, かかった時間と費用を計測してみた Total minutes Total cost in dollars Cost per minute Redshift (max RPU = 128) 37.0 min 38.7 $ 1.1 $ Redshift (max RPU = 256) 21.3 min 44.8 $ 2.1 $ Snowflake (X-Large) 41.2 min 47.2 $ 1.2 $ Snowflake (2X-Large) 23.1 min 53.1 $ 2.3 $ ● 両者ともに計算資源を増やせば十分な速度が出る ○ 同じ速度を出す設定ならRedshift Serverlessのがちょい安い ○ ただ解釈に注意: 製品としての位置づけが異なるので当然っちゃ当然

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2013 - 2022 Finatext Ltd. 17 SQLでは書きづらい/実装出来ない処理があるならPythonで書きたいよね ● 認知負荷の軽減や処理の共通化のためのモジュール化の機構がSQLには存在しない ○ dbtみたいにマクロでSQLを組み立てるという方向性もある(が...) ○ DataFrame API: モジュール化 & テスト容易性 & lintやformatによる品質向上 ● テキスト処理や機械学習など, SQLで実装出来ない処理は往々にしてある ○ python udfによる拡張が必要

Slide 18

Slide 18 text

© 2013 - 2022 Finatext Ltd. 18 Python udfは両者問題なし, DataFrame APIなどを使いたいならsnowflakeが良さそう ● 注意点: Redshiftのpython udfはPython 2.7しかサポートしていない ○ python拡張したいならlambda udfが推奨か. ベンチマーキングの結果は良好. ● DataFrame APIによる恩恵を受けたいならsnowpark ○ EMRとRedshiftの統合が進めば近い世界観が実現出来るかも?