BigQueryいいよね！って話をしようと思ったら BigQueryより速いAzure Synapseが出た @YASU11552288

自己紹介 - 某化粧品クチコミサイトの中の人 - BtoB向けサービスのデータパイプライン構築 - データの抽出業務(BigQuery, SQL Serverなど) - GCP上での分析基盤の構築 - tableauなどのBIツールを用いた分析レポートの作成 - Google Analytics、Firebase Analytics、redash etc.

BigQueryいいよね！って話をしようと思ったら… 昨晩Microsoftのテックカンファレンスの Microsoft Ignite 2019にて Microsoft < 「Azure Synapse出すよ！BigQueryより75倍速いよ！！」 僕 < 「…Azure Synapseとは」 となったので調べた内容を LTにしました。

Azure Synapseとは ・Azure Synapseは Azure SQL Data Warehouseの進化系 ・Azure SQL Data Warehouse 1. EDW(エンタープライズ データ ウェアハウ ス) 2. データベースエンジンはSQL Server 3. インデックスの概念がある (https://docs.microsoft.com/ja-jp/azure/sql-data-warehouse/sql-data-warehouse-ta bles-index) ・Power BIとつないでAzure Synapse内で ダッシュボードが作成可能 ・SQL Server Management Studio

Azure Synapse vs BigQuery　 TPCのベンチマークテスト指標の以下2つで実 施 ▼ TPC-H: アドホックなBI分析用 最大で 14 倍も高速で、94% も少ないコスト ▼TPC-DS: DWH用 最大で 12 倍高速で、73% も少ないコスト ※ http://www.tpc.org/information/benchmarks.asp https://azure.microsoft.com/ja-jp/services/synapse-analytics/compare/

Azure Synapse vs BigQuery　 料金体系に大きな違い ▼Azure Synapse クエリ課金ではない インスタンス体系で利用した時間計 算 パフォーマンスレベルにより値段も変 動 DW100c　$1.20/時間 ~ DW30000c　$360/時間 ※ https://azure.microsoft.com/ja-jp/pricing/details/synapse-analytics/gen2/ ▼BigQuery クエリスキャン量 $5.00 per TB アクティブ ストレージ $0.020 per GB https://azure.microsoft.com/mediahandler/files/resourcefiles/data-warehouse-in-the-cloud-benchmark/FINAL%20data-warehouse-cloud-benchmark.pdf 料金体系の異なる2サービスのコスト比較をどのように行ったのかと いうと 「$/クエリ辺りの実行時間」で比較したらしい。 レポート中ではコスト比較の以外にも 「BigQueryはスロットが占有できず、他利用状況に依存するためパ フォーマンスに影響がでる。 Azure Synapseや他クラウドサービスは ハードを占有できるのでムラがない」との指摘も

結局Azure Synapseどうなの - DW 100: $1 × 20営業日 × 8時間 = 160$ - DW 30000: $360 × 20営業日 × 8時間 = 57000$ インスタンス監視などのエンジニア負担をどの程度減らせるか インデックスチューニングとかしないといけないのはメンドクサそう BigQueryはそこがないのが魅力で、エンジニアがいなくてもアナリストだけで運用できる 今のところ導入を考えると速いなりに運用コストが高そうなイメージ 以上

採用してます！！