Upgrade to Pro — share decks privately, control downloads, hide ads and more …

what Azure Synapse

C7a2f2f39588f4a71936947a4bf81f1e?s=47 Anntoque
November 05, 2019

what Azure Synapse

C7a2f2f39588f4a71936947a4bf81f1e?s=128

Anntoque

November 05, 2019
Tweet

Transcript

  1. BigQueryいいよね!って話をしようと思ったら BigQueryより速いAzure Synapseが出た @YASU11552288

  2. 自己紹介 - 某化粧品クチコミサイトの中の人 - BtoB向けサービスのデータパイプライン構築 - データの抽出業務(BigQuery, SQL Serverなど) -

    GCP上での分析基盤の構築 - tableauなどのBIツールを用いた分析レポートの作成 - Google Analytics、Firebase Analytics、redash etc.
  3. BigQueryいいよね!って話をしようと思ったら… 昨晩Microsoftのテックカンファレンスの Microsoft Ignite 2019にて Microsoft < 「Azure Synapse出すよ!BigQueryより75倍速いよ!!」 僕

    < 「…Azure Synapseとは」 となったので調べた内容を LTにしました。
  4. Azure Synapseとは ・Azure Synapseは Azure SQL Data Warehouseの進化系 ・Azure SQL

    Data Warehouse 1. EDW(エンタープライズ データ ウェアハウ ス) 2. データベースエンジンはSQL Server 3. インデックスの概念がある (https://docs.microsoft.com/ja-jp/azure/sql-data-warehouse/sql-data-warehouse-ta bles-index) ・Power BIとつないでAzure Synapse内で ダッシュボードが作成可能 ・SQL Server Management Studio
  5. Azure Synapse vs BigQuery  TPCのベンチマークテスト指標の以下2つで実 施 ▼ TPC-H: アドホックなBI分析用 最大で

    14 倍も高速で、94% も少ないコスト ▼TPC-DS: DWH用 最大で 12 倍高速で、73% も少ないコスト ※ http://www.tpc.org/information/benchmarks.asp https://azure.microsoft.com/ja-jp/services/synapse-analytics/compare/
  6. Azure Synapse vs BigQuery  料金体系に大きな違い ▼Azure Synapse クエリ課金ではない インスタンス体系で利用した時間計 算

    パフォーマンスレベルにより値段も変 動 DW100c $1.20/時間 ~ DW30000c $360/時間 ※ https://azure.microsoft.com/ja-jp/pricing/details/synapse-analytics/gen2/ ▼BigQuery クエリスキャン量 $5.00 per TB アクティブ ストレージ $0.020 per GB https://azure.microsoft.com/mediahandler/files/resourcefiles/data-warehouse-in-the-cloud-benchmark/FINAL%20data-warehouse-cloud-benchmark.pdf 料金体系の異なる2サービスのコスト比較をどのように行ったのかと いうと 「$/クエリ辺りの実行時間」で比較したらしい。 レポート中ではコスト比較の以外にも 「BigQueryはスロットが占有できず、他利用状況に依存するためパ フォーマンスに影響がでる。 Azure Synapseや他クラウドサービスは ハードを占有できるのでムラがない」との指摘も
  7. 結局Azure Synapseどうなの - DW 100: $1 × 20営業日 × 8時間

    = 160$ - DW 30000: $360 × 20営業日 × 8時間 = 57000$ インスタンス監視などのエンジニア負担をどの程度減らせるか インデックスチューニングとかしないといけないのはメンドクサそう BigQueryはそこがないのが魅力で、エンジニアがいなくてもアナリストだけで運用できる 今のところ導入を考えると速いなりに運用コストが高そうなイメージ 以上
  8. 採用してます!!