Slide 1

Slide 1 text

© LayerX Inc. BigQueryとSnowflakeを⽐較して それぞれの良し悪しを掴む 2025/03/07 @civitaspo Snowflake九州ユーザー会 #2

Slide 2

Slide 2 text

© LayerX Inc. 2 バクラク事業部 機械学習‧データ部 DataOps チーム TechLead 兼 Platform Engineering部 DevOps チーム 最近もっぱらSalesforceと戯れています Snowflake九州ユーザーグループ主宰 Snowflake Squad 2024 SNS 𝕏 civitaspo civitaspo その他 画像を⼊れてね civitaspo (キビタスポ/ きびちゃん) ⾃⼰紹介

Slide 3

Slide 3 text

© LayerX Inc. バクラクのデータ基盤を BigQueryからSnowflakeへ移管した理由 2024/11/22 @civitaspo 【Snowflake九州ユーザー会】九州のSnowflake導⼊企業5社による導⼊事例紹介! 前回のSnowflake九州ユーザー会での発表

Slide 4

Slide 4 text

© LayerX Inc. 4 ref. Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 - Findy Tools ⾃⼰紹介

Slide 5

Slide 5 text

5 © LayerX Inc. すべての経済活動を、デジタル化する。 会社概要 会社名 株式会社LayerX(レイヤーエックス) 代表取締役 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 創業 2018年 8⽉1⽇ 資本⾦ 約132.6億円 拠点 東京本社 〒104-0045 東京都中央区築地1-13-1 銀座松⽵スクエア 5階 関⻄⽀社 〒530-0002 ⼤阪府⼤阪市北区曽根崎新地1-13-22 御堂筋フロントタワー 内 中部⽀社 〒466-0064 愛知県名古屋市昭和区鶴舞1-2−32 STATION Ai 内 九州⽀社 〒810-0801 福岡県福岡市博多区中洲3-7-24 WeWorkゲイツ福岡 11F 内 従業員数 385名 (2024年10⽉末時点)

Slide 6

Slide 6 text

6 © LayerX Inc. 「すべての経済活動を、デジタル化する。」をミッションに、AI SaaSとAI DXの事業を展開 事業紹介 バクラク事業 企業活動のインフラとなる業務を 効率化するクラウドサービス Fintech事業 ソフトウェアを駆使したアセットマネジ メント‧証券事業を合弁会社にて展開 AI‧LLM事業 社内のナレッジやノウハウをデータ ベース化するAIプラットフォーム AI SaaSドメイン AI DXドメイン

Slide 7

Slide 7 text

© LayerX Inc.  7 「バクラク」シリーズラインナップ ‧AIが請求書を5秒でデータ化 ‧仕訳 / 振込データを⾃動作成 ‧電帳法‧インボイス制度にも対応 仕訳‧⽀払処理効率化 ‧年会費無料で何枚でも発⾏可 ‧カード利⽤制限で統制を実現 ‧すべての決済で1%以上の還元 法⼈カードの発⾏‧管理 ‧帳票の⼀括作成も個別作成も⾃由⾃在 ‧帳票の作成‧稟議‧送付‧保存を⼀本化 ‧レイアウトや項⽬のカスタマイズも可能 請求書発⾏ ‧スキャナ保存データも直接取込  ‧AI-OCRが⾃動読取&データ化 ‧[取引先][取引⽇][取引⾦額]での検索 帳票保存‧ストレージ ‧AIが⾒積書‧請求書を5秒でデータ ‧スマホからも申請‧承認OK ‧柔軟な通知設定‧承認の催促機能 稟議‧⽀払申請 ‧直感的UIで従業員の負担を軽減 ‧Slack連携で打刻や⾃動リマインド可能 ‧わかりやすい残業 / 休暇管理レポート 勤怠管理 ‧AIが領収書を5秒でデータ化 ‧スマホアプリとSlack連携あり ‧領収書の重複申請などミス防⽌機能 経費精算

Slide 8

Slide 8 text

今⽇話す内容

Slide 9

Slide 9 text

© LayerX Inc. 9 素朴な疑問: SnowflakeってBigQueryと何が違うの? 今⽇話す内容

Slide 10

Slide 10 text

© LayerX Inc. 10 BigQueryとSnowflakeを⽐較しながらそれぞれの良し悪しを掴む 今⽇話す内容 ● 弊社はBigQueryからSnowflakeへDWHを移管しました。 ● BigQuery‧Snowflake両⽅の運⽤経験から、⾊んな⾓度から⽐較してみます。 ● その⽐較からBigQuery‧Snowflake両⽅の良いところ‧悪いところを掴んでいこうと思います。

Slide 11

Slide 11 text

おことわり

Slide 12

Slide 12 text

© LayerX Inc. 12 おことわり ● 私は現環境で、BigQueryからSnowflakeへ移管した⾝であるため、Snowflakeが良く⾒えるバイア スがある前提でお聞きください。 ● また、紙⾯‧時間の都合上、⾼い網羅性は意識せず、私が移管したときに意識した違いを中⼼に載 せています。この資料に載っていない情報もあるので懇親会でお話しましょう。

Slide 13

Slide 13 text

⽬次 Agenda ● SnowflakeとBigQueryの違い ● Snowflakeにしかない機能 ● BigQueryにしかない機能 ● おわりに

Slide 14

Slide 14 text

SnowflakeとBigQueryの違い

Slide 15

Slide 15 text

© LayerX Inc. 15 アーキテクチャの違い SnowflakeとBigQueryの違い 出典: BigQuery under the hood: Google's serverless cloud data warehouse 出典: 5 Reasons to Love Snowflake's Architecture for Your Data Warehouse 1 Petabit/sec Snowflakeはクラウドベンダー上に構成 BigQueryは専⽤インフラ上に構成

Slide 16

Slide 16 text

© LayerX Inc. 16 SnowflakeはMicro-Partition ● 1MPあたり16MB以下で⾃動管理される ● where句を指定するほどスキャン量が減る BigQueryはStatic-Partition(⾃前管理) ● 10GB超えたらClusteringで分割推奨 ● テーブルあたりのPartition数は10000 データの持ち⽅の違い SnowflakeとBigQueryの違い 出典: Introduction to clustered tables | BigQuery | Google Cloud 出典: Micro-partitions & Data Clustering | Snowflake Documentation

Slide 17

Slide 17 text

© LayerX Inc. 17 SnowflakeはVirtual Warehouse ● ワークロードに合わせてサイズ考慮必要 ● Query Acceleration (オートスケール) BigQueryはSlot ● クエリ実⾏時に何も考えなくて良い。 ● 管理者がプロジェクトレベルで設定。 コンピューティングリソースの違い SnowflakeとBigQueryの違い 出典: Choosing the right warehouse size in Snowflake 出典: Understand slots | BigQuery | Google Cloud

Slide 18

Slide 18 text

© LayerX Inc. 18 Snowflake Editions ● だいたいおなじ ● FivetranのCloud Data Warehouse Benchmarkを元に同⼀のパフォーマンスを出す前提で試算す ると1 credit(Snowflake) = 75slot (BigQuery) 程度。※導⼊検討するときは必ずご⾃⾝で試算してください。 BigQuery Editions コストの違い SnowflakeとBigQueryの違い 出典: Micro-partitions & Data Clustering | Snowflake Documentation 出典: Introducing new BigQuery pricing editions | Google Cloud Blog

Slide 19

Slide 19 text

© LayerX Inc. 19 Snowflakeのほうが表現⼒が⾼い SQLの違い SnowflakeとBigQueryの違い 出典: Snowflake SQL translation guide | BigQuery | Google Cloud Snowflakeにしかない激アツ関数 ● MEDIAN ● SAMPLE ● ASOF Join ● Dynamic PIVOT ● MATCH_RECOGNIZE

Slide 20

Slide 20 text

© LayerX Inc. 20 AIの違い BigQueryにしかない機能 Snowflakeは様々なモデルを使える ● 提携する企業が強い ● ただし、⽇本での利⽤には制限がある BigQueryはVertex AI / Gemini ● 基本は、Googleの開発したモデルを使⽤ することになる 出典: Snowflake Securely Integrates Microsoft Azure OpenAI Service to Provide Access to the Latest OpenAI Models with Expanded Microsoft Partnership 出典: Data Cloud Generative AI in BigQuery

Slide 21

Slide 21 text

© LayerX Inc. 21 他にもSnowflake vs BigQuery の違い SnowflakeとBigQueryの違い ● Notebook: Jupyter Notebook機能 + Schedule実⾏機能 ○ Google Cloud だと Colab Enterprise でできる ● Task: バッチ実⾏ + Workflow Orchestration ○ Google Cloud だと Cloud Workflows でできる ● External Functions: 外部の関数を叩ける機能 ○ Google Cloud だと BigQuery Remote Functions (Cloud Run) でできる ● Snowpark: Snowflake上でSparkを動かせる ○ Google Cloud だとStored procedures for Apache Sparkでできる ● Snowpark Container Services: Snowflake上でコンテナを⽴ち上げられる機能 ○ Google Cloud だと Google Kubernetes Engine でできる などなど

Slide 22

Slide 22 text

Snowflakeにしかない機能

Slide 23

Slide 23 text

© LayerX Inc. 23 Streamlit in Snowflake Snowflakeにしかない機能 ● Snowflakeは2022年にStreamlitを買収し、組み込み機能としてStreamlitを提供している ● 認証付きのホスティング環境として⾮常に便利 ● 昨今はAIのサポートがあるので、Bizメンバーでもアプリケーションが作れる時代 出典: Democratizing Data Apps — Snowflake to Acquire Streamlit 出典: ⼈事が Streamlit in Snowflake で⽣成AIアプリケーションを社内向けに作った話|宮本 純弥|LayerX

Slide 24

Slide 24 text

© LayerX Inc. 24 ● SnowflakeはAWS上で構築が可能。そして、S3はAWS同⼀リージョン内の転送量が無料。 ● Snowflakeから直接アクセス‧操作ができるので、AWSでデータが発⽣する環境では、データのデ リバリーが⾼速化される。 S3へ直アクセス S3にしかない機能 LIST操作 S3からシュッとコピーできる 参考: INFER_SCHEMA | Snowflake Documentation

Slide 25

Slide 25 text

BigQueryにしかない機能

Slide 26

Slide 26 text

© LayerX Inc. 26 ● BigQueryはGoogleエコシステムとの連携が⾮常に強い(当たり前) ● 特にGoogle AdsやGoogle Analyticsといったツールとのデータ連携が⾮常に楽 ● Google Sheetsとの連携もネイティブにできる (弊社はSnowflakeへの移管時に全て⾃前で実装した) Googleエコシステムとの連携 BigQueryにしかない機能

Slide 27

Slide 27 text

© LayerX Inc. 27 ● BigQueryにはOIDC認証をサポートしていますが、Snowflakeは未だにサポートしていません。 ● 2025年にもなって重要システムの鍵管理とかやりたくないよぉ〜!!!! OpenID Connect (OIDC) BigQueryにしかない機能

Slide 28

Slide 28 text

まとめ

Slide 29

Slide 29 text

© LayerX Inc. 29 ● 様々な観点からBigQueryとSnowflakeの違いを説明しました ● どちらにも良いところ悪いところがあるので、⾃社の技術スタックや組織状況に合わせて、良い感 じに判断してください! ● 今回の資料が判断材料の⼀助になると嬉しいなって思ってます! どっちも良いところあるし悪いところもある。 まとめ

Slide 30

Slide 30 text

おわりに

Slide 31

Slide 31 text

© LayerX Inc. 31 もし今⽇の話を聞いて「⾯⽩そうなやつだ」と思ったら x.com/civitaspo のフォローをお願いします! もし今⽇の話を聞いて「もっと話したい!」と思ったら「civitaspo layerx カジュアル⾯談」で検索!検 索! データエンジニアもアナリティクスエンジニアもアナリストも全⽅位、採⽤強化中です! 興味のある⽅は「jobs.layerx.co.jp」から採⽤情報を⾒てみてください!! ご視聴ありがとうございました! おわりだよ〜 おわり

Slide 32

Slide 32 text

おわり