Query Profile ではじめる Snowflake クエリ最適化

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2015 - 2024 Nowcast Inc. 4 1. イントロダクション ● 名前：大野巧作 ○ 大体けびんと呼ばれています ○ X(旧Twitter) は Kevinrobot34 ● 役職：Data Engineer / Data Platform Engineer @ Nowcast ○ POSデータのパイプライン作成・運用 ○ Snowflake x dbt x terraform な社内データ基盤構築・運用 ■ 右下のテックブログに詳細あります！ ● 好きなSnowflakeの機能： Query Profile ● Data Cloud Summit 2024 参加します！自己紹介

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2015 - 2024 Nowcast Inc. 7 2. Query Profile とは ● Snowsight から利用可能な機能で、クエリに関する詳細な情報を確認可能 ● RedshiftなどのDWHではExplainを使って実行計画を見る、みたいなことをやったことがある方もいると思いますが、 Snowflakeだとサクッと確認できるのがGood Query Profile とは何か？ RedshiftのExplainに関するDocsより Snowsightで見た Query Profile の例

Slide 8

Slide 8 text

© 2015 - 2024 Nowcast Inc. 8 2. Query Profile とは ● Worksheet の Query Details から開く方法と Query History から開く方法があります Query Profile の開き方 Worksheet でクエリを実行した際の Query ID をクリックすると開ける Query History で対象クエリを探す Profile タブから確認

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2015 - 2024 Nowcast Inc. 10 2. Query Proﬁle とは ● 真ん中のグラフ ● 複雑なクエリの場合には複数ステップが分割されて表示される場合もある ● ノード / 頂点 ○ どのような処理がされたか ○ TableScan / Filter / Join / Sort など ○ ノードでかかった時間が青いバーですぐ分かる ● エッジ / 辺 ○ ノードで処理したデータが何行となって次の処理に渡されるかが表されている ○ 右の図の例では Join 前の各テーブルから何行のデータが読み込まれているか、また Join 後に何行になっているかが分かる ● これらの情報を踏まえ「SQLのこの処理が遅い」「Joinの仕方が想定と違いそう」などとデバッグやクエリ最適化が捗る Query Proﬁle の要素　演算子ツリー各ノードの処理の種類かかった時間次の処理に渡されるデータの行数

Slide 11

Slide 11 text

© 2015 - 2024 Nowcast Inc. 11 2. Query Proﬁle とは ● 右側にまとまっているやつ ● 具体的にどのような処理に時間がかかったか、スキャンしたパーティション数・データ量などの統計、といった情報がまとまっている ● 統計で見ると良い情報 ○ Partitions scanned / Partitions total ■ いわゆる Pruning の情報 ■ スキャンしたパーティションの割合を見ると良い ■ スキャンするパーティションが減れば当然クエリは早くなる Query Proﬁle の要素　概要・統計処理の概要統計

Slide 12

Slide 12 text

© 2015 - 2024 Nowcast Inc. 12 2. Query Proﬁle とは ● 右側にまとまっているやつ ● 具体的にどのような処理に時間がかかったか、スキャンしたパーティション数・データ量などの統計、といった情報がまとまっている ● 統計で見ると良い情報 ○ Bytes spilled to local / remote storage ■ メモリが足りなくてローカル or リモートストレージに溢れたデータ量のこと ■ Warehouseを大きくした方が良いかもしれないし、 CTEでクエリを何段階かに分割したりすると良いかもしれない Query Proﬁle の要素　概要・統計処理の概要統計

Slide 13

Slide 13 text

© 2015 - 2024 Nowcast Inc. 13 2. Query Proﬁle とは ● 右側にまとまっているやつ ● 具体的にどのような処理に時間がかかったか、スキャンしたパーティション数・データ量などの統計、といった情報がまとまっている ● ノードをクリックすると、そのノードのみの概要や統計になる Query Proﬁle の要素　概要・統計ノードをクリックするとそのノードのみの情報になる

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2015 - 2024 Nowcast Inc. 15 3. Query Proﬁle 使った事例 ● 外部テーブルにもパーティションの設定をできる ● dbt_external_tables を使った例 ● このパーティションを適切に使い、dbt incremental model などと組み合わせると高速に差分更新できたりする ○ 外部テーブルはAWS S3などにアクセスしにいく都合パーティションがより大事になる ○ そもそも外部テーブルはあまりたくさん参照しない方が良いという話ももちろんあります外部テーブルのパーティション外部ステージから読み取ったデータ量外部テーブルのパーティションの情報

Slide 16

Slide 16 text

© 2015 - 2024 Nowcast Inc. 16 3. Query Profile 使った事例 ● dbt incremental model で差分更新をする際の話 ● dbt-snowflake で delete+insert モードで差分更新をしようとすると3ステップで実行される ○ ① insert用データのテーブル作成 ○ ② ①と既存テーブルを突き合わせデータを削除 ○ ③ ①のテーブルをインサート ● ②の削除データを決定するためのデータの突き合わせのところで、右図のように join がデカルト積となってしまい処理すべきデータの量がが爆発的に増えてしまった ● 26.47K と 24.06K のデータをJoinして204Mに ● 適切に config を書くと解消できる dbt incremental model で起きた Join の爆発 dbt-adapters [CT-3493] [Bug] unique_key list incremental model has performance issues on the delete phase #150

Slide 17

Slide 17 text

© 2015 - 2024 Nowcast Inc. 17 3. Query Proﬁle 使った事例 ● このような Join の条件の間違いによりデータの結合がデカルト積となってしまい、結果としてデータ量が爆発してしまうというミスは実はドキュメントでも紹介されている ● dbt だとクエリがコンパイルされていてあまり意識しないが、 Snowﬂakeで実際に実行されるクエリ自体と向き合うことが大事 dbt incremental model で起きた Join の爆発 Document - クエリプロファイルを使用したクエリの分析より