Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Redashダッシュボード・クエリ作成の時短方法
Search
Kentaro Ueda
May 28, 2021
Programming
0
820
Redashダッシュボード・クエリ作成の時短方法
https://redash-meetup.connpass.com/event/211861/
での発表資料です
Kentaro Ueda
May 28, 2021
Tweet
Share
More Decks by Kentaro Ueda
See All by Kentaro Ueda
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
kentaroueda36
2
1.7k
信頼性の高いRedashクエリを作る方法を考える
kentaroueda36
0
33
Other Decks in Programming
See All in Programming
Amazon ECS とマイクロサービスから考えるシステム構成
hiyanger
2
560
JavaScriptツール群「UnJS」を5分で一気に駆け巡る!
k1tikurisu
9
1.8k
Honoのおもしろいミドルウェアをみてみよう
yusukebe
1
210
CDK開発におけるコーディング規約の運用
yamanashi_ren01
2
120
Amazon Bedrock Multi Agentsを試してきた
tm2
1
290
Amazon S3 TablesとAmazon S3 Metadataを触ってみた / 20250201-jawsug-tochigi-s3tables-s3metadata
kasacchiful
0
160
Conform を推す - Advocating for Conform
mizoguchicoji
3
690
Djangoアプリケーション 運用のリアル 〜問題発生から可視化、最適化への道〜 #pyconshizu
kashewnuts
1
250
PHPのバージョンアップ時にも役立ったAST
matsuo_atsushi
0
110
コミュニティ駆動 AWS CDK ライブラリ「Open Constructs Library」 / community-cdk-library
gotok365
2
120
Lottieアニメーションをカスタマイズしてみた
tahia910
0
130
メンテが命: PHPフレームワークのコンテナ化とアップグレード戦略
shunta27
0
120
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
328
21k
Producing Creativity
orderedlist
PRO
344
39k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Practical Orchestrator
shlominoach
186
10k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Transcript
© DMM.com Redashダッシュボード・クエリ作成の時短方法 合同会社 DMM.com プラットフォーム事業本部 総合トップ開発部 送客グループ 2021/5/21 @Redash meetup v7.0.0
上田 健太郎
© DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •
総合トップページの開発・KPI 改善に従事 • 上田 健太郎 Twitterハッシュタグ: #redashmeetup
© DMM.com 総合トップとは 2 • 50以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※
版権の都合上、一部画像を伏せております Twitterハッシュタグ: #redashmeetup
© DMM.com Redashの活用状況・課題 • 総合トップのKPI計測・A/Bテスト・分析に活用 3 • ダッシュボードの枚数が増え、作成/運用コストの増大が課題に • KPIツリーやA/Bテストの事例はこちら:
DMM meetup#22 (DMM総合トップのグロースハック) • 要因別に対策方法 (時短方法) をご紹介 Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因① • 個々のクエリの汎用性の低さ (=深堀りできない) 4 • クエリのforkが頻発し、管理が困難になった •
例: サイトAのCTRは集計できるが、サイトBのCTRは集計できない Twitterハッシュタグ: #redashmeetup
© DMM.com 5 • クエリパラメータ • フィルター • rollup関数 対策:
Redash・SQLの機能を活用し、クエリの汎用性を高める ・クエリに変数を埋め込むための機能 ・文字列/日付/数値/プルダウンメニュー など、様々な形式に対応 Twitterハッシュタグ: #redashmeetup
© DMM.com 6 • クエリパラメータ • フィルター • rollup関数 対策:
Redash・SQLの機能を活用し、クエリの汎用性を高める ・クエリに変数を埋め込むための機能 ・文字列/日付/数値/プルダウンメニュー など、様々な形式に対応 ・URLの指定、like文との併用も可能 ・case式と併用することで、 条件式をパラメータ化することも可能 Twitterハッシュタグ: #redashmeetup
© DMM.com 7 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める • クエリパラメータ • フィルター •
rollup関数 Twitterハッシュタグ: #redashmeetup ・集計結果をフィルターする機能 (=クエリの再実行が不要) ・テーブル出力だけでなく、グラフでも利用できる
© DMM.com 8 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める ・集計結果をフィルターする機能 (=クエリの再実行が不要) 出力値に番号を振っておくと、 ソートされて見やすくなる •
クエリパラメータ • フィルター • rollup関数 ・テーブル出力だけでなく、グラフでも利用できる Twitterハッシュタグ: #redashmeetup
© DMM.com ・AWS Athena (Presto) や Google BigQuery などに実装させている関数 ・group
by に rollup(“カラム名”) を指定すると、当該カラム粒度の全体分を集計できる 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める • クエリパラメータ • フィルター • rollup関数 9 Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因② • 過去の資産を再利用できいていなかった 10 • テーブルのパーティションをwhere句に指定 • 過去の資産
= 多くのクエリに頻出するテンプレ的なSQL処理 • 集計日の前日をwhere句に指定 • データマート化できていない便利な集計 Twitterハッシュタグ: #redashmeetup
© DMM.com • クエリスニペット • Query Results 対策: Redashの機能を活用し、過去の資産を再利用する ・特定のキーワードに対してスニペットを登録できる
・集計の前日指定「__cur: substr(cast(date_add('day', -1, current_date) as varchar), 1, 10)」のように登録 スニペット名に「__」など付けておと 迷惑になりにくい 11 Twitterハッシュタグ: #redashmeetup
© DMM.com 12 ・既存クエリの集計結果に対してクエリできる強力な機能 ・権限の制約がなければ、ぜひ利用したい機能 引用元: https://redash.io/help/user-guide/querying/query-results-data-source 対策: Redashの機能を活用し、過去の資産を再利用する •
クエリスニペット • Query Results Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因③ • ダッシュボードの構成を、クエリを書きながら同時に考えていた 13 • 結果、途中で没になるクエリが発生したり、 運用開始後に指標の粒度を変えたくなりforkする事態が発生 Twitterハッシュタグ:
#redashmeetup
© DMM.com 対策: まず、ダッシュボードの構成図を書く • ダッシュボードの全体像を意識しつつ、本当に必要なクエリのみを作成できる 14 • クエリ・検算に迷いが無くなり、構成図無しよりも早く作成できる Twitterハッシュタグ:
#redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因④ • 集計の一部をRedashで行い、残りを別ツール (スプレッドシート) に分けていた 15 • 例:
KPIツリーの集計・可視化 • 可視化としては上出来だったものの、 更新・計算の再現が困難に Twitterハッシュタグ: #redashmeetup
© DMM.com 16 <中略> ダッシュボード化のコツ (KPI ツリーの場合) ・ツリーの構成図は別に作っておく ・ダッシュボードの構成図を元に作成する ・ウィジェットは大粒度→小粒度の順に並べる
対策: 集計をRedashで完結させる • KPIのようなツリー状のものも、ウィジェットの粒度・配置を工夫すれば、 可視化に問題が生じなかった • 更新・計算の再現コストを大幅に削減 Twitterハッシュタグ: #redashmeetup ・フィルターを活用する
© DMM.com まとめ 17 • Redashダッシュボード・クエリ作成の時短方法をご紹介 • クエリの汎用性を高める (Redash・SQLの機能を活用) •
ダッシュボードの構成図を書く • エンジニアは知っていても、非エンジニアは知らないことがある → 是非拡散してください • 過去のクエリ資産を再利用する (Redashの機能を活用) • 集計はできるだけRedashで完結させる Twitterハッシュタグ: #redashmeetup