Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Redashダッシュボード・クエリ作成の時短方法
Search
Kentaro Ueda
May 28, 2021
Programming
0
800
Redashダッシュボード・クエリ作成の時短方法
https://redash-meetup.connpass.com/event/211861/
での発表資料です
Kentaro Ueda
May 28, 2021
Tweet
Share
More Decks by Kentaro Ueda
See All by Kentaro Ueda
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
kentaroueda36
2
1.7k
信頼性の高いRedashクエリを作る方法を考える
kentaroueda36
0
31
Other Decks in Programming
See All in Programming
CQRS+ES の力を使って効果を感じる / Feel the effects of using the power of CQRS+ES
seike460
PRO
0
120
モバイルアプリにおける自動テストの導入戦略
ostk0069
0
110
コンテナをたくさん詰め込んだシステムとランタイムの変化
makihiro
1
120
rails stats で紐解く ANDPAD のイマを支える技術たち
andpad
1
290
testcontainers のススメ
sgash708
1
120
今年のアップデートで振り返るCDKセキュリティのシフトレフト/2024-cdk-security-shift-left
tomoki10
0
200
Refactor your code - refactor yourself
xosofox
1
260
Monixと常駐プログラムの勘どころ / Scalaわいわい勉強会 #4
stoneream
0
270
ゆるやかにgolangci-lintのルールを強くする / Kyoto.go #56
utgwkk
1
370
17年周年のWebアプリケーションにTanStack Queryを導入する / Implementing TanStack Query in a 17th Anniversary Web Application
saitolume
0
250
return文におけるstd::moveについて
onihusube
1
980
CSC305 Lecture 25
javiergs
PRO
0
130
Featured
See All Featured
Designing Experiences People Love
moore
138
23k
A Tale of Four Properties
chriscoyier
157
23k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Docker and Python
trallard
42
3.1k
It's Worth the Effort
3n
183
28k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
Making the Leap to Tech Lead
cromwellryan
133
9k
The Cult of Friendly URLs
andyhume
78
6.1k
Building Your Own Lightsaber
phodgson
103
6.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.1k
Transcript
© DMM.com Redashダッシュボード・クエリ作成の時短方法 合同会社 DMM.com プラットフォーム事業本部 総合トップ開発部 送客グループ 2021/5/21 @Redash meetup v7.0.0
上田 健太郎
© DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •
総合トップページの開発・KPI 改善に従事 • 上田 健太郎 Twitterハッシュタグ: #redashmeetup
© DMM.com 総合トップとは 2 • 50以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※
版権の都合上、一部画像を伏せております Twitterハッシュタグ: #redashmeetup
© DMM.com Redashの活用状況・課題 • 総合トップのKPI計測・A/Bテスト・分析に活用 3 • ダッシュボードの枚数が増え、作成/運用コストの増大が課題に • KPIツリーやA/Bテストの事例はこちら:
DMM meetup#22 (DMM総合トップのグロースハック) • 要因別に対策方法 (時短方法) をご紹介 Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因① • 個々のクエリの汎用性の低さ (=深堀りできない) 4 • クエリのforkが頻発し、管理が困難になった •
例: サイトAのCTRは集計できるが、サイトBのCTRは集計できない Twitterハッシュタグ: #redashmeetup
© DMM.com 5 • クエリパラメータ • フィルター • rollup関数 対策:
Redash・SQLの機能を活用し、クエリの汎用性を高める ・クエリに変数を埋め込むための機能 ・文字列/日付/数値/プルダウンメニュー など、様々な形式に対応 Twitterハッシュタグ: #redashmeetup
© DMM.com 6 • クエリパラメータ • フィルター • rollup関数 対策:
Redash・SQLの機能を活用し、クエリの汎用性を高める ・クエリに変数を埋め込むための機能 ・文字列/日付/数値/プルダウンメニュー など、様々な形式に対応 ・URLの指定、like文との併用も可能 ・case式と併用することで、 条件式をパラメータ化することも可能 Twitterハッシュタグ: #redashmeetup
© DMM.com 7 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める • クエリパラメータ • フィルター •
rollup関数 Twitterハッシュタグ: #redashmeetup ・集計結果をフィルターする機能 (=クエリの再実行が不要) ・テーブル出力だけでなく、グラフでも利用できる
© DMM.com 8 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める ・集計結果をフィルターする機能 (=クエリの再実行が不要) 出力値に番号を振っておくと、 ソートされて見やすくなる •
クエリパラメータ • フィルター • rollup関数 ・テーブル出力だけでなく、グラフでも利用できる Twitterハッシュタグ: #redashmeetup
© DMM.com ・AWS Athena (Presto) や Google BigQuery などに実装させている関数 ・group
by に rollup(“カラム名”) を指定すると、当該カラム粒度の全体分を集計できる 対策: Redash・SQLの機能を活用し、クエリの汎用性を高める • クエリパラメータ • フィルター • rollup関数 9 Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因② • 過去の資産を再利用できいていなかった 10 • テーブルのパーティションをwhere句に指定 • 過去の資産
= 多くのクエリに頻出するテンプレ的なSQL処理 • 集計日の前日をwhere句に指定 • データマート化できていない便利な集計 Twitterハッシュタグ: #redashmeetup
© DMM.com • クエリスニペット • Query Results 対策: Redashの機能を活用し、過去の資産を再利用する ・特定のキーワードに対してスニペットを登録できる
・集計の前日指定「__cur: substr(cast(date_add('day', -1, current_date) as varchar), 1, 10)」のように登録 スニペット名に「__」など付けておと 迷惑になりにくい 11 Twitterハッシュタグ: #redashmeetup
© DMM.com 12 ・既存クエリの集計結果に対してクエリできる強力な機能 ・権限の制約がなければ、ぜひ利用したい機能 引用元: https://redash.io/help/user-guide/querying/query-results-data-source 対策: Redashの機能を活用し、過去の資産を再利用する •
クエリスニペット • Query Results Twitterハッシュタグ: #redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因③ • ダッシュボードの構成を、クエリを書きながら同時に考えていた 13 • 結果、途中で没になるクエリが発生したり、 運用開始後に指標の粒度を変えたくなりforkする事態が発生 Twitterハッシュタグ:
#redashmeetup
© DMM.com 対策: まず、ダッシュボードの構成図を書く • ダッシュボードの全体像を意識しつつ、本当に必要なクエリのみを作成できる 14 • クエリ・検算に迷いが無くなり、構成図無しよりも早く作成できる Twitterハッシュタグ:
#redashmeetup
© DMM.com ダッシュボード作成/運用コストの増大要因④ • 集計の一部をRedashで行い、残りを別ツール (スプレッドシート) に分けていた 15 • 例:
KPIツリーの集計・可視化 • 可視化としては上出来だったものの、 更新・計算の再現が困難に Twitterハッシュタグ: #redashmeetup
© DMM.com 16 <中略> ダッシュボード化のコツ (KPI ツリーの場合) ・ツリーの構成図は別に作っておく ・ダッシュボードの構成図を元に作成する ・ウィジェットは大粒度→小粒度の順に並べる
対策: 集計をRedashで完結させる • KPIのようなツリー状のものも、ウィジェットの粒度・配置を工夫すれば、 可視化に問題が生じなかった • 更新・計算の再現コストを大幅に削減 Twitterハッシュタグ: #redashmeetup ・フィルターを活用する
© DMM.com まとめ 17 • Redashダッシュボード・クエリ作成の時短方法をご紹介 • クエリの汎用性を高める (Redash・SQLの機能を活用) •
ダッシュボードの構成図を書く • エンジニアは知っていても、非エンジニアは知らないことがある → 是非拡散してください • 過去のクエリ資産を再利用する (Redashの機能を活用) • 集計はできるだけRedashで完結させる Twitterハッシュタグ: #redashmeetup