Redash→Lightdash移行の話

Transcript

1. Copyright © 2023 Classi Corp. All Rights Reserved. Redash → Lightdash 移行の話 
 Classi株式会社 プラットフォーム部 データプラットフォームチーム (開発グループ14) グエンヒューマイン 1
2. Copyright © 2022 Classi Corp. All Rights Reserved. グエンヒューマイン Classi株式会社 (2021年11月 新卒入 社) データエンジニア/ソフトウェアエンジニア 普段の仕事 • データ基盤運用 • 生成AI活用の支援 2 自己紹介 プライベート • 千葉県在住 • Running/Hikingが好き
3. Copyright © 2022 Classi Corp. All Rights Reserved. • 話すこと ◦ Redashの課題感 ◦ Lightdashの良い機能 ◦ 工夫したこと（技術は詳しく話さない ◦ OSSにContributeしたこと（技術は詳しく話さない） ◦ 現在の導入状況と社内の反応 ◦ まとめ • 話さないこと ◦ 社内データ詳細 ◦ Redash/Lightdashの全機能比較 話さないことに書いてあることもこのあとの懇親会では答えますので、もし興味があれば聞いてください！ 話すこと・話さないこと 3
4. Copyright © 2022 Classi Corp. All Rights Reserved. 導入背景〜 Redashの課題感 クエリの属人化、共有しづらい • 個人で作ったクエリの管理、メンテ仕組みが難しい • 同じようなSQLが大量にコピペされて散らばる • 何のために書いたのか分からない • バージョン管理はない。。。
5. Copyright © 2022 Classi Corp. All Rights Reserved. 導入背景〜 Redashの課題感 可視化は複雑 • クエリ作成は前提→クエリ親しくない人のハードルが高い ドキュメント・メタ情報は見れない • BigQueryにあるメタデータは利用できない
6. Copyright © 2022 Classi Corp. All Rights Reserved. Lightdashの良い機能〜ダッシュボード作成が直感的
7. Copyright © 2022 Classi Corp. All Rights Reserved. Lightdashの良い機能〜ダッシュボード作成が直感的 • SQL書かなくても、ダッシュボードや可視化を構築できる • モデルのカラム情報がわかる • リスト、タイプ、Description • Metricを使って可視化もできる • 用意したMetric • 直接Metricを定義する • SUM, MAX, COUNT。。。
8. Copyright © 2022 Classi Corp. All Rights Reserved. Lightdash良い機能〜 dbtの友人 • Dbt連携 • 定義したモデルを使って、可視化の構築を改善する • 全てのテーブル情報はdbtのデータ • Meta tagでMetricの定義が可能 • Semantic Layerの実現 • Github連携でdbt、モデルの管理 • Githubの管理能力を使って、dbtとモデル、Metricの開発を共通化する • dbt-write-backで書いたクエリ、Metricを一発でPR作成できる • クエリとMetricのレビューも可能になる • さらに、CICDを使えば、dbtの反映前に変更のプレビューもできる
9. Copyright © 2022 Classi Corp. All Rights Reserved. Lightdashの良い機能〜その他 • Integrationのサポート • Google sheet連携 • Slack連携 • 定期的にレポート：ダッシュボードのスクショ送信 • AI Agent • Space管理 • Chart/Dashboardの管理しやすい • 個人Space/チームSpace
10. Copyright © 2022 Classi Corp. All Rights Reserved. 移行プロセスで意識したこと〜ユーザーの声を最初に収集 • 「こういう機能が欲しい」がLightdashにマッチするか？ • デモ環境を用意、ユーザーの体験を聞く • 意見を集めて、移行決定を出す
11. Copyright © 2022 Classi Corp. All Rights Reserved. 移行プロセスで意識したこと〜インフラ設計と試行錯誤 • 新規Cloud Run + IAP + Domain Mappingを使ってみた • ネットワークを工夫せずに、直接 CloudRunでホスティングできた • しかし、以下の理由でGoogle Compute Engineに変更した • CloudRun IAP + Domain mappingはまだBetaのため、レイテンシー高い • Lightdashの構築で、複数インスタンスが必要→CloudRunは向いていない • OSSチームとのやり取り • わからないことはGitHub IssueやSlackで積極的に質問 • 開発者の反応が早く、やり取りしやすかった
12. Copyright © 2022 Classi Corp. All Rights Reserved. OSSにContributeした話 背景 • 定期レポート機能のため、browserlessのインスタンスとwebsocket接続が必要 • デフォルトのエンドポイントはwsですが、CloudRunはwssしか使えない • wssのエンドポイント設定を修正した Contribute流れ • Issue化→ Community連絡でAssignを要求→ Pull Request →レビューとマージ
13. Copyright © 2022 Classi Corp. All Rights Reserved. OSSにContributeした話 学びと気づき • OSSの開発フローと環境はよかった • Pre-commitの運用でちゃんとlint, test, secret scanningができている • PRが多いため、AssignされないIssueがないとPRがレビューされない • 実際には自社では使わなかったが、OSS Contributorになった • GCEを使っているため、wsだけでも十分
14. Copyright © 2022 Classi Corp. All Rights Reserved. 現在の導入状況と社内の反応 lightdashの利用状況
15. Copyright © 2022 Classi Corp. All Rights Reserved. 現在の導入状況と社内の反応 社内ユーザーの評価 • SQL書かなくても可視化できるのは良い • 定期レポートは便利 • SQL書く体験はRedashの方が好きそうですが、全体間は良さそう
16. Copyright © 2022 Classi Corp. All Rights Reserved. まとめ 移行を通じて学んだこと • BIツール移行」は技術だけじゃない • 移行の成功はユーザー体験が全て。 • ツール自体が良くても、サポート・ドキュメント・トレーニングがないと使われない。 • コミュニケーションがすべての鍵 • 移行前後でユーザーの声をきちんと拾うことが大切。 • 「今のツールで何が不満か」「新しいツールで何を期待しているか」 • ツール導入は一方通行ではなく対話が必要。 • 利用者との継続的なフィードバックループを意識 • OSSを使うには「問い合わせ力」も大事なスキル • OSSは「わからなければ調べる・聞く」が基本 • しっかりIssueやSlack, Discordで聞きに行くことで、 • 課題の理解が深まる、使っているサービスの信頼もできる • 他のユーザーやメンテナーと関係ができる