データ民主化を推進するモンストでのLooker導入【MIXI TECH CONFERENCE 2023】

MIXI TECH CONFERENCE 2023
にてお話した吉野の発表資料です。

動画：https://youtu.be/L87pW0Xq-4Q
セッション詳細：https://techcon.mixi.co.jp/2023/d1-6

Transcript

1. ©MIXI データ民主化を推進する モンストでのLooker導入 モンスト事業本部 ゲーム運営部 解析グループ マネージャー 吉野 曜介
2. ©MIXI 自己紹介 吉野 曜介 2017年に株式会社ミクシィ(現 株式会社MIXI) に入社 主にモンスターストライクのデータ分析基盤の 開発・運用からデータ分析に従事 2020年2月から解析グループのマネージャー を務める Lookerの管理者として他事業でのLooker導 入の支援も行っている
3. ©MIXI モンスターストライクについて 誰でも簡単に楽しめる爽快アクション RPG。 一緒にいる友だちと最大4人まで同時 に遊べる協力プレイ（マルチプレイ）が 特徴です。
4. ©MIXI 解析グループについて
5. ©MIXI 解析グループの主な役割 ②課題整理 ⑦BI化 ①分析依頼の受注 ③追加の仮説立て ④仮説検証 ⑤レポーティング ⑥報告 ②インフラ整備 ⑦保守・運用 ①分析要件の確認,調査 ③データ取得 ④DWH取込 ⑤データマート構築 ⑥データ品質管理 データ分析・可視化 データ基盤開発・運用
6. ©MIXI 解析グループのミッション • 意思決定のための分析効果を最大化して事業へ反映 • 誰もが自由にデータを有効活用できる分析基盤の構築
7. ©MIXI 解析グループのミッション • 意思決定のための分析効果を最大化して事業へ反映 • 誰もが自由にデータを有効活用できる分析基盤の構築 　　 →データ民主化
8. ©MIXI データ民主化とは？ • データを必要とする人が必要なデータにアクセスできる • データを有効に活用出来る環境 データ民主化はデータドリブンな組織を作るための重要な要素 データ民主化への取り組みの一つとして、Lookerを導入しました
9. ©MIXI データ基盤の変遷
10. ©MIXI データ基盤(2019年頃) DWHはRedshift, BIは複数利用 こちらの画像は Apache 2.0ライセンス(http://www.apache.org/licenses/LICENSE-2.0) で配布されている製作物が含まれています。
11. ©MIXI データ基盤(現在) DWHはBigQuery, BIはLookerへ こちらの画像は Apache 2.0ライセンス(http://www.apache.org/licenses/LICENSE-2.0) で配布されている製作物が含まれています。
12. ©MIXI ▪ 〜2019年 データ基盤はAWS、分析にはRedshiftを利用 BIはZeppelin, Redash, Metabase, 内製ダッシュボードなど複数のツー ルを併用 ▪ 2020年頃 BigQueryへの移行、同時期にLookerの導入 ▪ 2021年〜 BigQueryへの移行完了、Redshift停止、BIはLookerに統一 データ基盤の変遷
13. ©MIXI Looker導入の背景
14. ©MIXI Lookerとは • Google Cloudが提供する データプラットフォーム • 簡単に言うとBIツール • 簡易なボタン操作で可視 化、グラフ作成が可能
15. ©MIXI Lookerとは • LookMLというモデリング言 語で実装(ノーコードBIツー ルではない) • LookML定義によりユー ザーに代わってSQL生成 • DWHに接続して利用する • Gitでのバージョン管理
16. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ Looker導入の背景　課題
17. ©MIXI どれも一長一短あり、統一出来なかった (Zeppelin, Redash, Metabase, 内製ダッシュボード) →ユーザーは何を見れば良いか混乱 各ツールのメンテナンス、開発 →エンジニアの開発コスト増 ツール毎にユーザー管理が別々 →管理コスト増 ①データ分析や可視化のツールが統一されていない こちらの画像は Apache 2.0ライセンス(http://www.apache.org/licenses/LICENSE-2.0) で配布されている製作物が含まれています。
18. ©MIXI • ツールや分析者が異なれば、集計クエリは乱立していく ◦ 結果、KPI定義がずれることも・・ • 集計クエリを再利用するための仕組みも整っていなかった ◦ 車輪の再発明 ◦ SQLはそもそも再利用が難しい言語 • 集計クエリの信憑性の担保 ◦ テーブル定義変更などによるメンテナンスコストの増大 ◦ SQLレビュー(SQLは人によってクセがあるので難しい) ②集計クエリの管理や信憑性の担保が困難
19. ©MIXI • アナリスト、エンジニアでないと難しい ◦ テーブル理解やメタデータ不足 ◦ 慣れていないとBigQueryへの大量スキャンが走ってしまう可能性も・・ • SQLを書ける人がそもそもいない ◦ SQLは難しい ◦ テーブルの性質まで理解してSQLを書ける人は少ない 　→エンジニアやアナリストに依頼が集中する ③データ活用の敷居の高さ
20. ©MIXI 結果 データ活用が進まない データ民主化への道のりは遠い
21. ©MIXI Looker導入による課題解決
22. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
23. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
24. ©MIXI BIツールをLookerに統一 Looker After Before BIツールはLookerに統一 管理コスト減 こちらの画像は Apache 2.0ライセンス(http://www.apache.org/licenses/LICENSE-2.0) で配布されている製作物が含まれています。
25. ©MIXI Google SheetsやSlackへの送信はノーコードで設定可能 →エンジニアの開発コスト削減 Looker Action Hub
26. ©MIXI Okta認証で初ログイン時にLooker側でユーザ作成 　↓ Okta Groupに基づいてLooker側で権限が付与される Okta Groupでユーザーの一元管理 Looker Okta認証でログイン Okta Groupをミラーリング User
27. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
28. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
29. ©MIXI • 基本はSQLを書かないでLookMLでコーディング • SQLの各フィールドをMeasure(集計関数)とDimension(グループ化 可能なフィールド)として定義、Viewに内包 LookMLによる集計定義管理 SELECT DATE(created_at , 'Asia/Tokyo') AS date, COUNT(DISTINCT user_id) AS count_login_uu FROM mixi_tec.looker_demo WHERE DATE(created_at , 'Asia/Tokyo') BETWEEN '2023-02-01' AND '2023-02-28' GROUP BY date ORDER BY date
30. ©MIXI • SQLでありがちな「人によって書き方が違う」という点をLookMLで書き 方が統一される • コードを読む側の負担軽減、レビューのしやすさ 個人によるSQL文の個性を吸収 DATE(created_at, 'Asia/Tokyo'), DATE(TIMESTAMP_SUB(created_at, INTERVAL 9 HOUR)), CAST(TIMESTAMP_ADD(created_at, INTERVAL -9 HOUR) AS DATE) ↓DATEへのCASTだけでも書き方が様々
31. ©MIXI 定義の再利用とメンテナンス性向上 LookML 集計定義 Dashboard A Dashboard B Dashboard C Developer 定義変更はLookML の修正のみ • 集計定義は再利用して複数のダッシュボードに利用 • テーブル定義や集計定義の変更はLookML修正のみ 集計定義は再利用
32. ©MIXI GitHubでのバージョン管理、Pull Request統合 Production Branch Pull Request Pull Developer Reviewer Review, Approve Webhook Deploy Looker GitHubでバージョン管理、Pull Requestでレビューフローの確立
33. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
34. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 課題
35. ©MIXI ディメンション SQL不要な探索的な分析を可能に 課金 ログイン クエストプレイ ガチャプレイ キャラ育成 行動セグメント ユーザーグレード インストール日 ユーザ属性 ファクト • ファクト 事実、イベント • ディメンション 分析の観点、切り口 • テーブル理解、SQLスキルがなくても誰でも分析が可能に ◦ 利用者は裏側のSQL理解が不要
36. ©MIXI この日のDAUは〇〇%増えているな・・ ダッシュボードのフィルターでユーザー層を分類してみよう！ 見た感じ〇〇層のユーザーが復帰した影響が大きそうだ • ファクトに対してディメンションでグループ化、フィルターすることでクロ ス分析を可能にする • モンストでは、ほぼ全てのファクトでこの分析が出来る ◦ ダッシュボードのフィルターとして利用出来るため、普段見ているKPIの深掘り が誰でも簡単に 誰でもKPIの深掘りが可能に プランナー
37. ©MIXI • 簡易的な分析は誰でも出来るようになったので、アナリストやエンジニ アが1から集計する必要がなくなった • その分エンジニアはデータ基盤の整備 アナリストはより価値のある分析業務に時間を使えるようになる アナリスト、エンジニアの工数削減
38. ©MIXI • 課題① データ分析や可視化のツールが統一されていない • 課題② 集計クエリの管理や信憑性の担保が困難 • 課題③ データ活用の敷居の高さ 　→Looker導入により、様々な課題が解決 課題
39. ©MIXI Looker導入してみて 良かったこと、課題に感じること
40. ©MIXI データが届いていることの実感 • ダッシュボードを開いている人をちらほら見かける • 開発案件のJIRAチケットにLookerのリンクが貼られる • 分析定例はLookerを中心に議論が進む • Slackへの送信機能で、利用者がプライベートなチャンネルへの送信 を独自に行う データ活用の敷居は下がった と感じる 良かったこと①
41. ©MIXI 特に意図していたわけではないが 　データがLookerに集まるようになった 良かったこと② うちの部署で持ってい るデータもLookerに 入れたら便利そう ゲームデータと連携し て分析したい Lookerだったらこ の作業自動化出 来るかも SNS担当者 企画担当者 マーケティング 担当者
42. ©MIXI BIの統一やフローの整備は (Lookerに限らず) データ活用を促進する
43. ©MIXI データ民主化を推進できた？ 少なくともデータへの意識は変えられたのでは
44. ©MIXI • LookMLの学習コスト、メンバー育成 ◦ Developerスキルのバラつき ◦ 新規導入する際の実装コストの高さ • Viewが増えすぎてゴチャゴチャしてきた ◦ ちゃんとLookML設計をしないとカオス ◦ 定期的にリファクタリング必要 • Lookerを見る人への配慮は必要 ◦ 見方の説明、トレーニング実施、情報の整理 課題に感じること
45. ©MIXI Lookerは万能なツールではない 育成、時間、リソース の確保が重要
46. ©MIXI • Lookerを導入したことで様々な課題を解決出来た • BIの統一やフローの整備はデータ活用を促進する • Lookerの導入はそれなりに体力がいる まとめ
47. ©MIXI 今後の話
48. ©MIXI 今回はモンストのお話でしたが、MIXIでは様々な事業で Lookerの導入が進んできました • 導入事業はゲーム以外にも、スポーツ事業、ライフスタイル事業など 様々 • 最近ではバックオフィスでの導入も検討されている ◦ 実際に一部事業部のHR(人事)での分析業務にも利用されています MIXIでのLooker利用状況
49. ©MIXI MIXI全体のLookerユーザー数 ※2023年2月時点
50. ©MIXI • 予算を開発本部で一括管理しているので、各事業部ごとに予算を持つ 必要がない • LookerはエンジニアライクなBIツールなので、エンジニア文化がある MIXIにフィットした • 横の繋がりが強い(ゆるい)組織を築いてきたMIXIだからこそ、Looker の広がりも早い ◦ あそこが使っているからうちも使うとか ◦ 別事業の人が導入を手伝ったりとか MIXIでLookerが広まったことの考察(感想)
51. ©MIXI 課題は山積み(育成やリソース)ですが・・ 今後もLooker利用は加速しそう！
52. ©MIXI ご清聴ありがとうございました