急成長する組織を支えるデータ基盤のこれまで、これから

データ民主化の現在地〜「誰もがアクセスできる」のその次へ〜 の登壇資料になります。

https://findy.connpass.com/event/332897/?utm_campaign=&utm_source=notifications&utm_medium=email&utm_content=title_link

Transcript

1. 2024/11/07 土川稔生 急成長する組織を支えるデータ基盤の これまで、これから @tvtg_24 データ民主化の現在地〜「誰もがアクセスできる」のその次へ〜
2. データの民主化ってなんだろう 🧐
3. データの民主化とは ...? 社内の誰もが簡単にデータを利用できるような環境を構築すること NTT DATAさんのブログ参照
4. データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること ChatGPT参照
5. データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること ChatGPT参照
6. データの民主化とは ...? 5年ほどデータ民主化を試行錯誤した...! 民主化にはまだまだ遠い...!
7. 自己紹介 土川 稔生 （Tsuchikawa Toshiki） 株式会社タイミーに2020年入社 DRE（Data Reliability Engineering）グループ 1人目データエンジニアとしてデータ基盤を構築し始める 現在はプロダクトオーナーとして、データ基盤プロダクト作りに 励む
10. 10 10
11. タイミーの従業員数の増加に沿ってデータの民主化を振り返ってみる
12. 初期 (2019-2020年頃) データ基盤・活用の状況 社内の人数 100人くらい データ基盤の状況 ある程度のデータソース をBigQueryに収集済み データ活用状況 SQL書ける人が 各部署にちらほら BigQuery データ アウトプット
13. 初期 (2019-2020年頃) 社内誰でもSQLが書けて、 データアウトプット作れることが民主化(?)
14. 初期 (2019-2020年頃) RedashとLooker Studio (当時のData portal)によるBIツールの整備 と SQL勉強会の実施
15. 初期 よかったこと データを使う人が増え、全社的にデータを活用する文化自体が広がった。 一方で... クエリや、ダッシュボードが増えた影響で、それぞれの指標にズレがあることも... その結果、間違ったデータによる意思決定などが起こる可能性も...
16. 初期 (2019-2020年頃) 社内誰でもSQLが書けて、 データアウトプット作れることが民主化(?)
17. データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること データにブレがある状態で、データアウトプットが作れていても、 理解し活用できているとはいえなさそう
18. 中期 (2021-2022年頃) データ基盤・活用の状況 社内の人数 200-500人くらい データ基盤の状況 Redash, Looker Studio による自由な可視化 データ活用状況 データ文化の広がり アウトプット品質のブレ BigQuery 売上 売上?
19. 中期 (2021-2022年頃) 社内誰でもSQLが書けることよりもデータによる意思決定が 正しく、素早く行えることの方が重要そう(?)
20. データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること 正確に、素早く SQLを使わなくても
21. 中期 (2021-2022年頃) Lookerの導入による指標の統一、Lookerアンバサダー制度によるグループごとのLooker活用人材の教育 社内向けLooker講習会のご紹介
22. 中期 (2021-2022年頃) よかったこと 社員が1000人を超えてきても、データチームへのクエリ修正依頼などがボトルネックにな ることなく、データ活用をスケールすることができた。 SQLを書かなくてもデータアウトプットが取得できるため、SQLの時代よりもデータ人材が 広がった 一方で... データ活用のユースケースが急増したため、データチーム側でも認知できないことが増え た。 その結果、期待以上の品質を前提としたユースケースや、障害が起こった際にそのユース ケースを通して、ビジネル的にクリティカルな問題に発展する事例も... そもそも横断的な基盤チームだけではドメイン理解が追いつかない...
23. データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること データ基盤側がユースケースに対しての期待に応え続けることができない状態で、 うまくデータ活用ができている状態とはいえない。 正確に、素早く SQLを使わなくても
24. 現在 (2024年-) データ基盤・活用の状況 社内の人数 1000人以上 データ基盤の状況 Lookerによって正しい データ指標を担保 データ活用状況 ユーザビリティと品質が 高いLookerによるデー タ活用の広がり BigQuery ユースケース把握の難易 度向上と、障害時の影響 範囲の増大
25. データ基盤全体図
26. 現在 (2024年-) データの民主化を考えるのがデータ管理チームだけじゃだめそう。 データ生成者、利用者と一緒にデータ民主化を目指さないと!
27. 現在 (2024年-) 通常データ生成者や、利用者はデータ民主化含めてデータ運用面に興味はないはず - 生成者は、データの中身、データの品質に対して一番詳しい - 利用者は、データのユースケースや、データを利用したROIに対して一番詳しい これらのステークホルダーにデータオーナーなどの移譲や、データカタログの整備をしていくことで急激に 増えていくデータ利用者、ユースケースに対して応えていかないといけない
28. 今の所データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること 正確に、素早く データチームだけでは なく、ステークホルダー と一緒に SQLを使わなくても
29. 終わり データ民主化の旅は続く...
30. 積極的に採用中です！ まだまだ道半ばなのでお力を貸してください！XでのDMもお待ちしてます！ https://product-recruit.timee.co.jp/data