Tweet
Tweet

Slide 1

Slide 1 text

2024/11/07 土川稔生 急成長する組織を支えるデータ基盤の これまで、これから @tvtg_24 データ民主化の現在地〜「誰もがアクセスできる」のその次へ〜

Slide 2

Slide 2 text

データの民主化ってなんだろう 🧐

Slide 3

Slide 3 text

データの民主化とは ...? 社内の誰もが簡単にデータを利用できるような環境を構築すること NTT DATAさんのブログ参照

Slide 4

Slide 4 text

データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること ChatGPT参照

Slide 5

Slide 5 text

データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること ChatGPT参照

Slide 6

Slide 6 text

データの民主化とは ...? 5年ほどデータ民主化を試行錯誤した...! 民主化にはまだまだ遠い...!

Slide 7

Slide 7 text

自己紹介 土川 稔生 （Tsuchikawa Toshiki） 株式会社タイミーに2020年入社 DRE（Data Reliability Engineering）グループ 1人目データエンジニアとしてデータ基盤を構築し始める 現在はプロダクトオーナーとして、データ基盤プロダクト作りに 励む

Slide 8

Slide 8 text

8

Slide 9

Slide 9 text

9

Slide 10

Slide 10 text

10 10

Slide 11

Slide 11 text

タイミーの従業員数の増加に沿ってデータの民主化を振り返ってみる

Slide 12

Slide 12 text

初期 (2019-2020年頃) データ基盤・活用の状況 社内の人数 100人くらい データ基盤の状況 ある程度のデータソース をBigQueryに収集済み データ活用状況 SQL書ける人が 各部署にちらほら BigQuery データ アウトプット

Slide 13

Slide 13 text

初期 (2019-2020年頃) 社内誰でもSQLが書けて、 データアウトプット作れることが民主化(?)

Slide 14

Slide 14 text

初期 (2019-2020年頃) RedashとLooker Studio (当時のData portal)によるBIツールの整備 と SQL勉強会の実施

Slide 15

Slide 15 text

初期 よかったこと データを使う人が増え、全社的にデータを活用する文化自体が広がった。 一方で... クエリや、ダッシュボードが増えた影響で、それぞれの指標にズレがあることも... その結果、間違ったデータによる意思決定などが起こる可能性も...

Slide 16

Slide 16 text

初期 (2019-2020年頃) 社内誰でもSQLが書けて、 データアウトプット作れることが民主化(?)

Slide 17

Slide 17 text

データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること データにブレがある状態で、データアウトプットが作れていても、 理解し活用できているとはいえなさそう

Slide 18

Slide 18 text

中期 (2021-2022年頃) データ基盤・活用の状況 社内の人数 200-500人くらい データ基盤の状況 Redash, Looker Studio による自由な可視化 データ活用状況 データ文化の広がり アウトプット品質のブレ BigQuery 売上 売上?

Slide 19

Slide 19 text

中期 (2021-2022年頃) 社内誰でもSQLが書けることよりもデータによる意思決定が 正しく、素早く行えることの方が重要そう(?)

Slide 20

Slide 20 text

データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること 正確に、素早く SQLを使わなくても

Slide 21

Slide 21 text

中期 (2021-2022年頃) Lookerの導入による指標の統一、Lookerアンバサダー制度によるグループごとのLooker活用人材の教育 社内向けLooker講習会のご紹介

Slide 22

Slide 22 text

中期 (2021-2022年頃) よかったこと 社員が1000人を超えてきても、データチームへのクエリ修正依頼などがボトルネックにな ることなく、データ活用をスケールすることができた。 SQLを書かなくてもデータアウトプットが取得できるため、SQLの時代よりもデータ人材が 広がった 一方で... データ活用のユースケースが急増したため、データチーム側でも認知できないことが増え た。 その結果、期待以上の品質を前提としたユースケースや、障害が起こった際にそのユース ケースを通して、ビジネル的にクリティカルな問題に発展する事例も... そもそも横断的な基盤チームだけではドメイン理解が追いつかない...

Slide 23

Slide 23 text

データの民主化 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること データ基盤側がユースケースに対しての期待に応え続けることができない状態で、 うまくデータ活用ができている状態とはいえない。 正確に、素早く SQLを使わなくても

Slide 24

Slide 24 text

現在 (2024年-) データ基盤・活用の状況 社内の人数 1000人以上 データ基盤の状況 Lookerによって正しい データ指標を担保 データ活用状況 ユーザビリティと品質が 高いLookerによるデー タ活用の広がり BigQuery ユースケース把握の難易 度向上と、障害時の影響 範囲の増大

Slide 25

Slide 25 text

データ基盤全体図

Slide 26

Slide 26 text

現在 (2024年-) データの民主化を考えるのがデータ管理チームだけじゃだめそう。 データ生成者、利用者と一緒にデータ民主化を目指さないと!

Slide 27

Slide 27 text

現在 (2024年-) 通常データ生成者や、利用者はデータ民主化含めてデータ運用面に興味はないはず - 生成者は、データの中身、データの品質に対して一番詳しい - 利用者は、データのユースケースや、データを利用したROIに対して一番詳しい これらのステークホルダーにデータオーナーなどの移譲や、データカタログの整備をしていくことで急激に 増えていくデータ利用者、ユースケースに対して応えていかないといけない

Slide 28

Slide 28 text

今の所データの民主化とは ...? 企業や組織において、特定のデータ専門家やアナリストだけで なく、社内の誰もがデータにアクセスし、理解し、活用できる 環境を構築すること 正確に、素早く データチームだけでは なく、ステークホルダー と一緒に SQLを使わなくても

Slide 29

Slide 29 text

終わり データ民主化の旅は続く...

Slide 30

Slide 30 text

積極的に採用中です！ まだまだ道半ばなのでお力を貸してください！XでのDMもお待ちしてます！ https://product-recruit.timee.co.jp/data