Tweet
Tweet

Slide 1

Slide 1 text

© Unipos Inc. All Rights Reserved. 再現性のある成果を出す データエンジニアになりたい Unipos株式会社 ゲンシュン 0

Slide 2

Slide 2 text

© Unipos Inc. All Rights Reserved. 本 ⽇ の お 品 書 き 1 l⾃⼰紹介 l現在のアーキテクチャに⾄った背景 lポエム n⽬的を何度も振り返ったり再設計しなきゃ n組織の⼒学使わないと難しそう lまとめ ※キャプチャとか録画とかwelcomeです〜 本⽇のお品書き

Slide 3

Slide 3 text

© Unipos Inc. All Rights Reserved. 将来の夢は化学者だったゲンシュンです ⾃ ⼰ 紹 介 2 ⻘酸カリ!

Slide 4

Slide 4 text

© Unipos Inc. All Rights Reserved. 現在はunipos株式会社コーポレート部CDP企画室のゲンシュンです。 ⾃ ⼰ 紹 介 3 2016年 2018年 2019年 2021年 2020年 フロントエンド エンジニア 新卒エンジニア 採⽤責任者 QAエンジニア PM データエンジニア イマココ!! 2023年

Slide 5

Slide 5 text

© Unipos Inc. All Rights Reserved. 現状のアーキテクチャに⾄るまで 4

Slide 6

Slide 6 text

© Unipos Inc. All Rights Reserved. 超初期フェーズ。何も無いのでデータをBQに集約させる。スケジュールクエリでBQから BQへ分析したいテーブルを作る。DataStudioで⾒る。 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 5 すべてのデータを ここへ集約 分析したい情報.sqlを量産 プロダクト オーナー エンジニア アナリスト データ基盤

Slide 7

Slide 7 text

© Unipos Inc. All Rights Reserved. 分析対応とデータ⺠主化に伴い、BIツールと権限周りをLookerに任せる。 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 6 すべてのデータを ここへ集約 アナリスト データ基盤 カスタマー サクセス プロダクト オーナー エンジニア

Slide 8

Slide 8 text

© Unipos Inc. All Rights Reserved. dbtを導⼊。DWHはすべてdbtで実装。 プロダクトサイド都合はdbt、bizサイド(分析)都合はLookerという責務で分離 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 7 fctテーブル dimテーブル 集計テーブル すべてのデータを BQへ集約 データレイク データウェアハウス データマート

Slide 9

Slide 9 text

© Unipos Inc. All Rights Reserved. ビジネスサイドのデータサイロ化とデータ利活⽤への課題が急務になったため データ基盤チーム解散。CDP基盤の⽴ち上げ開始 現 状 の ア ー キ テ ク チ ャ に ⾄ る ま で 8 すべてのデータを BQへ集約 データレイク データウェアハウス データマート CDP基盤 サイロ化された データ群

Slide 10

Slide 10 text

© Unipos Inc. All Rights Reserved. データ基盤の成果とは 9

Slide 11

Slide 11 text

© Unipos Inc. All Rights Reserved. どんな課題を解消できたら成果が出たと判断出来るんだろう ポ エ ム 10 lデータを1つに統合できた時？ lデータ⺠主化の推進が⽣まれた時？

Slide 12

Slide 12 text

© Unipos Inc. All Rights Reserved. データ基盤ってかなり難しいPrjでは 11

Slide 13

Slide 13 text

© Unipos Inc. All Rights Reserved. 1部署1チームに仕事が閉じられない ポ エ ム 12 l仕事内容や領域が多岐にわたるのに、データエンジニアは少数 l価値がわかられづらい lテクいことして良いもの出来たのに、使われない l技術やデータだけでなく、組織そのものに向き合う必要がある

Slide 14

Slide 14 text

© Unipos Inc. All Rights Reserved. 誰が望む何を解決するもの？ 13

Slide 15

Slide 15 text

© Unipos Inc. All Rights Reserved. データ基盤の誕⽣理由を思い出す、振り返る、再設計する ポ エ ム 14 l誰かが、何かの課題を感じて、それの⼿段がデータ基盤であるはず n経営層や事業企画が、意思決定の判断材料に⽋けているので、統合したい nプロダクト部が、機能や施策の利⽤状況を網羅的に⾒るため、データ欲しい l現状が◯◯で未来△△になってると解消される ← この整理⼤事 nやるべきことの取捨選択と何のためにやってるんだっけ？を明確に

Slide 16

Slide 16 text

© Unipos Inc. All Rights Reserved. 組織の⼒学を借りなければ 15

Slide 17

Slide 17 text

© Unipos Inc. All Rights Reserved. データ基盤チームだけで完結できる仕事量じゃない..! ポ エ ム 16 lデータ構造→エンジニア nシステム改修やメタデータ管理に翻弄される l利⽤→マネージャー、現場メンバー n浸透施策やっても全然運⽤に乗らない l分析依頼→多⽅⾯ n分析依頼が多⽅⾯

Slide 18

Slide 18 text

© Unipos Inc. All Rights Reserved. 我々がつねにつらい状況はつくらないように組織の⼒学を使う 以下⾃分たちのケースです ポ エ ム 17 lプロダクト部がデータを元に機能開発意思決定したい課題 n開発プロセスに⼊り込む→開発フロー徹底 nデータ構造 lデータ⺠主化、POが⾃分で解析、CSがデータで判断 nlooker導⼊、データリテラシー、可視範囲 lビジネス側のサイロ化、事業企画が統合的に意思決定 n事業企画として依頼、当事者意識を持たせる、オペレーション設計

Slide 19

Slide 19 text

© Unipos Inc. All Rights Reserved. まとめ ま と め 18 l「誰が感じる課題で、何を解決したいんだろう」を整理 lAs is to Be → ⽬的達成 → 組織の⼒学を活⽤したい タスクとして実装しておしまい！にならないように！

Slide 20

Slide 20 text

© Unipos Inc. All Rights Reserved. ま と め 19 @gen_shun 趣味ブログ gen_shun gen_shun

Slide 21

Slide 21 text

© Unipos Inc. All Rights Reserved. +39pt Thank you! 20