dbtとLookerにたどり着いたデータ基盤 ~しくじり先生俺みたいになるなを添えて~

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© Unipos Inc. All Rights Reserved. Uniposについて speaker 3 ● Uniposとピアボーナスを実現する Web サービス ● 感謝や称賛、激励メッセージに加えてポイントを添えます、ポイント金銭などに交換できます ● 共感した投稿に対してワンクリックで称賛をすることができます、拍手ポイントとして投稿を送った人・もらった人に送られます ● 感情報酬を社会基盤に

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© Unipos Inc. All Rights Reserved. 現在設計 Unipos データ基盤現在地 7 ● Github Actions と Cloud Build 使って dbt をキックする   ○ E L 管理 dbtで行う   ● DWH に Big uery を用いる   ○ nipos が GC ネイティブなで昔から Big uery を使う文化だった   ● データアクセスに Looker を用いる   ○ 分析チームに分析依頼やデータ抽出依頼が殺到するを解消するため   ○ データガバナンスを効かせるため   ○ こ部分 Google Cloud Japan Born Digital ummit で話したもがあるでよかったらご覧ください 

Slide 8

Slide 8 text

© Unipos Inc. All Rights Reserved. 釈迦に説法コーナー Unipos データ基盤現在地 8 ● dbt と   ○ L コンパイルと L 実行を行ってくれるツール   ○ メリット  ■ コード再利用性を上げてくれる   ■ テストが書きやすい、実行しやすい   ■ docs をコードとともに管理できる   ○ デメリット  ■ どように実行するか考える必要がある   ■ aa 版を使うとデメリットほぼ全てが解消されるがお金がかかる  

Slide 9

Slide 9 text

© Unipos Inc. All Rights Reserved. 釈迦に説法コーナー Unipos データ基盤現在地 9 ● Lookerと   ○ 雑に言うと BI ツール   ○ ユーザーが見たいもに応じて、DWH にクエリを投げて返ってきた結果を描画できる   ○ メリット  ■ どようにクエリをコンパイルするかを定義できるで、定義ズレが起きにくい   ■ データガバナンスを効かせやすい   ■ アナリストが本当に必要なメンテナンスに集中できる   ○ デメリット  ■ どようにコンパイルするかを定義しないと何もできない   ■ それなりにお高い 

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© Unipos Inc. All Rights Reserved. データ基盤変遷 Unipos データ基盤、1年歩み 12 ● データ基盤という概念が導入される   ○ それまでプロダクトバックアップを見ていた   ○ スケジュールクエリで頑張ってバックアップを取る   ○ 層という概念がなくてカオスになる   ● Looker 導入  ○ 層という概念が生まれる   ○ Looker をデータマート層として使い始める   ● dbt 導入  ○ snapshot 層、staging 層、mart 層を整備できるようになる   ○ テストを実行できるようになる    

Slide 13

Slide 13 text

© Unipos Inc. All Rights Reserved. データ利用者から視点 Unipos データ基盤、1年歩み 13 ● データポータルでダッシュボードを提供されている   ● 足りないデータ Big uery ジョブ権限を一時的に付与されて、Big uery にクエリを投げる   ○ 自分が欲しいデータクエリがかけない場合分析チームに依頼が来る   ● Looker ダッシュボードに移行、データ Looker 経由して見るしかないようにする   ○ Big uery 権限付与停止(絞り込み)  

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© Unipos Inc. All Rights Reserved. スケジュールクエリ、最初いいがあとあと管理しきれない  しくじり先生俺みたいになるなよ 17 ● (最初に)良かった点   ○ 日次でデータを取り込むに手を出しやすい   ○ 取り込み時間分割テーブルを使えパーティションも簡単にできる   ● 依存関係ある処理を書くときに制御できない   ○ あクエリが終わったらこクエリを実行するってを制御できない(5分開けて実行するとか地獄みたいなことしたくない)   ○ 結果 D Y じゃない L が増えていく   ● テストしづらい  ○ リリースたびに人がクエリ書いて「ヨシッ！」って確認していた   ● ずーっと _partitiondate と付き合い続ける本当に大変  

Slide 17

Slide 17 text

© Unipos Inc. All Rights Reserved. データポータル、管理飽和問題    しくじり先生俺みたいになるなよ 18 ● (最初に)良かった点   ○ 無料でさくさくっとダッシュボードが作れる   ○ フィルターもあるし、ちょっとしたクエリもかけるし最初便利   ● クエリで色々表現していた場合、定義変わったら全部ダッシュボード修正をかけなきゃいけない   ● データ基盤修正影響でダッシュボードが見れない！ってなったら全部ダッシュボード修正をかけなきゃいけない   ● 夜な夜なダッシュボード修正をする日々でした  

Slide 18

Slide 18 text

© Unipos Inc. All Rights Reserved. 非正規化して持ってほしいってオーダーする  しくじり先生俺みたいになるなよ 20 ● 良いところない  ● 層概念を持っていなかったがゆえ大失敗   ● 依頼も多いし、ダッシュボードも管理しなきゃだし、よく使うデータ塊で予めデータを作ってもらうようにオーダーしてしまっていました   ● 何を join して何を join しないかが不明瞭で後々 dbt 移行も大変になりました   ● あ頃自分を殴り倒したい  

Slide 19

Slide 19 text

© Unipos Inc. All Rights Reserved. スナップショット対象データを取捨選択していた  しくじり先生俺みたいになるなよ 21 ● 変わりうるデータ(メンバー情報など) スナップショットとしてしっかり取っておいたほうが良いと思う   ○ あとから遡れないも残す姿勢とても大事、今分析に必要なくても将来もそうと限らない   ● テーブル中でこれ残す、これ残さないというやり方をやると、あとあとマイグレーションで困ることもある  ○ といえ個人情報取扱に細心注意を  

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© Unipos Inc. All Rights Reserved. 今1年前に戻れるならこうするしくじり先生俺みたいになるなよ 25 ● データエンジニアがいないであれ、一時的にでも顧問として入ってくれる人を探す   ○ 層考え方とか、dbt こととか知らなかったから苦労したってことが多い   ○ 逆に知っていたらだいぶ有利なことって多いなと感じる   ○ マイグレーションが心と時間を持っていきがち   ● とりあえず dbt で管理して、とりあえず dbt snapshot で履歴をとりまくる   ○ 変わりうるデータもこれで管理する   ○ とりあえずで dbt を導入する個人的にありだと思う   ● 取り込み時間パーティションテーブル使わない   ○ けっこうこいつが管理しづらい、これでパーティション指定を必須にすると地獄を見る  

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© Unipos Inc. All Rights Reserved. 地雷をいっい踏み抜いたけど最後に 27 ● 今で、が新機能評価分析を自分でするようになったり、C データ抽出依頼をほぼ無くすことができたり、データが価値を持って使われ始めた   ● ちゃんと分析チームに投資されていると感じるし、現状を見れうまくやってきた方かなと   ● 最近 Data Engineering 界隈盛り上がってるでどんどん飛び込んで学ぶに適している   ● 色んなイベント参加したり、色んな人と話したりして「知る」ってが大きい   ● また1年後も「あー、こうしていれよかった」って出てくるだろうけど、それそれで伸びしろですぇ(ポジティブ) 

Slide 26

Slide 26 text

Slide 27

Slide 27 text