10Xにおけるdbtの事例紹介

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©10X, Inc. All Rights Reserved. 発表者  2 はじめに ● 谷口和輝 (@Kazk1018)  ● 所属  ○ 株式会社10X グロース本部所属  ○ データサイエンティスト  ● 経歴  ○ IT企業: Data Scientist / Research Scientist  ○ スタートアップ: iOS Engineer / Marketing  ○ 個人事業主: Data Scientist / ML Engineer / Consulting  ● dbt歴  ○ 約1年 

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©10X, Inc. All Rights Reserved. Stailerが提供するプロダクトの機能価値および提供サービス  9 商品画像撮影ツール商品マスタ自動生成モバイルアプリ作業ツール (Pick Pack) 配達管理 (TMS) 在庫管理 (WMS) PL分析戦略策定オペレーションデザイン顧客分析顧客獲得施策 CRM施策サポート対応配達効率分析 KPI策定オンボード支援在庫生成ロジック作成効率分析欠品削減分析事業策定在庫準備 EC開店店舗運用配達 CS グロースチャットツール CRM基盤機能価値提供サービスプロダクトStailerおよび、事業エキスパートチームが、広範な領域をパートナーとして伴走します   会社概要

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

©10X, Inc. All Rights Reserved. データプロダクト  14 データを活用した価値提供 2. 特徴的な使用データの一例   3. アウトプット例  1. 内容  ● 商品名・在庫数・売価  ● 商品のカテゴリ  ● 特売情報　など    ● プロダクトのマスタデータ    パートナーからデータを受領し、Stailerにおけるその後のデータ利活用の基となる「正しい情報が集約されたマスタデータ」や「売り場」を生成する 

Slide 15

Slide 15 text

©10X, Inc. All Rights Reserved. データ基盤  15 データを活用した価値提供 15 2. 特徴的な使用データの一例   3. アウトプット例  ● 注文・ユーザーデータ  ● エンドユーザーやスタッフの行動ログ   ● 販促や広告データ　など  1. 内容  ● ダッシュボードで利用するデータマート   プロダクトから生まれるログを扱いやすいDWH・データマートの形へ加工し、社内外へ利活用を促すと共に、その信頼性・品質を担保する  

Slide 16

Slide 16 text

©10X, Inc. All Rights Reserved. インサイト分析・ダッシュボード  16 データを活用した価値提供 16 2. 特徴的な使用データの一例   3. アウトプット例  1. 内容  ● ユーザーの行動データ  ● オペレーションに関するデータ   ● 地理情報などの外部データ　など       ● 定常的なダッシュボード  ● アドホックな分析レポート    事業価値を最大化するために、インパクトと優先順位を判断の上で意思決定を支えるインサイトの提供とKPIを追跡するためのダッシュボードを作成する 

Slide 17

Slide 17 text

©10X, Inc. All Rights Reserved. 機械学習  17 データを活用した価値提供 2. 特徴的な使用データの一例   3. アウトプット例  1. 内容  ● 商品の探索・回帰・発見ログ   ● 商品情報 + アノテーション   ● オペレーションに関するデータ　など       ● 機械学習による予測モデル   ● 意思決定支援のためのモデリング     ユーザーが一度に多くの情報を処理する必要がある場合に、それらを売場や個人に最適な形で提供し、ユーザーやスタッフの意思決定や作業を支援する 

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

©10X, Inc. All Rights Reserved. 各レイヤーの詳細  23 レイヤー詳細 SOURCE パートナーから受領したデータが格納されている層 GATEWAY SOURCEにあるデータをクレンジングする層 DOMAIN MODEL ビジネスドメインを一定の粒度で集約する DOMAIN SERVICE ドメインモデル同士を利用して複雑な処理をするための処理層 APPLICATION 最終的なユースケースに沿った結合処理等を行うマスタデータ開発のアーキテクチャマスタデータ開発

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©10X, Inc. All Rights Reserved. ● dbtの利点の一つであるjinjaによるテンプレート化はData Vaultのようなモデリングと相性が良い     ● dbtでData Vaultを実装するライブラリとしてdbtvaultがある     ● (2023/03/14現在) 対応しているモデル   ○ Stage  ○ Hub  ○ Link (Link, Transactional)  ○ Satellite (Satellite, Effectivity, Multi-Active, Extended Tracking)  ○ PIT  ○ Bridge  dbtvalut  26 Data Vault データ基盤開発

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©10X, Inc. All Rights Reserved. Data Reliability Level (DRL)  データの品質を4段階に分けて、品質を担保するための開発プロセスを明確化   29 データ品質レベル詳細 Explorational 外部から取り入れたばかりのデータ、新しく生成されたデータ Ad-hoc 分析者などのクエリの結果、Sandbox用途のデータマート Business Insight DWHを利用して作成されたデータ、必要最低限の自動テストを実施 Trusted DWHを利用して作成されたデータ、自動テスト、QAを実施データ基盤開発

Slide 30

Slide 30 text

Slide 31

Slide 31 text

©10X, Inc. All Rights Reserved. 参考: データ品質の定義 (by DAMA)  31 データ品質の項目詳細 Accuracy 実際の値とデータの値の近さ Availability データ消費者やプロセスによって参照や取得できる Clarity データ消費者がメタデータを理解できる容易さ Completeness 必要なすべてのレコード、および値が存在しているか Consistency あるデータが他のデータに対して一貫性があるかどうか Currency データの値が最新のものであるか Punctuality データが利用可能になる時間と実際の提供時間の期間が適切か Timeliness 実際にデータが生成された時間と利用可能になる時間の期間が適切か Traceability データリネージが利用可能か Uniqueness 同じデータがテーブルやデータソースの中で一度しか出現しない Validity データがビジネスルールなどに従っているかデータ品質 Dimensions of Data Quality (DDQ) Research Paper データ基盤開発

Slide 32

Slide 32 text

©10X, Inc. All Rights Reserved. dbtの機能を用いた品質の担保  32 データ品質 ● テストで自動化して品質を担保する手法の設計が必要になる   ○ 例) dbtによるデータ品質の各項目の担保 (11項目中5項目)    ● custom generic testを用いたテストも検討中   データ品質の項目 dbtによるアプローチ Clarity dbt docs Completeness (values) Not-null test Currency Freshness test Traceability Data Lineage Uniqueness Unique test データ基盤開発