つかわれるプラットフォーム 〜デザイン編〜@DPM#2

Transcript

1. つかわれるデータプラットフォーム 〜デザイン編〜 ஛໺ फ़ี %BUB
   1MBUGPSN
   .FFUVQ
   

2. ͜ΕΛ͓࿩͢͠Δਓ ஛໺ फ़ีʢ!UBLFHVF
   %BUB
   1MBUGPSN
   .FFU
   VQ
   
   3FUUZ
   ιϑτ΢ΣΞΤϯδχΞ $PSF
   7BMVF σʔλΞʔΩςΫςΟϯά σʔλͷՁ஋Λ࠷େԽ͢Δ࢓૊Έઃܭͷ࣮ݱ

   ࣥච׆ಈ ʮ༏ઌ౓ֶशʹΑΔਪનจ͔Βͷݟग़͠நग़ʯ03ֶձ ʮ΍ͬͯΈΑ͏ʂ ػցֶशʢ4PUXBSF
   %FTJHOʣʯ ʮࢼֶͯ͠Ϳ ػցֶशೖ໳ʯ ʮσʔλج൫ͻͱΓ"EWFOU$BMFOEBSʯ /FX
   ଞʜ
3. None
4. None

5. 分析上で発生する悲しみ %BUB
   1MBUGPSN
   .FFU
   VQ
   
   

6. 分厚いjoin (わからない)

7. 依存関係を壊したくなくて乱立するオレオレview

8. 整合性が保てるか不安なダッシュボード群

9. %BUB
   1MBUGPSN
   .FFU
   VQ
   
   これらは設計（デザイン）の失敗が原因

10. 分析のためのデザイン %BUB
    1MBUGPSN
    .FFU
    VQ
    
    注意を払うべきデザインの３つの観点をさっくり紹介

11. 42- 1ZUIPO
    3
    
    分析のためのデザイン: 42-
    WT
    1ZUIPOʁ 利用者を想定した言語(インタフェース)選びも選定基準のひとつ • データアクセスのため目的特化 • 汎用的なプログラムが書きづらい

    • エンジンごとに命令セット変わる • コードの保守・運用しづらい • 汎用的なプログラム描きやすい • ライブラリも充実... • 機械学習等への接続も比較的容易 • コードの保守・運用はしやすい

12. データをディメンションテーブルとファクトテーブルに分けて整理 分析のためのデザイン: εϊʔϑϨʔΫεΩʔϚ %BUB
    1MBUGPSN
    .FFU
    VQ
    
    ディメンジョンテーブル: テーブルは非正規化状態で保持 ファクトテーブル: ディメンションに対して集計

13. ԣ࣋ͪ ॎ࣋ͪ 分析のためのデザイン: ԣ࣋ͪ WT
    ॎ࣋ͪ *% ଐੑ ଐੑ 1 John

    Hoge 2 Ben Fuga *% ଐੑ ஋ 1 属性1 John 1 属性2 Ben 2 属性1 Ben 2 属性2 Ben • 型制約をつけやすい • 補完がききやすい • 記述が冗長になりやすい • ピボットテーブル向き • 制約の保持が厳しい

14. BigQuery上での実践: Rettyでの事例 %BUB
    1MBUGPSN
    .FFU
    VQ
    
    

15. データフロー 依存の方向性 データ 置き場

16. データフロー 依存の方向性 データ 置き場 ディメンション ファクト 原則 横持ち 各 Projectは

    指標から選ぶ ビューで 依存関係の明示 単方向の依存 だいたいSQL

17. イベント層 %BUB
    1MBUGPSN
    .FFU
    VQ
    
    - イベントログ系のレコードテーブルを整形、構造化する。 - クロスプラットフォームである程度共通に使えるような構造化 （自前のログ基盤, Firebase, GoogleAnalytics

    ...） - 不要なカラムや前処理等も行う

18. エンティティ層 %BUB
    1MBUGPSN
    .FFU
    VQ
    
    ドメインにおける主要なエンティティについてまとめる - プライマリテーブル(core); - joinの手間を減らし、使いやすい形式に構造化 - ユニーク制約等を実現

    - as-was分析のために各entittyでhistoryを構築 - ディメンジョンテーブル(dim__xxx): 分析カスタム定義のディメンジョン

19. 指標層 %BUB
    1MBUGPSN
    .FFU
    VQ
    
    - ファクトテーブルの構築する - 特定の指標の最小粒度(grain)の構築 - 同じデータセット内では、必ず同じ指標を持つ 指標に着目したグルーピング

    - 指標のバージョニングの実現（自動生成）

20. %BUB
    1MBUGPSN
    .FFU
    VQ
    
    Q. 誰のためのデザイン？

21. %BUB
    1MBUGPSN
    .FFU
    VQ
    
    分析者 ステークホルダ 意思決定者 データ基盤 開発者 アプリケーション 開発者 Q.

    誰のためのデザイン？

22. %BUB
    1MBUGPSN
    .FFU
    VQ
    
    分析者 ステークホルダ 意思決定者 データ基盤 開発者 アプリケーション 開発者 転送基盤

    分析基盤 レポーティング 基盤 ログ基盤 ヒトとヒトのつなぎめに価値を作る: デザインの問題 Q. 誰のためのデザイン？

23. ☺ %BUB
    1MBUGPSN
    .FFU
    VQ
    
    つかいやすい基盤でみんなを幸せになろう！

24. %BUB
    1MBUGPSN
    .FFU
    VQ