building-evolutionary-data-warehouse

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © 2019 eureka, Inc. All rights reserved. 「基盤」という言葉はわかりにくい？ ● ポジションや職種によってイメージするものが結構違う ○ アナリスト「Tableauでしょ？ ○ エンジニア「Pub/SubでDataflowでBigQueryでしょ？」 ● 「利用者からの期待」と「実際に作っているもの」の乖離 ○ 想定しているモノが違う ->コミュニケーションミスによる要件の肥大化

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © 2019 eureka, Inc. All rights reserved. 人間スケールアウト？基盤？ ● 人を増やして、スケールアウトというのもひとつの手だと思う ○ 特にまだ分析やデータを見る文化が根付いていないときは基盤とか考えるよりも先にやることがある ○ PoC段階でもそう ● Pairsでは、この問題を「データ基盤」を作ることで解決を図った ○ “Keep Small”という「むやみに作業人員は増やさない」考え方

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright © 2019 eureka, Inc. All rights reserved. ● 育てる ○ 「アジャイル形式でプロダクトオーナー (PO)らと連携し、DWHを洗練させる」 ● 育てるための技術 ○ 「PoC段階の素早い検証を可能にする BigQueryのView機能, Jupyter」 ○ 「腐敗防止層で、パイプラインの拡張や変更に強くする」 ○ 「パイプラインの各フェーズでの要件 /レベルを定め、テストする」 ■ ログ転送、バルクローダー、分散メッセージング、 ETL、データストア、etc… データ基盤を「育てる」ための技術

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © 2019 eureka, Inc. All rights reserved. PoC段階の素早い検証を可能にするBigQueryView ● BigQueryのView機能 ○ プロダクトの機能追加や POからの要望で必要なデータは様々 ○ データモデルの修正や項目追加はすぐにはDWHに反映させない ○ まずBigQueryでViewを作成し、実用に耐えるものか価値があるものかを確認 ○ 共通化できるものや継続的にみるものは、 DWHに置くため、パイプラインに載せる

Slide 30

Slide 30 text

Copyright © 2019 eureka, Inc. All rights reserved. 非公開です。ごめんなさい。 PoC段階の素早い検証を可能にするJupyter ● Jupyter (PoC段階の予測モデル作成など) ○ notebook内でデータ前処理〜モデルのインプット作成、モデリングまで完結 ○ notebookをそのまま関係者に共有し、価値を確認 ○ 価値があると分かれば、予測タスクをパイプラインに載せる

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Copyright © 2019 eureka, Inc. All rights reserved. https://medium.com/bluecore-engineering/were-all-using-airflow-wrong-a nd-how-to-fix-it-a56f14cb0753 (モチベーションは少し異なるが、似た話 ) ● データパイプライン関連のクラウドサービスやOSSはどんどん進化していく。必要なときに取り入れられるように。腐敗防止層で、パイプラインの拡張や変更に強く

Slide 33

Slide 33 text

Copyright © 2019 eureka, Inc. All rights reserved. ● Pairsの場合(まだできていない。が、対象は以下あたり） ● バルクローダー : Embulk with Digdag ● ログ転送 : fluentd ● 分散メッセージング : Cloud Pub/Sub ● ETL : Cloud Dataflow ● ワークフロー管理 : Cloud Composer ● データストア : BigQuery, Cloud Storage 各フェーズでの要件/レベルを定め、テストする

Slide 34

Slide 34 text

Copyright © 2019 eureka, Inc. All rights reserved. ● 正直どれもまだ満足にできていない。やっと手をつけ始めた状況。 ○ 一番大事な要素だとは思っている ○ これまでは、とりあえずより良さそうなものを導入してきた ● このDPCTの場で、「〜性」の話やSLA設定、テストとか皆さんどうしているかをお話したいです。それ、Pairsのデータ基盤ではできてるの？