データエンジニアリングの潮流を俯瞰する

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 2021 Classi Corp. All Rights Reserved. 自己紹介  ● 名前：伊藤徹郎 (@tetsuroito)  ● 所属：Classi株式会社開発本部｜データAI部  ● 役職：本部長｜部長  ● 分野：Educational Technology , Learning Analytics  ● 著書  ○ データサイエンティスト養成読本ビジネス活用編  ○ AI・データ分析プロジェクトのすべて  ○ 実践的データ基盤への処方箋  1

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 出版は2021年12月  • ゆずたそさん、渡部さんという業界の有識者と共に執筆  • 構想から出版まで2年  • 処方箋というタイトルの通り、知識で終わらず実践ができるような内容に  • 大事なことははじめにに書いてある  • データスチュワードをフィーチャー  DMBOKをもう少し噛み砕いた書籍   11

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 最近データエンジニアが盛り上がっている  • 元々DWHやETLなどはオンプレ時代からあった  • クラウドサービスの普及と書籍の発売と主に、知識と環境が整い、多くの環境で取り組まれるようになった  • 職能に名前がなく、多くの現場で日の目をみることが多くなかった  • コミュニティやニーズの高まりによって、再度ブームの兆しが出て今に至る  潮流のまとめ  14

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ組織の歴史   • 2018年6月AI室が誕生  • 4名の組織(エンジニア2人,データサイエンティスト2人)   • 2018年7月データエンジニア入社  • データ基盤のプロトタイプの検討を開始   • Embulk,Cron,Scheduled Queryのデータパイプライン → BigQuery (第一世代)   • 2018年11月 PJ Cockpitにより全社でBIを導入  • 2019年4月データAI部が誕生  • https://www.wantedly.com/companies/classi/post_articles/141663  • 2019年5月 2人目のデータエンジニア入社  • Cloud Composer(Airflow)を利用したパイプラインへのアーキテクチャ変更   • 2020年1月 AWS Glueを利用したETL処理へ移行  • 2020年9月データエンジニアが2名追加  • チーム開発体制へ  • TerraformによるIaC化やCI/CD整備、スクラムライクな開発スタイルへ   16

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ活用戦略に伴った実行プラン(DAMAデータマネジメント機能フレームワーク)   20 データデータマネジメントライフサイクル管理データガバナンスアクティビティ戦略データ評価原則と倫理ポリシースチュワード文化の変革リスク管理：セキュリティ、プライバシー、コンプライアンスメタデータ管理データ品質管理計画と設計利用と強化実装と維持アーキテクチャデータとモデリングとデザインオペレーション DWH データ統合と相互運用性マスタデータ管理データストレージ参照データ管理 BI データサイエンスマスタデータの利用データ収益化予測分析ドキュメントコンテンツ管理

Slide 22

Slide 22 text

Copyright © 2021 Classi Corp. All Rights Reserved. 21 データデータマネジメントライフサイクル管理データガバナンスアクティビティ戦略データ評価原則と倫理ポリシースチュワード文化の変革リスク管理：セキュリティ、プライバシー、コンプライアンスメタデータ管理データ品質管理計画と設計利用と強化実装と維持アーキテクチャデータとモデリングとデザインオペレーション DWH データ統合と相互運用性マスタデータ管理データストレージ参照データ管理 BI データサイエンスマスタデータの利用データ収益化予測分析ドキュメントコンテンツ管理データマネジメントでよく議論される機能要件データマネジメントで見落とされがちな非機能要件 Classiのデータ活用戦略に伴った実行プラン(DAMAデータマネジメント機能フレームワーク)  

Slide 23

Slide 23 text

Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ活用戦略に伴った実行プラン(DAMAデータマネジメント機能フレームワーク)   22 データデータマネジメントライフサイクル管理データガバナンスアクティビティ戦略データ評価原則と倫理ポリシースチュワード文化の変革リスク管理：セキュリティ、プライバシー、コンプライアンスメタデータ管理データ品質管理計画と設計利用と強化実装と維持アーキテクチャデータとモデリングとデザインオペレーション DWH データ統合と相互運用性マスタデータ管理データストレージ参照データ管理 BI データサイエンスマスタデータの利用データ収益化予測分析ドキュメントコンテンツ管理 ① ① ② ③ ④

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 制約はあるがサイクルを回せるデータでBIを全社導入  • PJ_Cockpit  • https://www.wantedly.com/companies/classi/post_articles/141663  • データ活用のゴール設定と目的を設定   • Tableauの公式トレーニングを社内で実施   • Classi Viz Challengeを開催  • Visionに沿ったPJ化を意識して社内イベント化で周知  ①：実装と維持  24

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 利用を拡大すると同時に権限管理やセキュリティも強化  • Adminチームの初期形成  • 組織レベルでの管理・運用  • 属人的なロールを廃止。グループ単位での管理へ   • セキュリティチームと共にデータのポリシーを策定  • 階層でグラデーションをつけ、データの重要度を定義   • 各リソースにおいて保持可能なデータが明示的になる   • DWHはデータレイク側のETLのみだけでなく、データマート側のPull Requestを受けるように  • Pull Requestを送るのはデータサイエンティストや一部非データ系メンバーのパワーユーザー  • レビュワーはデータエンジニアチーム   ②：利用と強化  29

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 提供サービスのDBデータ  • 各種サービス利用データ  • テキストデータ  • 数値データ  • アクセスログ  • Google AnalyticsやFirebase Analytics  • アプリケーションログ  • 3rd Partyデータ  • SalesForceやHubspotなど  • Auditデータ  • クラウドサービスの監査ログ、Tableau/Redashのログなど    扱っているデータの種類   39

Slide 41

Slide 41 text

Slide 42

Slide 42 text