Data Engineering Study #9 Classiのデータ組織の歩み

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 2021 Classi Corp. All Rights Reserved. 自己紹介  ● 名前：伊藤徹郎 (@tetsuroito)  ● 所属：Classi株式会社データAI部  ● 役職：部長  ● 分野：Educational Technology , Learning Analytics  ● 著書  ○ データサイエンティスト養成読本ビジネス活用編  ○ AI・データ分析プロジェクトのすべて  1

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright © 2021 Classi Corp. All Rights Reserved. 6 Classiのミッション・ビジョン・バリュー   https://speakerdeck.com/classijp/we-are-hiring より子供の無限の可能性を解き放ち、学びの形を進化させる先生とともに、学びから学ぶ仕組みを創り、ワクワクする子どもを増やします ● Unlearn & Learn ● Love Difference ● Make Happen ⁃ 既存の知識を外す勇気。「学び方」を学び続けよう。失敗してもいい。新しい学びに挑戦しよう。 ⁃ 違いを愛そう。チームを超えて協働しよう。多様性こそClassiの強み。多様な方がわくわくする。 ⁃ 共に作り、共に実現する。大切なのは、信じて、やり抜くこと。 Value Mission Vision

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Copyright © 2021 Classi Corp. All Rights Reserved. 11 組織規模  部門内訳開発本部職種内訳開発本部 41% サイバーセキュリティ 6% コーポレート 13% マーケティング本部 21% 合計 81名サーバーエンジニア 48% データエンジニア 2% アプリエンジニア 11% フロントエンジニア 11% プロダクトデザイン本部 15% その他 8% QA 9% その他 6% SRE 5% データサイエンティスト 5% Pythonエンジニア 2% 合計 202 名プロダクトマネジメント部 2% データ系職種  https://speakerdeck.com/classijp/we-are-hiring より

Slide 13

Slide 13 text

Copyright © 2021 Classi Corp. All Rights Reserved. 12 データ組織の職能と役割   職種  役割  体制  データサイエンティスト   モデル開発・運用・分析   データ活用推進  ダッシュボード構築・運用   R&D    データエンジニア   データ基盤開発・運用   データ活用推進  クラウドセキュリティ   Admin    Pythonエンジニア  MLプロダクト開発・運用   データ活用推進  クラウドセキュリティ    

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © 2021 Classi Corp. All Rights Reserved. • 提供サービスのDBデータ  • 各種サービス利用データ  • テキストデータ  • 数値データ  • アクセスログ  • Google AnalyticsやFirebase Analytics  • アプリケーションログ  • 3rd Partyデータ  • SalesForceやHubspotなど  • Auditデータ  • クラウドサービスの監査ログ、Tableau/Redashのログなど    扱っているデータの種類   14

Slide 16

Slide 16 text

Copyright © 2021 Classi Corp. All Rights Reserved. Classiのデータ組織の歴史   • 2018年6月AI室が誕生  • 4名の組織(エンジニア2人,データサイエンティスト2人)   • 2018年7月データエンジニア入社  • データ基盤のプロトタイプの検討を開始   • Embulk + Digdagのデータパイプライン → BigQuery (第一世代)   • 2018年11月 PJ Cockpitにより全社でBIを導入  • 2019年4月データAI部が誕生  • https://www.wantedly.com/companies/classi/post_articles/141663  • 2019年5月 2人目のデータエンジニア入社  • Cloud Composer(Airflow)を利用したパイプラインへのアーキテクチャ変更   • 2020年1月 AWS Glueを利用したETL処理へ移行  • 2020年9月データエンジニアが2名追加  • チーム開発体制へ  • TerraformによるIaC化やCI/CD整備、スクラムライクな開発スタイルへ   15

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright © 2021 Classi Corp. All Rights Reserved. • クラウドセキュリティへの取り組み  • Security Command Centerを利用した脆弱性検知や対応   データ組織が今やっていること   26 出典：https://cloud.google.com/blog/ja/topics/customers/classi-strengthen-security

Slide 28

Slide 28 text

Copyright © 2021 Classi Corp. All Rights Reserved. • より安定したデータ基盤の運用と品質向上  • dev/stg環境とテストの実施  • ストリームデータパイプラインの構築  • セキュアなデータパイプラインの構築  • より活用されるデータマートのためのDWH開発  • データ品質の向上  • データ基盤のリアーキテクチャ  • ML SysとのML Pipeline接続  • 非構造化データを扱うパイプラインの検討  etc...  データ基盤チームがこれからやっていきたいこと   27

Slide 29

Slide 29 text

Copyright © 2021 Classi Corp. All Rights Reserved. データエンジニアの採用の取り組み   • 基本的な採用プロセスを用いてチームで実施  • 採用媒体への募集要項の検討と掲載   • エージェント  • スカウト/リファラル  • 書類審査  • カジュアル面談  • 面接  • オファー  • オンボーディング  • 悩み  • 採用むずい  • 市場になかなかデータエンジニアがいない   28 https://hrmos.co/pages/classi/jobs/0000026 より

Slide 30

Slide 30 text

Copyright © 2021 Classi Corp. All Rights Reserved. データエンジニアの採用の取り組み   29 やりたいこと、やるべきことはいっぱいありますが、  完全にデータエンジニアの手が足りていません 😭  今日のこの発表を聞いて、教育業界のデータエンジニアリングに  ご興味を持った方は、今すぐご応募ください！！    　　　　＿人人人人人人人人人人人人人人人人人人人＿  　　　　＞ https://hrmos.co/pages/classi/jobs/0000026 ＜  ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣   

Slide 31

Slide 31 text