$30 off During Our Annual Pro Sale. View Details »

Data Engineering Study #9 Classiのデータ組織の歩み

tetsuroito
August 03, 2021

Data Engineering Study #9 Classiのデータ組織の歩み

Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」での発表資料

tetsuroito

August 03, 2021
Tweet

More Decks by tetsuroito

Other Decks in Business

Transcript

  1. Copyright © 2021 Classi Corp. All Rights Reserved.
    Data Engineering Study #9

    企業規模別に見るデータエンジニア組織の作り方

    2021/08/03(火) 

    Classi株式会社

    データAI部 部長 伊藤徹郎

    Classiのデータ組織の歩み


    View Slide

  2. Copyright © 2021 Classi Corp. All Rights Reserved.
    自己紹介

    ● 名前:伊藤 徹郎 (@tetsuroito)

    ● 所属:Classi株式会社 データAI部

    ● 役職:部長

    ● 分野:Educational Technology , Learning Analytics

    ● 著書

    ○ データサイエンティスト養成読本ビジネス活用編

    ○ AI・データ分析プロジェクトのすべて

    1

    View Slide

  3. Copyright © 2021 Classi Corp. All Rights Reserved.
    自己紹介

    2
    昨年のData Engineering Study #3 

    「分析基盤をうまく組織に浸透させる方法」

    でもお話をさせていただきました

    https://www.youtube.com/watch?v=IC44rPbYA4s

    View Slide

  4. Copyright © 2021 Classi Corp. All Rights Reserved.
    アジェンダ

    • 会社概要

    • データ組織の紹介

    • データ組織のプラクティスの紹介

    3

    View Slide

  5. Copyright © 2021 Classi Corp. All Rights Reserved.
    アジェンダ

    • 会社概要

    • データ組織の紹介

    • データ組織のプラクティスの紹介

    4

    View Slide

  6. Copyright © 2021 Classi Corp. All Rights Reserved.
    5
    Classiの会社概要

    https://speakerdeck.com/classijp/we-are-hiring より

    View Slide

  7. Copyright © 2021 Classi Corp. All Rights Reserved.
    6
    Classiのミッション・ビジョン・バリュー 

    https://speakerdeck.com/classijp/we-are-hiring より
    子供の無限の可能性を解き放ち、学びの形を進化させる
    先生とともに、学びから学ぶ仕組みを創り、
    ワクワクする子どもを増やします
    ● Unlearn & Learn
    ● Love Difference
    ● Make Happen
    ⁃ 既存の知識を外す勇気。「学び方」を学び続けよう。
    失敗してもいい。新しい学びに挑戦しよう。
    ⁃ 違いを愛そう。チームを超えて協働しよう。
    多様性こそClassiの強み。多様な方がわくわくする。
    ⁃ 共に作り、共に実現する。大切なのは、信じて、
    やり抜くこと。
    Value
    Mission
    Vision

    View Slide

  8. Copyright © 2021 Classi Corp. All Rights Reserved.
    7
    Classiのサービス

    https://speakerdeck.com/classijp/we-are-hiring より

    View Slide

  9. Copyright © 2021 Classi Corp. All Rights Reserved.
    8
    サービス導入実績

    https://speakerdeck.com/classijp/we-are-hiring より

    View Slide

  10. Copyright © 2021 Classi Corp. All Rights Reserved.
    アジェンダ

    • 会社概要

    • データ組織の紹介

    • データ組織のプラクティスの紹介

    9

    View Slide

  11. Copyright © 2021 Classi Corp. All Rights Reserved.
    10
    組織体制

    データチーム

    https://speakerdeck.com/classijp/we-are-hiring より

    View Slide

  12. Copyright © 2021 Classi Corp. All Rights Reserved.
    11
    組織規模

    部門内訳 開発本部職種内訳
    開発本部
    41%
    サイバーセキュリティ
    6%
    コーポレート
    13%
    マーケ
    ティング
    本部
    21%
    合計
    81名
    サーバー
    エンジニア
    48%
    データエンジニア
    2%
    アプリ
    エンジニア
    11% フロント
    エンジニア
    11%
    プロダクト
    デザイン
    本部
    15%
    その他 8%
    QA
    9%
    その他
    6%
    SRE
    5%
    データサイエンティスト
    5%
    Pythonエンジニア
    2%
    合計
    202

    プロダクトマネジメント部
    2%
    データ系職種

    https://speakerdeck.com/classijp/we-are-hiring より

    View Slide

  13. Copyright © 2021 Classi Corp. All Rights Reserved.
    12
    データ組織の職能と役割 

    職種
 役割
 体制

    データサイエンティスト 
 モデル開発・運用・分析 

    データ活用推進

    ダッシュボード構築・運用 

    R&D


    データエンジニア 
 データ基盤開発・運用 

    データ活用推進

    クラウドセキュリティ 

    Admin


    Pythonエンジニア
 MLプロダクト開発・運用 

    データ活用推進

    クラウドセキュリティ 


    View Slide

  14. Copyright © 2021 Classi Corp. All Rights Reserved.
    データ基盤の構成図 

    13
    出典:Classiのデータ分析基盤であるソクラテスの紹介
    https://tech.classi.jp/entry/2021/05/31/120000

    View Slide

  15. Copyright © 2021 Classi Corp. All Rights Reserved.
    • 提供サービスのDBデータ

    • 各種サービス利用データ

    • テキストデータ

    • 数値データ

    • アクセスログ

    • Google AnalyticsやFirebase Analytics

    • アプリケーションログ

    • 3rd Partyデータ

    • SalesForceやHubspotなど

    • Auditデータ

    • クラウドサービスの監査ログ、Tableau/Redashのログなど


    扱っているデータの種類 

    14

    View Slide

  16. Copyright © 2021 Classi Corp. All Rights Reserved.
    Classiのデータ組織の歴史 

    • 2018年6月AI室が誕生

    • 4名の組織(エンジニア2人,データサイエンティスト2人)

    • 2018年7月データエンジニア入社

    • データ基盤のプロトタイプの検討を開始

    • Embulk + Digdagのデータパイプライン → BigQuery (第一世代)

    • 2018年11月 PJ Cockpitにより全社でBIを導入

    • 2019年4月 データAI部が誕生

    • https://www.wantedly.com/companies/classi/post_articles/141663

    • 2019年5月 2人目のデータエンジニア入社

    • Cloud Composer(Airflow)を利用したパイプラインへのアーキテクチャ変更

    • 2020年1月 AWS Glueを利用したETL処理へ移行

    • 2020年9月 データエンジニアが2名追加

    • チーム開発体制へ

    • TerraformによるIaC化やCI/CD整備、スクラムライクな開発スタイルへ

    15

    View Slide

  17. Copyright © 2021 Classi Corp. All Rights Reserved.
    Classiのデータ活用戦略 

    • データを活用する目的 = Visionの達成のため

    16
    https://corp.classi.jp/company/message/

    View Slide

  18. Copyright © 2021 Classi Corp. All Rights Reserved.
    Classiのデータ活用戦略 

    • 全社の目標にデータ活用が入っています

    17

    View Slide

  19. Copyright © 2021 Classi Corp. All Rights Reserved.
    Classiのデータ活用戦略 

    • 基本的にデータ民主化の戦略を取っています

    • Tableau/RedashなどのBIツールの利用と普及啓蒙

    • データ基盤チームはDWH開発、DM開発サポートまでを責務に

    • 全社のデータ活用度合いをチームのKPIに

    18

    View Slide

  20. Copyright © 2021 Classi Corp. All Rights Reserved.
    アジェンダ

    • 会社概要

    • データ組織の紹介

    • データ組織のプラクティスの紹介

    19

    View Slide

  21. Copyright © 2021 Classi Corp. All Rights Reserved.
    • データ基盤の安定稼働のための品質向上の取り組み

    • 収集するメトリクスの定義、SLO・SLIの定義と計測

    • アラート・検知・対応のプラクティス化

    データ基盤チームが今やっていること 

    20

    View Slide

  22. Copyright © 2021 Classi Corp. All Rights Reserved.
    • 全社のデータ活用推進

    • ツールごとに利用のダッシュボードを作成し、週次で確認

    • 利用が落ち込んできた時には活性施策をうち、効果検証を実施

    データ組織が今やっていること 

    21

    View Slide

  23. Copyright © 2021 Classi Corp. All Rights Reserved.
    • SQL勉強会やダッシュボード勉強会の実施

    • SQL勉強用のコンテンツ作成

    データ組織が今やっていること 

    22
    参考:SQL勉強会を通して痛感したデータ民主化への長い道のり https://tech.classi.jp/entry/2021/02/05/121144

    View Slide

  24. Copyright © 2021 Classi Corp. All Rights Reserved.
    • 全社のデータ活用推進

    • Uniposとキャラクターを活用したデータ活用促進声かけ

    データ組織が今やっていること 

    23

    View Slide

  25. Copyright © 2021 Classi Corp. All Rights Reserved.
    • メタデータ環境整備と推進

    • redashのダッシュボードを非データ系メンバーとハンズオン

    • 同時に内製のメタデータ管理ツール(Plato)にテーブル情報などを記載

    データ組織が今やっていること 

    24

    View Slide

  26. Copyright © 2021 Classi Corp. All Rights Reserved.
    • 様々な大学や研究機関との共同研究

    データ組織が今やっていること 

    25

    View Slide

  27. Copyright © 2021 Classi Corp. All Rights Reserved.
    • クラウドセキュリティへの取り組み

    • Security Command Centerを利用した脆弱性検知や対応

    データ組織が今やっていること 

    26
    出典:https://cloud.google.com/blog/ja/topics/customers/classi-strengthen-security

    View Slide

  28. Copyright © 2021 Classi Corp. All Rights Reserved.
    • より安定したデータ基盤の運用と品質向上

    • dev/stg環境とテストの実施

    • ストリームデータパイプラインの構築

    • セキュアなデータパイプラインの構築

    • より活用されるデータマートのためのDWH開発

    • データ品質の向上

    • データ基盤のリアーキテクチャ

    • ML SysとのML Pipeline接続

    • 非構造化データを扱うパイプラインの検討

    etc...

    データ基盤チームがこれからやっていきたいこと 

    27

    View Slide

  29. Copyright © 2021 Classi Corp. All Rights Reserved.
    データエンジニアの採用の取り組み 

    • 基本的な採用プロセスを用いてチームで実施

    • 採用媒体への募集要項の検討と掲載

    • エージェント

    • スカウト/リファラル

    • 書類審査

    • カジュアル面談

    • 面接

    • オファー

    • オンボーディング

    • 悩み

    • 採用むずい

    • 市場になかなかデータエンジニアがいない

    28
    https://hrmos.co/pages/classi/jobs/0000026 より

    View Slide

  30. Copyright © 2021 Classi Corp. All Rights Reserved.
    データエンジニアの採用の取り組み 

    29
    やりたいこと、やるべきことはいっぱいありますが、

    完全にデータエンジニアの手が足りていません 😭

    今日のこの発表を聞いて、教育業界のデータエンジニアリングに

    ご興味を持った方は、今すぐご応募ください!!


        _人人人人人人人人人人人人人人人人人人人_

        > https://hrmos.co/pages/classi/jobs/0000026 <

     ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄


    View Slide

  31. Copyright © 2021 Classi Corp. All Rights Reserved.
    おわり

    30
    ご静聴

    ありがとうございました!

    🙏🙏🙏


    View Slide