Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」での発表資料
Copyright © 2021 Classi Corp. All Rights Reserved.Data Engineering Study #9 企業規模別に見るデータエンジニア組織の作り方 2021/08/03(火) Classi株式会社 データAI部 部長 伊藤徹郎 Classiのデータ組織の歩み
View Slide
Copyright © 2021 Classi Corp. All Rights Reserved.自己紹介 ● 名前：伊藤 徹郎 (@tetsuroito) ● 所属：Classi株式会社 データAI部 ● 役職：部長 ● 分野：Educational Technology , Learning Analytics ● 著書 ○ データサイエンティスト養成読本ビジネス活用編 ○ AI・データ分析プロジェクトのすべて 1
Copyright © 2021 Classi Corp. All Rights Reserved.自己紹介 2昨年のData Engineering Study #3 「分析基盤をうまく組織に浸透させる方法」 でもお話をさせていただきました https://www.youtube.com/watch?v=IC44rPbYA4s
Copyright © 2021 Classi Corp. All Rights Reserved.アジェンダ • 会社概要 • データ組織の紹介 • データ組織のプラクティスの紹介 3
Copyright © 2021 Classi Corp. All Rights Reserved.アジェンダ • 会社概要 • データ組織の紹介 • データ組織のプラクティスの紹介 4
Copyright © 2021 Classi Corp. All Rights Reserved.5Classiの会社概要 https://speakerdeck.com/classijp/we-are-hiring より
Copyright © 2021 Classi Corp. All Rights Reserved.6Classiのミッション・ビジョン・バリュー https://speakerdeck.com/classijp/we-are-hiring より子供の無限の可能性を解き放ち、学びの形を進化させる先生とともに、学びから学ぶ仕組みを創り、ワクワクする子どもを増やします● Unlearn & Learn● Love Difference● Make Happen⁃ 既存の知識を外す勇気。「学び方」を学び続けよう。失敗してもいい。新しい学びに挑戦しよう。⁃ 違いを愛そう。チームを超えて協働しよう。多様性こそClassiの強み。多様な方がわくわくする。⁃ 共に作り、共に実現する。大切なのは、信じて、やり抜くこと。ValueMissionVision
Copyright © 2021 Classi Corp. All Rights Reserved.7Classiのサービス https://speakerdeck.com/classijp/we-are-hiring より
Copyright © 2021 Classi Corp. All Rights Reserved.8サービス導入実績 https://speakerdeck.com/classijp/we-are-hiring より
Copyright © 2021 Classi Corp. All Rights Reserved.アジェンダ • 会社概要 • データ組織の紹介 • データ組織のプラクティスの紹介 9
Copyright © 2021 Classi Corp. All Rights Reserved.10組織体制 データチーム https://speakerdeck.com/classijp/we-are-hiring より
Copyright © 2021 Classi Corp. All Rights Reserved.11組織規模 部門内訳 開発本部職種内訳開発本部41%サイバーセキュリティ6%コーポレート13%マーケティング本部21%合計81名サーバーエンジニア48%データエンジニア2%アプリエンジニア11% フロントエンジニア11%プロダクトデザイン本部15%その他 8%QA9%その他6%SRE5%データサイエンティスト5%Pythonエンジニア2%合計202名プロダクトマネジメント部2%データ系職種 https://speakerdeck.com/classijp/we-are-hiring より
Copyright © 2021 Classi Corp. All Rights Reserved.12データ組織の職能と役割 職種 役割 体制 データサイエンティスト モデル開発・運用・分析 データ活用推進 ダッシュボード構築・運用 R&D データエンジニア データ基盤開発・運用 データ活用推進 クラウドセキュリティ Admin Pythonエンジニア MLプロダクト開発・運用 データ活用推進 クラウドセキュリティ
Copyright © 2021 Classi Corp. All Rights Reserved.データ基盤の構成図 13出典：Classiのデータ分析基盤であるソクラテスの紹介https://tech.classi.jp/entry/2021/05/31/120000
Copyright © 2021 Classi Corp. All Rights Reserved.• 提供サービスのDBデータ • 各種サービス利用データ • テキストデータ • 数値データ • アクセスログ • Google AnalyticsやFirebase Analytics • アプリケーションログ • 3rd Partyデータ • SalesForceやHubspotなど • Auditデータ • クラウドサービスの監査ログ、Tableau/Redashのログなど 扱っているデータの種類 14
Copyright © 2021 Classi Corp. All Rights Reserved.Classiのデータ組織の歴史 • 2018年6月AI室が誕生 • 4名の組織(エンジニア2人,データサイエンティスト2人) • 2018年7月データエンジニア入社 • データ基盤のプロトタイプの検討を開始 • Embulk + Digdagのデータパイプライン → BigQuery (第一世代) • 2018年11月 PJ Cockpitにより全社でBIを導入 • 2019年4月 データAI部が誕生 • https://www.wantedly.com/companies/classi/post_articles/141663 • 2019年5月 2人目のデータエンジニア入社 • Cloud Composer(Airflow)を利用したパイプラインへのアーキテクチャ変更 • 2020年1月 AWS Glueを利用したETL処理へ移行 • 2020年9月 データエンジニアが2名追加 • チーム開発体制へ • TerraformによるIaC化やCI/CD整備、スクラムライクな開発スタイルへ 15
Copyright © 2021 Classi Corp. All Rights Reserved.Classiのデータ活用戦略 • データを活用する目的 = Visionの達成のため 16https://corp.classi.jp/company/message/
Copyright © 2021 Classi Corp. All Rights Reserved.Classiのデータ活用戦略 • 全社の目標にデータ活用が入っています 17
Copyright © 2021 Classi Corp. All Rights Reserved.Classiのデータ活用戦略 • 基本的にデータ民主化の戦略を取っています • Tableau/RedashなどのBIツールの利用と普及啓蒙 • データ基盤チームはDWH開発、DM開発サポートまでを責務に • 全社のデータ活用度合いをチームのKPIに 18
Copyright © 2021 Classi Corp. All Rights Reserved.アジェンダ • 会社概要 • データ組織の紹介 • データ組織のプラクティスの紹介 19
Copyright © 2021 Classi Corp. All Rights Reserved.• データ基盤の安定稼働のための品質向上の取り組み • 収集するメトリクスの定義、SLO・SLIの定義と計測 • アラート・検知・対応のプラクティス化 データ基盤チームが今やっていること 20
Copyright © 2021 Classi Corp. All Rights Reserved.• 全社のデータ活用推進 • ツールごとに利用のダッシュボードを作成し、週次で確認 • 利用が落ち込んできた時には活性施策をうち、効果検証を実施 データ組織が今やっていること 21
Copyright © 2021 Classi Corp. All Rights Reserved.• SQL勉強会やダッシュボード勉強会の実施 • SQL勉強用のコンテンツ作成 データ組織が今やっていること 22参考：SQL勉強会を通して痛感したデータ民主化への長い道のり https://tech.classi.jp/entry/2021/02/05/121144
Copyright © 2021 Classi Corp. All Rights Reserved.• 全社のデータ活用推進 • Uniposとキャラクターを活用したデータ活用促進声かけ データ組織が今やっていること 23
Copyright © 2021 Classi Corp. All Rights Reserved.• メタデータ環境整備と推進 • redashのダッシュボードを非データ系メンバーとハンズオン • 同時に内製のメタデータ管理ツール(Plato)にテーブル情報などを記載 データ組織が今やっていること 24
Copyright © 2021 Classi Corp. All Rights Reserved.• 様々な大学や研究機関との共同研究 データ組織が今やっていること 25
Copyright © 2021 Classi Corp. All Rights Reserved.• クラウドセキュリティへの取り組み • Security Command Centerを利用した脆弱性検知や対応 データ組織が今やっていること 26出典：https://cloud.google.com/blog/ja/topics/customers/classi-strengthen-security
Copyright © 2021 Classi Corp. All Rights Reserved.• より安定したデータ基盤の運用と品質向上 • dev/stg環境とテストの実施 • ストリームデータパイプラインの構築 • セキュアなデータパイプラインの構築 • より活用されるデータマートのためのDWH開発 • データ品質の向上 • データ基盤のリアーキテクチャ • ML SysとのML Pipeline接続 • 非構造化データを扱うパイプラインの検討 etc... データ基盤チームがこれからやっていきたいこと 27
Copyright © 2021 Classi Corp. All Rights Reserved.データエンジニアの採用の取り組み • 基本的な採用プロセスを用いてチームで実施 • 採用媒体への募集要項の検討と掲載 • エージェント • スカウト/リファラル • 書類審査 • カジュアル面談 • 面接 • オファー • オンボーディング • 悩み • 採用むずい • 市場になかなかデータエンジニアがいない 28https://hrmos.co/pages/classi/jobs/0000026 より
Copyright © 2021 Classi Corp. All Rights Reserved.データエンジニアの採用の取り組み 29やりたいこと、やるべきことはいっぱいありますが、 完全にデータエンジニアの手が足りていません 😭 今日のこの発表を聞いて、教育業界のデータエンジニアリングに ご興味を持った方は、今すぐご応募ください！！ ＿人人人人人人人人人人人人人人人人人人人＿ ＞ https://hrmos.co/pages/classi/jobs/0000026 ＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣
Copyright © 2021 Classi Corp. All Rights Reserved.おわり 30ご静聴 ありがとうございました！ 🙏🙏🙏
tetsuroito
for_recruit
kurashicom
eikohashiba
delyinc
freee
dreamarts
seqsense
nulabinc
bebridge
recruitasken
yusukemarvel
tenderlove
michaelherold
palkan
kneath
jakevdp
zakiwarfel
frogandcode
shpigford
jasonvnalue
dougneiner
brad_frost
chriscoyier