データ基盤チームの紹介

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright © KAKEHASHI Inc. All Rights Reserved. 本質的職人的持続可能性当事者意識 HRT 何故必要なのかユースケースも追求し、常に目的意識をもとう。目的を見失ってはいけないエンジニアとして技術的なこだわりをもとう。新しい技術を積極的にキャッチアップし、エンジニアとして成長を。神は細部に宿る！サービスを恒久的に維持するために品質面を疎かにしない。また、自身の健康、モチベーションを維持することも忘れずにデータ提供をするだけで終わることなく利用者が価値創造するまでコミットしよう。能動的に、他チームへ深く関わろう謙虚(Humility)、尊敬(Respect)、信頼(Trust)をもって人と接し、健全なコミュニケーションをしよう 3 Team Value

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © KAKEHASHI Inc. All Rights Reserved. チーム構成 ● 開発ディレクタ 1名 ○ チームの能力を最大限発揮し、事業貢献することに責任をもつ ○ 予算計画・採用・評価・チーム改善などを実施 ○ データエンジニアとして、データマネジメントを推進 ● シニアデータエンジニア 1名 ○ データ基盤の技術面に責任を持つ ○ データ基盤の技術選定、アーキテクチャ設計、 Databrickの環境構築などを実施 ○ データマネジメントを推進 ● データエンジニア 2名 ○ Databricks、AWS上でデータパイプラインの開発がメイン業務 ○ 2名とも業務委託

Slide 6

Slide 6 text

Copyright © KAKEHASHI Inc. All Rights Reserved. チーム開発と学習について ● OKRでチーム目標を半期で管理 ● スクラムのスプリントのサイクルは2週間 ○ チーム全員でバックログリファインメント ○ 全社を巻き込んだ全社 Sprint Review ● 基本はフルリモート、半期に一度チームで対面でコミュニケーション ● 複数チームを巻き込んだ勉強会と輪読会の実施 ○ データ基盤勉強会、ドメイン駆動勉強会、 DMBOK輪読会など

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © KAKEHASHI Inc. All Rights Reserved. 開発環境 ● 開発言語 ○ Python、Apache Spark、SQL ● データベース・データウェアハウス・データフォーマット ○ Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、 Delta Lake、Apache Parquet ● インフラ ○ AWS、GCP ● 構成管理 ○ Terraform ● バージョン管理・コラボレーションツール ○ GitHub、Slack、esa、JIRA、Trelloなど

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © KAKEHASHI Inc. All Rights Reserved. データパイプラインの開発 ● データソースからデータ抽出 ○ DynamoDB、RDS、アクセスログ、etc ○ Airflow、Glue、Kinesisなどを利用 ○ バッチ処理とストリーム処理 ● Databricks上に読み込み、分析用データソースへ加工 ○ 名寄せ、匿名加工処理、構造の平坦化などのジョブ作成 ○ 一連のジョブを組み合わせたワークフロー作成 ○ メタデータ情報などを付与

Slide 14

Slide 14 text

Copyright © KAKEHASHI Inc. All Rights Reserved. ● 1. データガバナンス ○ ガイドライン策定 ○ データメッシュに基づいた組織設計 ● 2. データアーキテクチャ ○ 利用ユースケースの整理 ● 3. データモデリングとデザイン ● 4. データストレージとオペレーション ○ データストア管理 ● 5.データセキュリティ ○ セキュリティポリシーの定義 ○ データアクセス制御 ● 6. データ統合と相互運用性データマネジメント推進

Slide 15

Slide 15 text

Copyright © KAKEHASHI Inc. All Rights Reserved. ● 7. ドキュメントとコンテンツ管理 ● 8. 参照データとマスターデータ ● 9. データウェアハウスとビジネスインテリジェンス ○ 分析用データの作成 ● 10. メタデータ管理 ○ データカタログ、データリネージ作成 ● 11. データ品質 ○ 利用ユースケースに応じての品質定義 ○ テスト方針の策定データマネジメント推進

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Copyright © KAKEHASHI Inc. All Rights Reserved. 2023年のロードマップ   1Q(3月 - 5月)  2Q(6月 - 8月)  3Q(9月 - 11月)  4Q(12月 - 2月)  新規事業支援          データガバナンス          データメッシュ組織を目指した   データマネージメント推進           コスト削減・技術負債回収          Databricks利用促進          全社DX支援  (ダッシュボード、KPI、ヘルススコア)          プロダクトのID統合新規事業の基盤構築データ利用ガイドラインの策定データ利用状況のモニタリングデータエンジニア権限移譲のためのガイドライン作成各チームへデータエンジニア権限移譲コスト可視化コスト削減と技術負債回収分析用データソース作成メタデータ整備プロダクトKPI支援全社ダッシュボード作成 CSのヘルススコア支援