データ基盤チームの紹介

Copyright © KAKEHASHI Inc. All Rights Reserved.
データ基盤チームの紹介

View Slide

高品質な統合データ基盤提供とデータマネジメント推進で、
全社員のデータ利活用をカジュアルにし、
カケハシをデータドリブンな組織へ！
2
Team Mission

View Slide

本質的職人的持続可能性
当事者意識 HRT
何故必要なのかユースケースも追求し、常に
目的意識をもとう。目的を見失ってはいけな
い
エンジニアとして技術的なこだわりをもとう。
新しい技術を積極的にキャッチアップし、エン
ジニアとして成長を。神は細部に宿る！
サービスを恒久的に維持するために品質面
を疎かにしない。また、自身の健康、モチベー
ションを維持することも忘れずに
データ提供をするだけで終わることなく利用
者が価値創造するまでコミットしよう。能動的
に、他チームへ深く関わろう
謙虚(Humility)、尊敬(Respect)、
信頼(Trust)をもって人と接し、
健全なコミュニケーションをしよう
3
Team Value

View Slide

チーム名
● Fumidonoチーム
○ カケハシでは開発チーム名にローマ字の大和言葉で命名する風習がある
○ 全社のデータストアーを担うということでfumidono（書殿）

View Slide

チーム構成
● 開発ディレクタ 1名
○ チームの能力を最大限発揮し、事業貢献することに責任をもつ
○ 予算計画・採用・評価・チーム改善などを実施
○ データエンジニアとして、データマネジメントを推進
● シニアデータエンジニア 1名
○ データ基盤の技術面に責任を持つ
○ データ基盤の技術選定、アーキテクチャ設計、 Databrickの環境構築などを実施
○ データマネジメントを推進
● データエンジニア 2名
○ Databricks、AWS上でデータパイプラインの開発がメイン業務
○ 2名とも業務委託

View Slide

チーム開発と学習について
● OKRでチーム目標を半期で管理
● スクラムのスプリントのサイクルは2週間
○ チーム全員でバックログリファインメント
○ 全社を巻き込んだ全社 Sprint Review
● 基本はフルリモート、半期に一度チームで対面でコミュニケーション
● 複数チームを巻き込んだ勉強会と輪読会の実施
○ データ基盤勉強会、ドメイン駆動勉強会、 DMBOK輪読会など

View Slide

データ利用事例とアーキテクチャの紹介

View Slide

管理しているデータ
● 患者さんの個人情報、処方履歴、薬歴のデータ
● 薬剤師さんのアカウントデータ
● 薬局の経営データ
● 薬剤の在庫データ
● 社内で利用しているSaaSデータ

View Slide

データ利活用事例
● プロダクトのNSM・KPI導出
● 顧客のサービス利用状況であるヘルススコアの導出
● 薬剤在庫の需要予測
● 厚生局のオープンデータを使った新規営業分析

View Slide

開発環境
● 開発言語
○ Python、Apache Spark、SQL
● データベース・データウェアハウス・データフォーマット
○ Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、
Delta Lake、Apache Parquet
● インフラ
○ AWS、GCP
● 構成管理
○ Terraform
● バージョン管理・コラボレーションツール
○ GitHub、Slack、esa、JIRA、Trelloなど

View Slide

データ基盤はDatabricks
各プロダクトから抽出したデータをDatabricksで読み込み、
名寄せや匿名加工処理などを行い、全社に提供

View Slide

データ基盤チームの業務紹介

View Slide

データパイプラインの開発
● データソースからデータ抽出
○ DynamoDB、RDS、アクセスログ、etc
○ Airflow、Glue、Kinesisなどを利用
○ バッチ処理とストリーム処理
● Databricks上に読み込み、分析用データソースへ加工
○ 名寄せ、匿名加工処理、構造の平坦化などのジョブ作成
○ 一連のジョブを組み合わせたワークフロー作成
○ メタデータ情報などを付与

View Slide

● 1. データガバナンス
○ ガイドライン策定
○ データメッシュに基づいた組織設計
● 2. データアーキテクチャ
○ 利用ユースケースの整理
● 3. データモデリングとデザイン
● 4. データストレージとオペレーション
○ データストア管理
● 5.データセキュリティ
○ セキュリティポリシーの定義
○ データアクセス制御
● 6. データ統合と相互運用性
データマネジメント推進

View Slide

● 7. ドキュメントとコンテンツ管理
● 8. 参照データとマスターデータ
● 9. データウェアハウスとビジネスインテリジェンス
○ 分析用データの作成
● 10. メタデータ管理
○ データカタログ、データリネージ作成
● 11. データ品質
○ 利用ユースケースに応じての品質定義
○ テスト方針の策定
データマネジメント推進

View Slide

ロードマップ

View Slide

2023年のロードマップ
  1Q(3月 - 5月)  2Q(6月 - 8月)  3Q(9月 - 11月)  4Q(12月 - 2月) 
新規事業支援 
       
データガバナンス 
       
データメッシュ組織を目指した  
データマネージメント推進  
       
コスト削減・技術負債回収 
       
Databricks利用促進 
       
全社DX支援 
(ダッシュボード、KPI、ヘルススコア) 
       
プロダクトのID統合新規事業の基盤構築
データ利用ガイドラインの策定データ利用状況のモニタリング
データエンジニア権限移譲のた
めのガイドライン作成
各チームへデータエンジニア権限移譲
コスト可視化コスト削減と技術負債回収
分析用データソース作成
メタデータ整備
プロダクトKPI支援全社ダッシュボード作成
CSのヘルススコア支援

View Slide

データ基盤チームの紹介

データ基盤チームの紹介

kakehashi

More Decks by kakehashi

Other Decks in Business

Featured

Transcript