Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ基盤チームの紹介

kakehashi
February 07, 2023

 データ基盤チームの紹介

kakehashi

February 07, 2023
Tweet

More Decks by kakehashi

Other Decks in Business

Transcript

  1. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データ基盤チームの紹介

    View Slide

  2. Copyright © KAKEHASHI Inc. All Rights Reserved.
    高品質な統合データ基盤提供とデータマネジメント推進で、
    全社員のデータ利活用をカジュアルにし、
    カケハシをデータドリブンな組織へ!
    2
    Team Mission

    View Slide

  3. Copyright © KAKEHASHI Inc. All Rights Reserved.
    本質的 職人的 持続可能性
    当事者意識 HRT
    何故必要なのかユースケースも追求し、常に
    目的意識をもとう。目的を見失ってはいけな

    エンジニアとして技術的なこだわりをもとう。
    新しい技術を積極的にキャッチアップし、エン
    ジニアとして成長を。神は細部に宿る!
    サービスを恒久的に維持するために品質面
    を疎かにしない。また、自身の健康、モチベー
    ションを維持することも忘れずに
    データ提供をするだけで終わることなく利用
    者が価値創造するまでコミットしよう。能動的
    に、他チームへ深く関わろう
    謙虚(Humility)、尊敬(Respect)、
    信頼(Trust)をもって人と接し、
    健全なコミュニケーションをしよう
    3
    Team Value

    View Slide

  4. Copyright © KAKEHASHI Inc. All Rights Reserved.
    チーム名
    ● Fumidonoチーム
    ○ カケハシでは開発チーム名にローマ字の大和言葉で命名する風習がある
    ○ 全社のデータストアーを担うということでfumidono(書殿)

    View Slide

  5. Copyright © KAKEHASHI Inc. All Rights Reserved.
    チーム構成
    ● 開発ディレクタ 1名
    ○ チームの能力を最大限発揮し、事業貢献することに責任をもつ
    ○ 予算計画・採用・評価・チーム改善などを実施
    ○ データエンジニアとして、データマネジメントを推進
    ● シニアデータエンジニア 1名
    ○ データ基盤の技術面に責任を持つ
    ○ データ基盤の技術選定、アーキテクチャ設計、 Databrickの環境構築などを実施
    ○ データマネジメントを推進
    ● データエンジニア 2名
    ○ Databricks、AWS上でデータパイプラインの開発がメイン業務
    ○ 2名とも業務委託

    View Slide

  6. Copyright © KAKEHASHI Inc. All Rights Reserved.
    チーム開発と学習について
    ● OKRでチーム目標を半期で管理
    ● スクラムのスプリントのサイクルは2週間
    ○ チーム全員でバックログリファインメント
    ○ 全社を巻き込んだ全社 Sprint Review
    ● 基本はフルリモート、半期に一度チームで対面でコミュニケーション
    ● 複数チームを巻き込んだ勉強会と輪読会の実施
    ○ データ基盤勉強会、ドメイン駆動勉強会、 DMBOK輪読会など

    View Slide

  7. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データ利用事例とアーキテクチャの紹介

    View Slide

  8. Copyright © KAKEHASHI Inc. All Rights Reserved.
    管理しているデータ
    ● 患者さんの個人情報、処方履歴、薬歴のデータ
    ● 薬剤師さんのアカウントデータ
    ● 薬局の経営データ
    ● 薬剤の在庫データ
    ● 社内で利用しているSaaSデータ

    View Slide

  9. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データ利活用事例
    ● プロダクトのNSM・KPI導出
    ● 顧客のサービス利用状況であるヘルススコアの導出
    ● 薬剤在庫の需要予測
    ● 厚生局のオープンデータを使った新規営業分析

    View Slide

  10. Copyright © KAKEHASHI Inc. All Rights Reserved.
    開発環境
    ● 開発言語
    ○ Python、Apache Spark、SQL
    ● データベース・データウェアハウス・データフォーマット
    ○ Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、
    Delta Lake、Apache Parquet
    ● インフラ
    ○ AWS、GCP
    ● 構成管理
    ○ Terraform
    ● バージョン管理・コラボレーションツール
    ○ GitHub、Slack、esa、JIRA、Trelloなど

    View Slide

  11. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データ基盤はDatabricks
    各プロダクトから抽出したデータをDatabricksで読み込み、
    名寄せや匿名加工処理などを行い、全社に提供

    View Slide

  12. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データ基盤チームの業務紹介

    View Slide

  13. Copyright © KAKEHASHI Inc. All Rights Reserved.
    データパイプラインの開発
    ● データソースからデータ抽出
    ○ DynamoDB、RDS、アクセスログ、etc
    ○ Airflow、Glue、Kinesisなどを利用
    ○ バッチ処理とストリーム処理
    ● Databricks上に読み込み、分析用データソースへ加工
    ○ 名寄せ、匿名加工処理、構造の平坦化などのジョブ作成
    ○ 一連のジョブを組み合わせたワークフロー作成
    ○ メタデータ情報などを付与

    View Slide

  14. Copyright © KAKEHASHI Inc. All Rights Reserved.
    ● 1. データガバナンス
    ○ ガイドライン策定
    ○ データメッシュに基づいた組織設計
    ● 2. データアーキテクチャ
    ○ 利用ユースケースの整理
    ● 3. データモデリングとデザイン
    ● 4. データストレージとオペレーション
    ○ データストア管理
    ● 5.データセキュリティ
    ○ セキュリティポリシーの定義
    ○ データアクセス制御
    ● 6. データ統合と相互運用性
    データマネジメント推進

    View Slide

  15. Copyright © KAKEHASHI Inc. All Rights Reserved.
    ● 7. ドキュメントとコンテンツ管理
    ● 8. 参照データとマスターデータ
    ● 9. データウェアハウスとビジネスインテリジェンス
    ○ 分析用データの作成
    ● 10. メタデータ管理
    ○ データカタログ、データリネージ作成
    ● 11. データ品質
    ○ 利用ユースケースに応じての品質定義
    ○ テスト方針の策定
    データマネジメント推進

    View Slide

  16. Copyright © KAKEHASHI Inc. All Rights Reserved.
    ロードマップ

    View Slide

  17. Copyright © KAKEHASHI Inc. All Rights Reserved.
    2023年のロードマップ
    
 1Q(3月 - 5月)
 2Q(6月 - 8月)
 3Q(9月 - 11月)
 4Q(12月 - 2月)

    新規事業支援

    
 
 
 

    データガバナンス

    
 
 
 

    データメッシュ組織を目指した 

    データマネージメント推進 

    
 
 
 

    コスト削減・技術負債回収

    
 
 
 

    Databricks利用促進

    
 
 
 

    全社DX支援

    (ダッシュボード、KPI、ヘルススコア)

    
 
 
 

    プロダクトのID統合 新規事業の基盤構築
    データ利用ガイドラインの策定 データ利用状況のモニタリング
    データエンジニア権限移譲のた
    めのガイドライン作成
    各チームへデータエンジニア権限移譲
    コスト可視化 コスト削減と技術負債回収
    分析用データソース作成
    メタデータ整備
    プロダクトKPI支援 全社ダッシュボード作成
    CSのヘルススコア支援

    View Slide