データ基盤チームの紹介

Transcript

1. Copyright © KAKEHASHI Inc. All Rights Reserved. データ基盤チームの紹介
2. Copyright © KAKEHASHI Inc. All Rights Reserved. 高品質な統合データ基盤提供とデータマネジメント推進で、 全社員のデータ利活用をカジュアルにし、 カケハシをデータドリブンな組織へ！ 2 Team Mission
3. Copyright © KAKEHASHI Inc. All Rights Reserved. 本質的 職人的 持続可能性 当事者意識 HRT 何故必要なのかユースケースも追求し、常に 目的意識をもとう。目的を見失ってはいけな い エンジニアとして技術的なこだわりをもとう。 新しい技術を積極的にキャッチアップし、エン ジニアとして成長を。神は細部に宿る！ サービスを恒久的に維持するために品質面 を疎かにしない。また、自身の健康、モチベー ションを維持することも忘れずに データ提供をするだけで終わることなく利用 者が価値創造するまでコミットしよう。能動的 に、他チームへ深く関わろう 謙虚(Humility)、尊敬(Respect)、 信頼(Trust)をもって人と接し、 健全なコミュニケーションをしよう 3 Team Value
4. Copyright © KAKEHASHI Inc. All Rights Reserved. チーム名 • Fumidonoチーム ◦ カケハシでは開発チーム名にローマ字の大和言葉で命名する風習がある ◦ 全社のデータストアーを担うということでfumidono（書殿）
5. Copyright © KAKEHASHI Inc. All Rights Reserved. チーム構成 • 開発ディレクタ 1名 ◦ チームの能力を最大限発揮し、事業貢献することに責任をもつ ◦ 予算計画・採用・評価・チーム改善などを実施 ◦ データエンジニアとして、データマネジメントを推進 • シニアデータエンジニア 1名 ◦ データ基盤の技術面に責任を持つ ◦ データ基盤の技術選定、アーキテクチャ設計、 Databrickの環境構築などを実施 ◦ データマネジメントを推進 • データエンジニア 2名 ◦ Databricks、AWS上でデータパイプラインの開発がメイン業務 ◦ 2名とも業務委託
6. Copyright © KAKEHASHI Inc. All Rights Reserved. チーム開発と学習について • OKRでチーム目標を半期で管理 • スクラムのスプリントのサイクルは2週間 ◦ チーム全員でバックログリファインメント ◦ 全社を巻き込んだ全社 Sprint Review • 基本はフルリモート、半期に一度チームで対面でコミュニケーション • 複数チームを巻き込んだ勉強会と輪読会の実施 ◦ データ基盤勉強会、ドメイン駆動勉強会、 DMBOK輪読会など
7. Copyright © KAKEHASHI Inc. All Rights Reserved. データ利用事例とアーキテクチャの紹介
8. Copyright © KAKEHASHI Inc. All Rights Reserved. 管理しているデータ • 患者さんの個人情報、処方履歴、薬歴のデータ • 薬剤師さんのアカウントデータ • 薬局の経営データ • 薬剤の在庫データ • 社内で利用しているSaaSデータ
9. Copyright © KAKEHASHI Inc. All Rights Reserved. データ利活用事例 • プロダクトのNSM・KPI導出 • 顧客のサービス利用状況であるヘルススコアの導出 • 薬剤在庫の需要予測 • 厚生局のオープンデータを使った新規営業分析
10. Copyright © KAKEHASHI Inc. All Rights Reserved. 開発環境 • 開発言語 ◦ Python、Apache Spark、SQL • データベース・データウェアハウス・データフォーマット ◦ Databricks、BigQuery、Amazon Aurora、Amazon DynamoDB、 Delta Lake、Apache Parquet • インフラ ◦ AWS、GCP • 構成管理 ◦ Terraform • バージョン管理・コラボレーションツール ◦ GitHub、Slack、esa、JIRA、Trelloなど
11. Copyright © KAKEHASHI Inc. All Rights Reserved. データ基盤はDatabricks 各プロダクトから抽出したデータをDatabricksで読み込み、 名寄せや匿名加工処理などを行い、全社に提供
12. Copyright © KAKEHASHI Inc. All Rights Reserved. データ基盤チームの業務紹介
13. Copyright © KAKEHASHI Inc. All Rights Reserved. データパイプラインの開発 • データソースからデータ抽出 ◦ DynamoDB、RDS、アクセスログ、etc ◦ Airflow、Glue、Kinesisなどを利用 ◦ バッチ処理とストリーム処理 • Databricks上に読み込み、分析用データソースへ加工 ◦ 名寄せ、匿名加工処理、構造の平坦化などのジョブ作成 ◦ 一連のジョブを組み合わせたワークフロー作成 ◦ メタデータ情報などを付与
14. Copyright © KAKEHASHI Inc. All Rights Reserved. • 1. データガバナンス ◦ ガイドライン策定 ◦ データメッシュに基づいた組織設計 • 2. データアーキテクチャ ◦ 利用ユースケースの整理 • 3. データモデリングとデザイン • 4. データストレージとオペレーション ◦ データストア管理 • 5.データセキュリティ ◦ セキュリティポリシーの定義 ◦ データアクセス制御 • 6. データ統合と相互運用性 データマネジメント推進
15. Copyright © KAKEHASHI Inc. All Rights Reserved. • 7. ドキュメントとコンテンツ管理 • 8. 参照データとマスターデータ • 9. データウェアハウスとビジネスインテリジェンス ◦ 分析用データの作成 • 10. メタデータ管理 ◦ データカタログ、データリネージ作成 • 11. データ品質 ◦ 利用ユースケースに応じての品質定義 ◦ テスト方針の策定 データマネジメント推進
16. Copyright © KAKEHASHI Inc. All Rights Reserved. ロードマップ
17. Copyright © KAKEHASHI Inc. All Rights Reserved. 2023年のロードマップ 
 1Q(3月 - 5月)
 2Q(6月 - 8月)
 3Q(9月 - 11月)
 4Q(12月 - 2月)
 新規事業支援
 
 
 
 
 データガバナンス
 
 
 
 
 データメッシュ組織を目指した 
 データマネージメント推進 
 
 
 
 
 コスト削減・技術負債回収
 
 
 
 
 Databricks利用促進
 
 
 
 
 全社DX支援
 (ダッシュボード、KPI、ヘルススコア)
 
 
 
 
 プロダクトのID統合 新規事業の基盤構築 データ利用ガイドラインの策定 データ利用状況のモニタリング データエンジニア権限移譲のた めのガイドライン作成 各チームへデータエンジニア権限移譲 コスト可視化 コスト削減と技術負債回収 分析用データソース作成 メタデータ整備 プロダクトKPI支援 全社ダッシュボード作成 CSのヘルススコア支援