マルチプロダクトを支えるスケーラブルなデータパイプライン設計

Transcript

1. © 2025 estie Inc. アーキテクチャConference 2025 マルチプロダクトを⽀えるスケーラブルな データパイプライン設計 〜速度と品質を両⽴するチームと技術〜 0
2. © 2025 estie Inc. • Komei Marushima / 丸島 晃明 • 株式会社estie マーケットリサーチ事業本部 エンジニアリングマネージャー • estie マーケット調査 / estie 物流リサーチ開発チームを担当 • 旧くはデータ開発チームでの開発やマネジメントも担当 • 2021 年 11 ⽉⼊社 • データ組織から始まり、今はアプリチームを⾒ています • 何でも屋で、アプリもつくるわデータもつくるわの器⽤貧乏タイプ ⾃⼰紹介 1/3 1
3. © 2025 estie Inc. • Ryosuke Lin Yamamoto / ⼭本亮介 • 社内で unique でなかったので妻の姓を名乗っています • https://github.com/Ryosuke839 • 株式会社estie データマネジメント事業本部 スタッフエンジニア • データパイプラインの設計・実装 • 共通データ API の開発 • プロダクトチームでのデータ活⽤の enabling など • 2023 年 4 ⽉⼊社 • 以前は⾳声認識バックエンドを C++ で書いていたもののレイオフに遭いました ⾃⼰紹介 2/3 2
4. © 2025 estie Inc. • Kyohei Kasuya / 粕⾕ 恭平 • 筋トレが趣味で社内やSNSでは macho と呼ばれています • 株式会社estie マーケットリサーチ事業本部 QAエンジニア • estie マーケット調査 / estie 物流リサーチ / estie J-REIT を担当 • 2021 年 6 ⽉⼊社 • IT未経験からestieでQAエンジニアのキャリアをスタート • ⼊社前は不動産業界で賃貸仲介・収益不動産の買取再販営業をしていました ⾃⼰紹介 3/3 3
5. © 2025 estie Inc. 4 1. 会社概要 2. これまでのestie • チーム変遷とマルチプロダクト化の課題 3. 最近のアーキテクチャの変遷と 将来への取り組み • スケールするデータパイプライン開発 • QAの品質向上に向けた取り組み 4. まとめ
6. © 2025 estie Inc. 5 1. 会社概要
7. © 2025 estie Inc. 会社概要 6 会社名 株式会社estie（エスティ） 所在地 東京都港区⾚坂9丁⽬7-2 東京ミッドタウン・イースト 4F 設⽴ 2018年12⽉ 代表取締役 平井 瑛 主要株主 経営陣 東京⼤学エッジキャピタルパートナーズ（UTEC） グロービス・キャピタル・パートナーズ（GCP） グローバルブレイン ⽇本政策投資銀⾏ Vertex Growth
8. © 2025 estie Inc. 商業⽤不動産 #とは ⼈間の経済活動の基盤。経済・社会的価値が⽣み出される場所 7
9. © 2025 estie Inc. プロダクトラインナップ（⼀部抜粋） 8 賃 貸 市 場 DaaS ( デ & タ ) 売 買 市 場 SaaS ⽇本最⼤級のオフィスビルデータベース ⽇本最⼤級の所有者/売物件探索サービス 不動産取引の案件管理サービス 売 買 市 場 SaaS ⽇本最⼤級の物流施設データベース ⽇本最⼤級の住宅賃料データベース J-REIT物件検索サービス
10. © 2025 estie Inc. ⽴地マッチングから始まり、⼟地の価値を上げるまちづくりを⽬指す 「産業の真価を、さらに拓く。」 ミクロで⾒ると マクロに⾒ると 世界規模で⾒ると 企業が最も⽣産的になれる ⽴地選択が可能に オフィス、物流施設など アセットは問わない 都市の未来を データドリブンに導く 最も社会価値の⼤きい 都市の構造を⾏政とともに定義 東京に世界中から 投資を呼び込む New YorkやLondonのような クレーンが眠らない街に進化 現在︓マッチング 未来︓⼟地の価値を上げる 9
11. © 2025 estie Inc. $POGJEFOUJBM ˜
    
    FTUJF
    *OD 0VS
    QVSQPTF ࢈ۀͷਅՁΛɺ͞Βʹ୓͘ɻ
12. © 2025 estie Inc. estieソリューションラインナップは、商業不動産領域におけるインフラを⽬指し拡⼤中 11 アセット オフィス 物流施設 住宅 ホテル 商業施設 ⼟地 (その他) SaaS 賃貸 市場 DaaS (データ) 売買 市場 賃貸 市場 売買 市場 マーケット調査 + ⾮公開プロダクト 物流リサーチ 開発 開発 開発 ⾮公開 プロダクト 開発 ⾮公開プロダクト レジリサーチ ＋ ⾮公開プロダクト
13. © 2025 estie Inc. 12
14. © 2025 estie Inc. 13
15. © 2025 estie Inc. 14
16. © 2025 estie Inc. 15 2. これまでのestie • チーム変遷とマルチプロダクト化の課題
17. © 2025 estie Inc. かつてのestieのシステム構成 16 ユーザ API連携 JSON CSV PDF ⼿書きメモ テキスト …
18. © 2025 estie Inc. かつてのestieのシステム構成 17 ユーザ ユーザ フィードバック ユーザ フィードバック ユーザ フィードバック ユーザ フィードバック FB FB FB FB
19. © 2025 estie Inc. かつてのestieのシステム構成 18 ユーザ 開発チーム 機能改修 機能改修 機能改修 機能改修 FB FB FB FB
20. © 2025 estie Inc. かつてのestieのシステム構成 19 ユーザ 機能改修 機能改修 機能改修 機能改修 FB FB FB FB データ開発チーム アプリ開発チーム
21. © 2025 estie Inc. チーム構成の変遷と残された課題 20 データマネジメント事業本部 estieのコアバリューを深める マーケットリサーチ事業本部 ユーザに価値を提供をする ロードマップの すり合わせ
22. © 2025 estie Inc. チーム構成の変遷と残された課題 21 データマネジメント事業本部 estieのコアバリューを深める マーケットリサーチ事業本部 ユーザに価値を提供をする ロードマップの すり合わせ • 技術投資の優先順位の決定 • Snowflake を⽤いたデータ基盤構築 • データ品質への投資 • 秘匿データの取り扱いの厳重化 • マルチプロダクト展開へのリソース配分
23. © 2025 estie Inc. チーム構成の変遷と残された課題 22 データマネジメント事業本部 estieのコアバリューを深める マーケットリサーチ事業本部 ユーザに価値を提供をする ロードマップの すり合わせ • 技術投資の優先順位の決定 • Snowflake を⽤いたデータ基盤構築 • データ品質への投資 • 秘匿データの取り扱いの厳重化 • マルチプロダクト展開へのリソース配分 • 開発効率の低下 • “データ開発待ち”の発⽣ • データ<>アプリ間のドメイン知識の乖離 • データパイプラインの強い属組織化 • 速度を求め新規事業で独⾃パイプラインが誕⽣
24. © 2025 estie Inc. チーム構成の変遷と残された課題 23 データマネジメント事業本部 estieのコアバリューを深める マーケットリサーチ事業本部 ユーザに価値を提供をする ロードマップの すり合わせ • 技術投資の優先順位の決定 • Snowflake を⽤いたデータ基盤構築 • データ品質への投資 • 秘匿データの取り扱いの厳重化 • マルチプロダクト展開へのリソース配分 • 開発効率の低下 • “データ開発待ち”の発⽣ • データ<>アプリ間のドメイン知識の乖離 • データパイプラインの強い属組織化 • 速度を求め新規事業で独⾃パイプラインが誕⽣ 速度と品質がトレードオフになり、あちらが⽴てばこちらが⽴たず
25. © 2025 estie Inc. 24 3. 最近のアーキテクチャの変遷と 将来への取り組み • スケールするデータパイプライン開発
26. © 2025 estie Inc. チーム構成の変遷と残された課題 25 データマネジメント事業本部 estieのコアバリューを深める マーケットリサーチ事業本部 ユーザに価値を提供をする ロードマップの すり合わせ • 技術投資の優先順位の決定 • Snowflake を⽤いたデータ基盤構築 • データ品質への投資 • 秘匿データの取り扱いの厳重化 • マルチプロダクト展開へのリソース配分 • 開発効率の低下 • “データ開発待ち”の発⽣ • データ<>アプリ間のドメイン知識の乖離 • データパイプラインの強い属組織化 • 速度を求め新規事業で独⾃パイプラインが誕⽣ 速度と品質がトレードオフになり、あちらが⽴てばこちらが⽴たず 再掲
27. © 2025 estie Inc. 最近のデータチームの課題 26 アセットタイプの増加 • オフィス • 物流施設 • 住宅 • ホテル… プロダクトの増加 • 所有者リサーチ • 案件管理 • J-REIT • ⾮公開プロダクト… 加⼯するデータの増加 提供するデータの増加 マルチプロダクト展開により… 必要なドメイン知識の増加 × × ↓ ↓ ↓ ↓ しかし データパイプライン開発はデータチームの専業になった⼀⽅、 データチームは⼤きくなっていない・スケールしていない プロダクト開発をブロックしてしまう ↓
28. © 2025 estie Inc. どうすればデータパイプライン開発をスケールさせられるか︖ 最近のデータチームの課題 27 データチーム プロダクトチームB プロダクトチームA • ブロックを解消するインセンティブがある • 背景知識を有している • 伝⾔ゲームにならない • 開発にデータパイプラインの知識が必要 • データ関連の⼤きな権限は渡したくない → プロダクト開発者にもデータパイプライン開発に関わってもらう
29. © 2025 estie Inc. データパイプライン開発をスケールさせるにあたっての障害 • 開発にデータパイプラインの知識が必要 • データチームと⼆⼈三脚で開発を⾏う • データチーム側に担当者を設定し、enabling する • 担当者の関わりの⼤きさはプロジェクトごと異なる • 専属で⾏うよりはスケールする • プロジェクトの⼤きさによってはチーム間異動や出張も • データ関連の⼤きな権限は渡したくない • 社内オープンソース化 →詳細は次ページ以降 最近のデータチームの課題 28 データチーム プロダクトチームB プロダクトチームA
30. © 2025 estie Inc. 従来のアーキテクチャ • 不動産データの流通経路はビジネスクリティカルであるため社内にも秘匿しておきたい • 要秘匿の Snowflake 上のデータ・GitHub 上のコードが⼗分に分離されていなかった • 従来はもともと流通経路を知っているデータチームだけがアクセスできたため問題ではなかった • プロダクトチームは秘匿済みの成果物だけにアクセスできた 社内オープンソース化 29
31. © 2025 estie Inc. 整理後のアーキテクチャ • 秘匿データ・コードをデータベース・リポジトリ単位で分離 • 要秘匿のデータ・コードには新しく Data Source 権限を設定 • データチームとは独⽴になったため異動・出張も容易に • データパイプライン開発の核となるデータ・コードは開発に携わる全員に公開 社内オープンソース化 30
32. © 2025 estie Inc. • 前⾴の取り組みによりデータチーム外の⼈もアクセスできるようになった • より安全に contribute してもらうために、以下の取り組みを実施 • Snowflake の zero-copy clone を活⽤し read-only の本番環境から開発者が書き込める開発 データベースを作成するワークフローの整備 • dbt を dry-run する CI や formatter の強制 • Elementary を⽤いた異常検知・担当者への通知 • dbt docs・Elementary report の GitHub pages へのデプロイ 社内オープンソース化 31
33. © 2025 estie Inc. 社内オープンソース化の成果 • ⭐ プロダクトチームの開発をブロックしなくなった • プロダクト側から⼈を張ってもらうことで⾼速開発も可能 • ⭐ やる気のある⼈が勝⼿に contribute してくれるようになった • 副次的な成果 • データチームに依頼するほどでもないロジックの微妙な改善 • すぐに必要ではないがあると便利なオープンデータの取り込み実装 • ⭐ データチームの⼿が空き、より基盤側の整備をする余裕が出た 社内オープンソース化 32
34. © 2025 estie Inc. • 社内オープンソース化により、開発はスケールするようになった しかし… • ⼀⽅実⾏はスケールするようにはなっていない • Snowflake（に限らず DWH）は⾼価なのでチューニングなどしていく必要がある • 空いたデータチームの⼿で改善に取り組んでいく • データの種類は⼤幅に増えた⼀⽅、クオリティの担保が追いついていない • これまではデータチームがすべてを⾒ることができていた • 必要な背景知識があまりに多く、データチームだけでは限界 • → QA チームの合流 将来への取り組み 33
35. © 2025 estie Inc. 34 3. 最近のアーキテクチャの変遷と 将来への取り組み • QAの品質向上に向けた取り組み
36. © 2025 estie Inc. estieのQAチームについて • チーム構成 35 • チームの役割 o 「⾼速な価値提供サイクルの⽀えになる」のミッションのもと、DevとOpsが密に連携 し⾼速な開発を⾏う中で⽣じる品質やリスクの「ブレ」を減らし、顧客への⾼速な価値 提供を⽀える o 「プロダクトの信頼性」と「組織の⽣産性」への貢献を職務としている
37. © 2025 estie Inc. • 顧客に提供するアプリケーション領域を主に担当 • データチームの管轄するデータパイプライン領域は未関与 36 コラボレーション以前の私の担当領域
38. © 2025 estie Inc. o DaaS(Data as a Service)プロダクトのCoreがデータであることは明⽩ o 貢献したいけど貢献⽅法がわからない QAエンジニア × データ品質 事例を漁るも前例が少ない o データパイプライン開発のテスト業務の巻き取りを過去に⾏なってみるも、前提のコンテキスト や知識不⾜によりQAがボトルネックに o そもそもデータ品質とは︖ § データ品質で⽤いられる6指標: 完全性、⼀意性、適時性、有効性、正確性、⼀貫性 § 課題は今どこにあるのか︖ 当時感じていたこと 37 データ品質に貢献できていない漠然としたもどかしさ ...漠然と焦りを感じていたところ、データ品質に向き合う機運が⾼まる
39. © 2025 estie Inc. データチームとのコラボの機運が⾼まる • データ起因の不具合が顕在化し始める o データアセットの拡張により取り扱いデータの種類や量が増加 o それに伴いパイプラインの処理遅延やエラーも増加 o 異常発⽣時のエラー監視や対応にも改善の余地あり 38 データ起因での不具合をプロダクトに伝播させない仕組みを作りたい︕ 技術的な解決策を検討すべくデータチームと相談を重ね、コラボレーションが開始する
40. © 2025 estie Inc. コラボレーション︓「データ起因での不具合をプロダクトに伝播させない仕組み作り」 39 1. プロダクトにとって重要なデータへデータコントラクトの作成 • プロダクトにとって重要なデータを整理 • 重要データに対して、プロダクトチームに蓄積したドメイン知識を活⽤しデータコントラク トを作成（特に重要なコントラクトはCriticalとして定義） • 作成したデータコントラクトを dbt・elementary でテスト実装 募集データに対して実際に追加したCriticalテストの例: • 募集賃料のnull率が直近1ヶ⽉の平均 +3σ(標準偏差)の範囲内 • 募集中判定フラグの 真/偽 の分布が直近1ヶ⽉の平均 ±3σ(標準偏差)の範囲内
41. © 2025 estie Inc. コラボレーション︓「データ起因での不具合をプロダクトに伝播させない仕組み作り」 40 2. 異常時にデータ更新を強制遮断する仕組みであるサーキットブレーカーを導⼊ • ⽣成されたデータに対してデータコントラクトに基づくテストを実⾏ • Criticalテストが失敗した場合はデータ処理が停⽌し、プロダクトデータは更新されない o ➡ データインシデントを未然に防ぐ • 原因を調査し対応を検討 誤検知により⼀時的にデータ更新が停⽌するリスクより、 不具合を⾒逃してデータ品質が低下するリスクを重視。
42. © 2025 estie Inc. コラボレーションの成果 • ⭐ 予期せぬデータの変化を検知し、データの受け⼊れ判断が機械的に可能に o プロダクトにデータが移送される前に検知できるためインシデント予防につながっている • ⭐ 他プロダクトへのサーキットブレーカーの横展開が可能に o 複数存在するDaaSプロダクトへの横展開がすでに始まっている o データチームが横展開しやすい形で作ってくれたこと、QAチームが横断的にコミュニケーションを 取れる体制だったことが要因 技術的な部分以外にもメリットを実感... 41 • ⭐ コラボがきっかけでデータチームとのコミュニケーションが増え、定期的な チェックインの機会ができ、データチームの情報へアクセスがしやすくなった
43. © 2025 estie Inc. QA による異常検知とサーキットブレーカーを 含んだアーキテクチャ（秘匿部分は省略） • Elementary による監視を⾏う • テストの整備はデータチームと プロダクトチームが協⼒ • 異常時には通知 • 重⼤な異常時にはサーキットブレーカーが 作動しプロダクト移送が遮断 QA コラボ後のアーキテクチャ 42
44. © 2025 estie Inc. 社内オープンソース化・QA とのコラボで解決した課題 • データパイプライン開発がスケールするようになった • 新規プロダクトがいくら出てきても開発をブロックしない • データクオリティの担保ができるようになった • QA とのコラボによるもの • もともと QA チームは各プロダクトとの繋がりが強く、背景知識が豊富 • 社内オープンソース化で整備された Elementary の異常検知を活⽤ これまで解決した・しなかった課題 43
45. © 2025 estie Inc. 社内オープンソース化・QA とのコラボでまだ解決していない課題 • データパイプライン実⾏はスケールしていない • 毎⽇の dbt build は 9 時間に迫っている • 社内オープンソース化で空いたデータチームの⼿でチューニングしていく • データテストも完全ではない • テストの偽陽性 – 運⽤の中で閾値を調整 • 異常時の原因調査が難しい – 調査に役⽴つメタデータの整備 • ⭐ もともと汚いデータ – テストによって発⾒できたので直していく これまで解決した・しなかった課題 44
46. © 2025 estie Inc. 前⾴より • データパイプラインのパフォーマンスチューニング • テストのチューニング・データ改善 さらに • パイプラインアーキテクチャ完全統⼀ • 基盤は統⼀されたが、歴史的な経緯によりアセットごとに微妙に実装が異なる • プロダクト間連携 • すべてのデータパイプラインが同じ基盤に集約されたことで、他アセットや他プロダクトのデー タとの連携が容易になってきた 今後の取り組み 45
47. © 2025 estie Inc. 46 4. まとめ
48. © 2025 estie Inc. まとめ 47 データチーム プロダクトチームB プロダクトチームA QAチーム • これまで︓ • アプリ開発チームとデータ開発チームが分離 • 開発サイクルの違いや知識の差分がチーム間で⽣じる状態 • 最近の課題︓開発がスケールしない 社内オープンソース化 → プロダクトチームを enabling し開発に⼊ってもらう • プロダクト開発の需要に応じ開発体制がスケール • QA チームとのコラボでデータクオリティを担保 • 今後の取り組み • データチームはより基盤側にシフト
49. © 2025 estie Inc. データ・QA ともに採⽤しております ともに不動産データを極める仲間を募集しています︕ まとめ 48