自動と手動の両輪で開発するデータクレンジング

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2025 estie Inc. • Ryosuke Lin Yamamoto / 山本亮介 • 社内で unique でなかったので妻の姓を名乗っています • https://github.com/Ryosuke839 • 株式会社estie データマネジメント部スタッフエンジニア • データパイプラインの設計・実装 • 共通データ API の開発 • プロダクトチームでのデータ活用の enabling など • 2024 年 4 月入社 • 以前は音声認識バックエンドを C++ で書いていたもののレイオフに遭いました自己紹介 2

Slide 4

Slide 4 text

© 2025 estie Inc. 会社概要 3 会社名株式会社estie（エスティ）所在地東京都港区赤坂9丁目7-2 東京ミッドタウン・イースト 4F 設立 2018年12月代表取締役平井瑛主要株主経営陣東京大学エッジキャピタルパートナーズ（UTEC）グロービス・キャピタル・パートナーズ（GCP）グローバルブレイン日本政策投資銀行 Vertex Growth 技術顧問渡辺努（東京大学大学院経済学研究科教授）

Slide 5

Slide 5 text

© 2025 estie Inc. 自社ビル等 estieの事業領域経済的な価値創造の場である「商業用不動産」領域でデジタルインフラを展開資産タイプ Office オフィス Retail 商業施設・アウトレット等 Industrial 物流施設・データセンター等 Hotel ホテル Residential 住宅投資目的資産自己使用目的資産商業用不動産市場（資産: 約275兆円 / 収益: 約16兆円）賃貸住宅市場分譲住宅市場分譲オフィスビジネス等も存在はするが、業としてではなく単純に古くからある自社ビルや工場の所有と言った形態が一般的 4

Slide 6

Slide 6 text

© 2025 estie Inc. estieのプロダクト展開 5 DaaS （データ） SaaS (業務支援) アセットオフィスレジ物流ホテル商業土地(その他) マーケットリサーチツール開発予定開発予定開発予定アセットごとのデータを調査ソリューション支援ツール非公開 Data Platform 領域横断で業務を支援領域深く業務を支援 Middleware（分析・API・認証・権限等）＋独自のデータ基盤開発予定非公開バーティカルSaaSとして業界に深く入り込む複数プロダクトを開発・提供を加速非公開非公開

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2025 estie Inc. 複数のデータパートナーからデータ提供を受けており、データの仕様は様々 • 持っているカラム • カラムの仕様（坪・平米単位、自由記述など） • 更新頻度（毎日〜毎月、不定期など様々） • カバーエリア（全国、都内のみなど）さらに、データの仕様は変更されることもある → 組み合わせることでより新鮮でより多くをカバーしたデータを作る estieのデータパートナー 10

Slide 12

Slide 12 text

© 2025 estie Inc. 住友不動産九段ビル（本日の会場）についてデータパートナーはどのような情報を持っているか estieで扱うデータオフィス編 11 { "name": "住友不動産九段ビル", "address": "九段北一丁目", "completed": "2006-06", "ground_floor": null, "basement": null, "standard_floor_area": null, "gross_floor_area": 5381.2 } { "name": "住友不動産九段ビル", "address": "九段北1-8-10", "completed": "2006-06", "ground_floor": 15, "basement": 1, "standard_floor_area": 311.8, "gross_floor_area": null } { "name": "住友不動産九段ビル", "address": "九段北1丁目8-10", "completed": "2006-06", "ground_floor": 15, "basement": null, "standard_floor_area": 311.6, "gross_floor_area": 5381.2 } • 複数のデータパートナーから同じビルの情報が来ている • 名前は一致している（小規模なビルだとよくかぶる） • 住所の表現には揺れがある • 地階の情報を持っていないパートナーもある • 面積には揺れがある

Slide 13

Slide 13 text

© 2025 estie Inc. 住宅は 1 棟ごとの規模が小さい分、多彩なデータが出現 estieで扱うデータ住宅編 12 • ほとんど同じ建物に見えるが微妙に違う • Google Maps で見てみると… { "name": "コーポ古川", "address": "是政1丁目23-8", "completed": "1977-05", "ground_floor": 2, "unit_count": 4 } { "name": "コーポ古川", "address": "是政1丁目23-5", "completed": "1977-05", "ground_floor": 2, "unit_count": 6 }

Slide 14

Slide 14 text

© 2025 estie Inc. 住宅は 1 棟ごとの規模が小さい分、多彩なデータが出現 estieで扱うデータ住宅編 13 { "name": "コーポ古川", "address": "是政1丁目23-8", "completed": "1977-05", "ground_floor": 2, "unit_count": 4 } { "name": "コーポ古川", "address": "是政1丁目23-5", "completed": "1977-05", "ground_floor": 2, "unit_count": 6 } • ほとんど同じ建物に見えるが微妙に違う • Google Maps で見てみると… • 同名の建物が 2 棟存在する！ • なお微妙に違っても同じ建物のこともある

Slide 15

Slide 15 text

© 2025 estie Inc. 人手でなんとかできる量ではないので名寄せを自動化したい…が人の目が入らなければどうにもならないデータも多数 →ある程度は自動で、信頼性が低いデータや重要なデータについては手動入力によるデータクレンジングが可能なデータパイプラインが必要 estieで扱うデータの量 14 名寄せ前棟数名寄せ後棟数名寄せ後募集数更新頻度オフィス 40 万 9 万 40 万毎日住宅 600 万 200 万 900 万毎日物流施設 7 万 2 万 2 万毎日

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2025 estie Inc. ここまでのデータの特徴から、パイプラインには以下が求められる • データパートナーの追加・削減に対応できる • パートナーの追加・カバレッジ（地域・期間）の追加に対応できる • パイプラインを回し直すことでデータの削除もできる • 揺れのある重複のあるデータを名寄せすることができる • ある程度は自動で名寄せすることができる • 必要に応じて手動で名寄せすることもできる • あとから変更することもできるパイプラインの要件 16

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2025 estie Inc. • 加工パイプラインではパフォーマンス上の問題を回避するため incremental model が多い • 毎日のデータ受領に対しては incremental model で対応可能 • 過去データ追加やデータ削除に対応するには full refresh が必要 → 手動入力・名寄せ結果を保存するテーブルを dbt full-refresh 対象モデルから分離しておく回し直せるパイプライン 18

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2025 estie Inc. 手動名寄せ用の各種リソースもリポジトリ上で管理 • Streamlit in Snowflake • Snowflake CLI に含まれる Streamlit デプロイコマンドを利用 • CI でデプロイ • Snowflake 上の非 dbt 管理テーブル • schemachange（Snowflake 用マイグレーションツール）を利用 • CI でマイグレーションを適用手動名寄せ用のリソース管理 21