第1回国土交通省データコンペ参加者向け勉強会③- Snowflake x estie編 -

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 estie Inc. 登壇者紹介 1 青木信株式会社estie 執行役員データマネジメント事業本部事業責任者 • 東京大学数理科学研究科修士課程修了 • アクセンチュアにて、データエンジニア(+データサイエンティスト) • 官公庁関連のデータ基盤刷新/小売業界のCRM基盤構築/通信業界のグループ会社全体への機械学習プロジェクト/etc • 2019年11月、estieに参画 • 2024年2月にデータマネジメント事業本部事業責任者、同年6月より執行役員に就任

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 estie Inc. 会社概要 4 会社名株式会社estie（エスティ）所在地東京都港区赤坂9丁目7-2 東京ミッドタウン・イースト 4F 設立 2018年12月代表取締役平井瑛株主経営陣東京大学エッジキャピタルパートナーズ（UTEC）グロービス・キャピタル・パートナーズ（GCP）グローバルブレイン日本政策投資銀行 Vertex Growth 技術顧問渡辺努（東京大学大学院経済学研究科教授）

Slide 6

Slide 6 text

© 2024 estie Inc. 自社ビル等 estieの事業領域経済的な価値創造の場である「商業用不動産」領域でデジタルインフラを展開資産タイプ Office オフィス Retail 商業施設・アウトレット等 Industrial 物流施設・データセンター等 Hotel ホテル Residential 住宅投資目的資産自己使用目的資産商業用不動産市場（資産: 約275兆円 / 収益: 約16兆円）賃貸住宅市場分譲住宅市場分譲オフィスビジネス等も存在はするが、業としてではなく単純に古くからある自社ビルや工場の所有と言った形態が一般的 5

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2024 estie Inc. プロダクト展開 7 DaaS （データ） SaaS (業務支援) アセットオフィスレジ物流ホテル商業土地(その他) マーケットリサーチツール開発予定開発予定開発予定アセットごとのデータを調査ソリューション支援ツール非公開 Data Platform 領域横断で業務を支援領域深く業務を支援 Middleware（分析・API・認証・権限等）＋独自のデータ基盤開発予定非公開バーティカルSaaSとして業界に深く入り込む複数プロダクトを開発・提供を加速非公開非公開

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2024 estie Inc. 不動産データを扱う上で欠かせないGISデータをGEOGRAPHY型を用いて効果的に格納・活用が可能 ➢ 地理空間データ（地図上の位置や形状）を表現できるデータ型 • 位置情報（緯度と経度）やエリア（国、都市、公園などの形状）を扱うことができる ➢ GEOGRAPHY型向けの便利な関数も用意されている • オブジェクト間の距離計算（ ST_DISTANCE ） • ポリゴン内の面積計算（ ST_AREA ） • オブジェクト間の交叉判定（ ST_INTERSECTS ） • etc メリット①: 地理空間データ型でGISデータを簡単に表現 11 https://www.snowflake.com/en/blog/getting-started-geography-data/

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2024 estie Inc. Pythonベースで簡単なWebアプリケーションを構築出来る Streamlitがネイティブ統合されているメリット②: Streamlit in Snowflakeでインタラクティブな分析 13 ➢ Streamlitは、Pythonでインタラクティブなデータアプリケーションを簡単に作成できるOpensource Framework ➢ SnowflakeにStreamlitがネイティブ統合されており、 Snowflakeに格納されたデータを直接参照することが出来る ➢ GISデータの可視化なども簡単に実現可能用途地域の可視化例: 高さは容積率

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 estie Inc. 提供されているtrain/testデータをSnowflakeに取り込む GUI経由でカラム型の自動推論を活用しながらテーブルに格納学習・テストデータのロードは Snowsight の GUI から可能 • 配布されている .zip は認識せず .csv ではサイズ制限に引っかかるが、.gz に再圧縮すると通る • カラムの型は自動推論だけではエラーが起きることもあるので要調整 Step1-1: 学習・テストデータのロード 16

Slide 18

Slide 18 text

© 2024 estie Inc. コンペで利用が必須となっている国土数値情報を取り込む。 Marketplaceに公開されているデータを利用することも可能国土数値情報を取り込むには主に 2 通り • Snowflake Marketplace に公開されている国土数値情報の加工データをインポートする o Prepper Open Data Bank がシンプルで簡単 • 自前で国土数値情報ダウンロードサイトのデータを取り込む o Python worksheet で数十行で取り込み可能 o 弊社ブログもご参照ください ▪ Snowflake で GIS データを取り込む Step1-2: 国土数値情報のロード 17

Slide 19

Slide 19 text

© 2024 estie Inc. 前述のワークシートやNotebook機能を用いてデータを確認する Worksheet や Notebook でクエリの実行・可視化が可能 • 例えば右の例では次の 2 つを行っている o 賃料の高い 100 件について、座標と 2050 年人口推計メッシュを join する o それを Streamlit を用いて地図上にプロットする Step2: データの確認 18

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 estie Inc. 改善完了したモデルを元にtestデータに対して推論し、 Snowflakeからデータをダウンロードする • Snowparkモデルレジストリに保存したモデルは SQL から呼び出すことができる • SQL worksheet の実行結果からは CSV をダウンロード可能 • ヘッダを取り除けばそのまま提出に使える o ただし例は特徴量がnull のデータを除外している o 提出時には対応が必要なので注意 Step4: 推定・提出 21

Slide 23

Slide 23 text