不動産物件の間取り図情報の深層学習および整数計画法による解析 / Deep Learning and Integer Programming Analysis of Floor Plans of Real Estate Properties

CCSE 2019
https://ccse.jp/2019/

Transcript

1. 不動産物件の間取り図情報の深層学習 および整数計画法による解析 株 式 会 社 L IF U L L A I戦 略 室 主 席 研 究 員 清 ⽥ 陽 司 C C S E 2 0 1 9 （ c o n f e r e n c e , o n c o m p u t e r s c i e n c e f o r e n t e r p r i s e ） 2 0 1 9 . 0 7 . 1 3 東 京 大 学 本 郷 キ ャ ン パ ス 伊 藤 謝 恩 ホ ー ル C o p y r i g h t © L I F U L L A l l R i g h t s R e s e r v e d .
2. 清⽥ 陽司 博⼠（情報学） 株式会社LIFULL AI戦略室 主席研究員 東京⼤学空間情報科学研究センター 客員研究員 1975年 福岡県⽣まれ 2004年 京都⼤学⼤学院情報学研究科 博⼠課程修了 2004-2012年 東京⼤学情報基盤センター 助⼿・助教・特任講師 2007-2011年 株式会社リッテル 上席研究員・取締役CTO 2011年 株式会社LIFULL 主席研究員（バイアウト） 関⼼分野: ⾃然⾔語処理応⽤ → 検索・推薦 → 情報リテラシー (図書館) → ⽣活領域 (不動産、介護 etc.)、産学 連携 主な対外的活動 • ⼈⼯知能学会 編集委員会 編集委員 (2014〜2018) 副委員⻑ (2018〜) • ⼈⼯知能学会 ウェブサイエンス研究会 委員 (2019〜) • 情報処理学会 データベースシステム研究会 幹事 (2017〜)
3. 株式会社LIFULL AI戦略室 • 2018年7⽉、社⻑直轄のAIビジネス実装部⾨として 設置 • 主なミッション • 物件画像への深層学習適⽤ • グローバル不動産市場における物件価値推定 • 不動産マーケティングの⾃動化 • etc. • We are hiring!
6. 間取り図とは？
7. 間取り図認識タスク
8. 間取り図認識の難しさ ⼈体のポース認識 間取り図認識 https://github.com/CMU-Perceptual-Computing-Lab/openpose ⼈体のトポロジーは 固定 間取り図のトポロジーは 任意
9. Simon Fraser Univ. 古川准教授らの グループによる研究 (ICCV 2017採択) Chen Liu, Jiajun Wu, Pushmeet Kohli, Yasutaka Furukawa. 2017. Raster-to-Vector: Revisiting Floorplan Transformation. ICCV 2017
10. Key idea ①ResNet-152による セグメンテーション・ ジャンクションポイント 検出 ②整数計画法による 制約の導⼊
11. セグメンテーションと ジャンクションポイントの検出
12. 整数計画法による制約の導⼊
13. 解析事例
14. 間取り図と室内写真の対応の 深層強化学習による獲得 Chen Liu, Jiajun Wu, Pushmeet Kohli, Yasutaka Furukawa. 2016. Deep Multi-Modal Image Correspondence Learning. arXiv:1612.01225 「左の間取り図に対応する正しい室内写真」を当てるクイズ を⼤量にDNNに解かせ、間取り図と室内写真の対応関係を獲 得させる • 浴室写真の4択クイズで7割の正解率 (⼈間は4割) • 間取り図上のナビゲーションなどへの応⽤も可能
15. 間取り図のグラフ構造化 （東京⼤学 相澤・⼭崎研究室） ⼭⽥ 万太郎, 汪 雪婷, ⼭崎 俊彦, 相澤 清晴. 2019. 深層学習を⽤いた不動産間取り図のグラフ化と物件検索への応⽤. 2019年度⼈⼯知能学会全国⼤会 (JSAI 2019)
16. 国⽴情報学研究所 情報学研究データリポジトリ (NII-IDR) LIFULL HOME’Sデータセット • 2015年11⽉より提供開始 • 国内外90以上の研究組織 で利⽤中 • データセットの内容 • スナップショット • 2015年8⽉現在の全賃貸物件 データ • 画像8300万点 • 間取り図510万点 • ⽉次データ • 2015年7⽉〜2017年6⽉の 24ヶ⽉分 • 緯度・経度が付与 DBSJ Data Challenge参加学⽣向けに、 データセット⼀式を提供中です！
17. まとめ • “multi-modalityにどう対処するか”は、今後の深層 学習の活⽤にとって重要なテーマ • さまざまなアルゴリズムに対する知識が⽣きる • 不動産情報はmulti-modalityの宝庫！
19. 東京⼤学 空間情報科学研究センター 不動産情報科学研究部⾨（寄付講座） 寄付者: 株式会社LIFULL 三井住友トラスト基礎研究所