[IPSJ-DICOMO2021] スマートスピーカを用いた間取り推定手法の初期的評価 / Initial Evaluation of Room Layout Estimator using Smart Speaker

2021年6月30-7月2日
IPSJ DICOMO2021シンポジウム

石田 繁巳, 城谷 知葵, 光来出 優大, 荒川 豊
スマートスピーカを用いた間取り推定手法の初期的評価
情報処理学会マルチメディア, 分散, 協調とモバイルシンポジウム（DICOMO2021）, pp.1408-1416, Jun-Jul 2021

paper: http://id.nii.ac.jp/1001/00212990/
pdf: https://pman0214.netlify.app/static/ef6ce649e215ace5651c8b453188624d/ishida21-dicomo.pdf

Transcript

1. IPSJ DICOMO2021 スマートスピーカを⽤いた 間取り推定⼿法の初期的評価 ⽯⽥ 繁⺒*1,2, 城⾕ 知葵*2, 光来出 優⼤*2, 荒川 豊*2 *1公⽴はこだて未来⼤学 *2九州⼤学
2. 背景とゴール July 2, 2021 Ishida Lab, Future University Hakodate 2
3. スマートスピーカ (VUI) n 声で家電を操作 p どの家電を p どのように操作するか n 複数の部屋にある 「電気」の操作 p 部屋名などで指定 p でも結構忘れがち… Ishida Lab, Future University Hakodate July 2, 2021 3
4. スマート(?)スピーカ n 声で家電を操作 p どの家電を p どのように操作するか n 複数の部屋にある 「電気」の操作 p 部屋名などで指定 p でも結構忘れがち… Ishida Lab, Future University Hakodate July 2, 2021 4 どの電気ですか？ 電気消して お⾵呂の電気 「お⾵呂の電気」と いうデバイスはあり ません 浴室の！ 「浴室の」というデバ イスはありません
5. 真にスマートなスピーカ導⼊ n 全部屋に設置する? p スマートスピーカは普及しつつある[野村総研’19] Ishida Lab, Future University Hakodate July 2, 2021 5 [野村総研’19] 株式会社野村総合研究所, 『ITナビゲーター2020年版』「5G」サービスが本格スタート リアルとデジ タルの融合で関連市場が拡⼤〜 2025年までの市場トレンドを予測 〜, NRIメディアフォーラム. ٔؽؚٝ
   殴 ؗحثٝ 㻅㹓 殴 㹏꟦ 殴 電気点けて！
6. ゴール n スマートスピーカを置くだけで p ユーザのいる部屋を認識 p ユーザのいる部屋のデバイスを操作 Ishida Lab, Future University Hakodate July 2, 2021 6 ٔؽؚٝ
   殴 ؗحثٝ 㻅㹓 殴 㹏꟦ 殴 電気点けて！ 寝室からの 指⽰だな はい (寝室の電気ON)
7. スマートスピーカを⽤いた 間取り推定 July 2, 2021 Ishida Lab, Future University Hakodate 7
8. 間取り推定による操作対象の特定 1. ⾳を分析して「間取り」を推定 2. 声の⽅向からユーザのいる部屋を認識 July 2, 2021 8 Ishida Lab, Future University Hakodate 部屋の⽅向
   
   
    
   
    ＋ ＝ ♪ ♪ ♪ ♪ 部屋の種別 間取り ＝ ＋
   スマートスピーカには数本 のマイクという前提
9. 関連研究: 屋内⾳源位置推定 n 反響⾳の影響を軽減する研究 p ピークホールド処理[鈴⽊’09] p サブアレイによる空間平均化[Okamoto’07] p 多数のマイクと3D空間モデルを⽤いた反響予測 に基づく補正[Ishi’13][Ribeiro’10] →多数のマイクや精密な空間モデルが必須， 複雑な信号処理が必須 Ishida Lab, Future University Hakodate July 2, 2021 9 [鈴⽊’09] サブバンドピークホールド処理を⽤いた⾳源⽅向推定法, ⽇本⾳響学会誌, 65(10). [Okamoto’07] Estimation of sound source positions using a surrounding microphone array, Acoustical Science and Technol., 28(3). [Ishi’13] Using multiple microphone arrays and reflections for 3D localization of sound sources, IEEE/RSJ ICIRS. [Ribeiro’10] IEEE Trans. Audio, Speech, Language Process., 18(7).
10. キーアイデア n ⾳源⽅向推定結果の「揺らぎ」に着⽬ p 反響⾳ l 部屋の広さ，部屋に置いてある物などの影響 → 部屋ごとに異なる影響 July 2, 2021 10 Ishida Lab, Future University Hakodate 
            
     時刻 時刻 断続的に⾳を出し ながら部屋を移動 ⾓度 ⾓度
11. システム概要 1. マイクアレイ(4本くらい)で⾳を取得 2. Sound Density Map (SDM)を描画 p ⾳源⽅向推定 結果の時間変化 3. データ分割 p ⾳源で分割 4. クラスタリング p 部屋でグループ化 5. 部屋種別を推定 July 2, 2021 11 Ishida Lab, Future University Hakodate Sound Mapper Data Segmentation Clustering Room Type Estimation Steering Vector Sound Data Sound Density Map Room Angle Room Type 1 2 3 4 5
12. Sound Density Map (SDM)描画 n MUSIC法[Schmidt’86]による⾳源⽅向推定 Ishida Lab, Future University Hakodate July 2, 2021 12 [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3). FFT Correlation Eigen Decomposition Steering Vector Sound Data Narrow-Band <latexit sha1_base64="efRuDYv9aGKtdcCs9eFFUDwJSWg=">AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ</latexit> PMUSIC <latexit sha1_base64="JoupCU7DWhsNfSI3LnzQ4yWlQ58=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA==</latexit> PMUSIC(f1) <latexit sha1_base64="td5vBxd1fIuZk86anZcdQyZPo64=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ==</latexit> PMUSIC(f2) … <latexit sha1_base64="/+Snuy+l7085NUCfV22dfL5VYck=">AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk</latexit> a(✓, f) <latexit sha1_base64="G66eZzL/Im+8JVIHqXdWzZD+4KI=">AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw==</latexit> x(f, t) <latexit sha1_base64="0CB8+QoTUPZjS1c8h0NkTwrVJ2M=">AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW</latexit> R(f) <latexit sha1_base64="sfTp17xqs+gZl3DaBHMvJl+V+fc=">AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw==</latexit> En(f) <latexit sha1_base64="srK5AseOBeGGICoFciQAW47NHP8=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg==</latexit> PMUSIC(fk) Narrow-Band Narrow-Band Wide-Band Frequency Component Correlation Matirx Noise Eigen Vector <latexit sha1_base64="8DqL6w+rUUPnIyk5AKFSMFFWDwg=">AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c</latexit> M Microphones MUSIC法 Sound Density Map (SDM) ⾳源⽅向に ピーク 時刻 パワー ⾓度 ⾓度 時刻 パワー
13. Sound Density Map (SDM)描画 n MUSIC法[Schmidt’86]による⾳源⽅向推定 Ishida Lab, Future University Hakodate July 2, 2021 13 [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3). FFT Correlation Eigen Decomposition Steering Vector Sound Data Narrow-Band <latexit sha1_base64="efRuDYv9aGKtdcCs9eFFUDwJSWg=">AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ</latexit> PMUSIC <latexit sha1_base64="JoupCU7DWhsNfSI3LnzQ4yWlQ58=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA==</latexit> PMUSIC(f1) <latexit sha1_base64="td5vBxd1fIuZk86anZcdQyZPo64=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ==</latexit> PMUSIC(f2) … <latexit sha1_base64="/+Snuy+l7085NUCfV22dfL5VYck=">AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk</latexit> a(✓, f) <latexit sha1_base64="G66eZzL/Im+8JVIHqXdWzZD+4KI=">AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw==</latexit> x(f, t) <latexit sha1_base64="0CB8+QoTUPZjS1c8h0NkTwrVJ2M=">AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW</latexit> R(f) <latexit sha1_base64="sfTp17xqs+gZl3DaBHMvJl+V+fc=">AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw==</latexit> En(f) <latexit sha1_base64="srK5AseOBeGGICoFciQAW47NHP8=">AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg==</latexit> PMUSIC(fk) Narrow-Band Narrow-Band Wide-Band Frequency Component Correlation Matirx Noise Eigen Vector <latexit sha1_base64="8DqL6w+rUUPnIyk5AKFSMFFWDwg=">AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c</latexit> M Microphones MUSIC法 ⾳源⽅向に ピーク 時刻 パワー ⾓度 フィルタ処理
14. データ分割: ⾳源で分割 n SDM上の点群を DBSCANで分割 p 同じ部屋の⾳はSDM上で かたまりになるはず → ⾳源を完全に分離しなく てもOK 14 Ishida Lab, Future University Hakodate July 2, 2021 特徴量 時刻 点が属するピークの幅 同時刻における ピーク数 ⾓度 パワー
15. クラスタリング: 部屋でグループ化 n ⾳源をクラスタリング でグループ化 p k-meansを使⽤ l kは部屋数(既知)とした → 部屋⽅向 = 各グループの ⾓度の最頻値 15 Ishida Lab, Future University Hakodate July 2, 2021 特徴量 平均⾓度 ⾓度の幅 平均パワー クラスタ点群の密度 何でもOK
16. 部屋種別推定 n 部屋⽅向の⾳を抽出 教師あり学習で分類 p Random Forestを使⽤ Ishida Lab, Future University Hakodate July 2, 2021 16 [⼤内’11] 加速度と⾳で⽇々の⽣活⾏動を認識するActivityAnalyzer, インタラクション. 特徴量 ([⼤内’11]を参考に) 以下の項⽬の 基本統計量※ MFCC ゼロ交差率 ⼆乗平均平⽅根 Room 2 Room 1 Windowing RFC MUSIC法による ビームフォーミング ウィンドウ⻑=1秒 ※平均，最⼤値，最⼩値， 分散，尖度，歪度 何でもOK
17. 初期的評価 July 2, 2021 Ishida Lab, Future University Hakodate 17
18. 評価環境 n 九⼤内のスマートハウス p AZDEN SGM-990マイクx4本, Behringer UMC404HDレコーダ p マイク間隔5cm, ⾼さ70cm p 16bit@44.1kHz July 2, 2021 18 Ishida Lab, Future University Hakodate 
        Kitchen Bedroom Living Room Washroom Bathroom Microphones 270cm 350cm 258cm 258cm 350cm 166cm データセット (各40秒×20) ⾳源1: 被験者Aの話し声 ⾳源2: 被験者Bの話し声 寝室DS 寝室 寝室(10秒) →キッチン(10秒) →洗⾯所(10秒) →リビング(10秒) と移動 キッチンDS キッチン 洗⾯所DS 洗⾯所 リビングDS リビング
19. 評価結果: 部屋⽅向推定性能 n 部屋ごとに⾳源を グループ化する性能 p ARI(調整ランド指標) n 部屋⽅向推定精度 p 部屋⽅向の正解率 July 2, 2021 19 Ishida Lab, Future University Hakodate Kitchen Bedroom Living Room Washroom Bathroom Microphones 270cm 350cm 258cm 258cm 350cm 166cm データセット 平均ARI 部屋⽅向推定精度 寝室DS 0.897 0.783 キッチンDS 0.327 0.683 洗⾯所DS 0.746 0.967 リビングDS 0.925 0.967 全データ 0.725 0.850 部屋⽅向推定結果のヒストグラム 半透明の3⾊の 四⾓形は正解 範囲
20. 評価結果: 部屋種別正解率 n 学習データ p 被験者3名 p 120秒の規定⾏動@各部屋， 各⾏動 n 評価データ p 被験者1名 p 30分の⾃由⾏動@各部屋 July 2, 2021 20 Ishida Lab, Future University Hakodate 部屋 ⾏動 リビング テレビの視聴 電話 キッチン ⾷器の整理 ⽫洗い 冷蔵庫・シンク下収納の開閉 寝室 寝返り 寝息を⽴てて睡眠 部屋 ⾏動 リビング テレビの視聴 キッチン ⽫洗い ⾷事 電⼦レンジの使⽤ 寝室 ベッド上でのスマートフォン操作 睡眠 学習データにおける規定⾏動 評価データに含まれる⾏動 平均0.474
21. まとめ July 2, 2021 Ishida Lab, Future University Hakodate 21
22. まとめ n スマートスピーカによる家電操作 p 操作対象機器のある部屋名が省略される場合 n スマートスピーカによる間取り認識 p 推定⾳源⽅向の揺らぎに着⽬して⽅向推定 p 部屋種別を教師あり学習 n 九⼤内スマートハウス実験 p ⾳源の部屋のグループ化: ARI=0.725 p 部屋⽅向正解率: 0.850 p 部屋種別正解率: 0.474 July 2, 2021 22 Ishida Lab, Future University Hakodate
23. © 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0