Tweet
Tweet

Slide 1

Slide 1 text

IPSJ DICOMO2021 スマートスピーカを⽤いた 間取り推定⼿法の初期的評価 ⽯⽥ 繁⺒*1,2, 城⾕ 知葵*2, 光来出 優⼤*2, 荒川 豊*2 *1公⽴はこだて未来⼤学 *2九州⼤学

Slide 2

Slide 2 text

背景とゴール July 2, 2021 Ishida Lab, Future University Hakodate 2

Slide 3

Slide 3 text

スマートスピーカ (VUI) n 声で家電を操作 p どの家電を p どのように操作するか n 複数の部屋にある 「電気」の操作 p 部屋名などで指定 p でも結構忘れがち… Ishida Lab, Future University Hakodate July 2, 2021 3

Slide 4

Slide 4 text

スマート(?)スピーカ n 声で家電を操作 p どの家電を p どのように操作するか n 複数の部屋にある 「電気」の操作 p 部屋名などで指定 p でも結構忘れがち… Ishida Lab, Future University Hakodate July 2, 2021 4 どの電気ですか？ 電気消して お⾵呂の電気 「お⾵呂の電気」と いうデバイスはあり ません 浴室の！ 「浴室の」というデバ イスはありません

Slide 5

Slide 5 text

真にスマートなスピーカ導⼊ n 全部屋に設置する? p スマートスピーカは普及しつつある[野村総研’19] Ishida Lab, Future University Hakodate July 2, 2021 5 [野村総研’19] 株式会社野村総合研究所, 『ITナビゲーター2020年版』「5G」サービスが本格スタート リアルとデジ タルの融合で関連市場が拡⼤〜 2025年までの市場トレンドを予測 〜, NRIメディアフォーラム. ٔؽؚٝ殴 ؗحثٝ 㻅㹓 殴 㹏꟦ 殴 電気点けて！

Slide 6

Slide 6 text

ゴール n スマートスピーカを置くだけで p ユーザのいる部屋を認識 p ユーザのいる部屋のデバイスを操作 Ishida Lab, Future University Hakodate July 2, 2021 6 ٔؽؚٝ殴 ؗحثٝ 㻅㹓 殴 㹏꟦ 殴 電気点けて！ 寝室からの 指⽰だな はい (寝室の電気ON)

Slide 7

Slide 7 text

スマートスピーカを⽤いた 間取り推定 July 2, 2021 Ishida Lab, Future University Hakodate 7

Slide 8

Slide 8 text

間取り推定による操作対象の特定 1. ⾳を分析して「間取り」を推定 2. 声の⽅向からユーザのいる部屋を認識 July 2, 2021 8 Ishida Lab, Future University Hakodate 部屋の⽅向 ＋ ＝ ♪ ♪ ♪ ♪ 部屋の種別 間取り ＝ ＋ スマートスピーカには数本 のマイクという前提

Slide 9

Slide 9 text

関連研究: 屋内⾳源位置推定 n 反響⾳の影響を軽減する研究 p ピークホールド処理[鈴⽊’09] p サブアレイによる空間平均化[Okamoto’07] p 多数のマイクと3D空間モデルを⽤いた反響予測 に基づく補正[Ishi’13][Ribeiro’10] →多数のマイクや精密な空間モデルが必須， 複雑な信号処理が必須 Ishida Lab, Future University Hakodate July 2, 2021 9 [鈴⽊’09] サブバンドピークホールド処理を⽤いた⾳源⽅向推定法, ⽇本⾳響学会誌, 65(10). [Okamoto’07] Estimation of sound source positions using a surrounding microphone array, Acoustical Science and Technol., 28(3). [Ishi’13] Using multiple microphone arrays and reflections for 3D localization of sound sources, IEEE/RSJ ICIRS. [Ribeiro’10] IEEE Trans. Audio, Speech, Language Process., 18(7).

Slide 10

Slide 10 text

キーアイデア n ⾳源⽅向推定結果の「揺らぎ」に着⽬ p 反響⾳ l 部屋の広さ，部屋に置いてある物などの影響 → 部屋ごとに異なる影響 July 2, 2021 10 Ishida Lab, Future University Hakodate 時刻 時刻 断続的に⾳を出し ながら部屋を移動 ⾓度 ⾓度

Slide 11

Slide 11 text

システム概要 1. マイクアレイ(4本くらい)で⾳を取得 2. Sound Density Map (SDM)を描画 p ⾳源⽅向推定 結果の時間変化 3. データ分割 p ⾳源で分割 4. クラスタリング p 部屋でグループ化 5. 部屋種別を推定 July 2, 2021 11 Ishida Lab, Future University Hakodate Sound Mapper Data Segmentation Clustering Room Type Estimation Steering Vector Sound Data Sound Density Map Room Angle Room Type 1 2 3 4 5

Slide 12

Slide 12 text

Sound Density Map (SDM)描画 n MUSIC法[Schmidt’86]による⾳源⽅向推定 Ishida Lab, Future University Hakodate July 2, 2021 12 [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3). FFT Correlation Eigen Decomposition Steering Vector Sound Data Narrow-Band AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ PMUSIC AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA== PMUSIC(f1) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ== PMUSIC(f2) … AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk a(✓, f) AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw== x(f, t) AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW R(f) AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw== En(f) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg== PMUSIC(fk) Narrow-Band Narrow-Band Wide-Band Frequency Component Correlation Matirx Noise Eigen Vector AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c M Microphones MUSIC法 Sound Density Map (SDM) ⾳源⽅向に ピーク 時刻 パワー ⾓度 ⾓度 時刻 パワー

Slide 13

Slide 13 text

Sound Density Map (SDM)描画 n MUSIC法[Schmidt’86]による⾳源⽅向推定 Ishida Lab, Future University Hakodate July 2, 2021 13 [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3). FFT Correlation Eigen Decomposition Steering Vector Sound Data Narrow-Band AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ PMUSIC AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA== PMUSIC(f1) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ== PMUSIC(f2) … AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk a(✓, f) AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw== x(f, t) AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW R(f) AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw== En(f) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg== PMUSIC(fk) Narrow-Band Narrow-Band Wide-Band Frequency Component Correlation Matirx Noise Eigen Vector AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c M Microphones MUSIC法 ⾳源⽅向に ピーク 時刻 パワー ⾓度 フィルタ処理

Slide 14

Slide 14 text

データ分割: ⾳源で分割 n SDM上の点群を DBSCANで分割 p 同じ部屋の⾳はSDM上で かたまりになるはず → ⾳源を完全に分離しなく てもOK 14 Ishida Lab, Future University Hakodate July 2, 2021 特徴量 時刻 点が属するピークの幅 同時刻における ピーク数 ⾓度 パワー

Slide 15

Slide 15 text

クラスタリング: 部屋でグループ化 n ⾳源をクラスタリング でグループ化 p k-meansを使⽤ l kは部屋数(既知)とした → 部屋⽅向 = 各グループの ⾓度の最頻値 15 Ishida Lab, Future University Hakodate July 2, 2021 特徴量 平均⾓度 ⾓度の幅 平均パワー クラスタ点群の密度 何でもOK

Slide 16

Slide 16 text

部屋種別推定 n 部屋⽅向の⾳を抽出 教師あり学習で分類 p Random Forestを使⽤ Ishida Lab, Future University Hakodate July 2, 2021 16 [⼤内’11] 加速度と⾳で⽇々の⽣活⾏動を認識するActivityAnalyzer, インタラクション. 特徴量 ([⼤内’11]を参考に) 以下の項⽬の 基本統計量※ MFCC ゼロ交差率 ⼆乗平均平⽅根 Room 2 Room 1 Windowing RFC MUSIC法による ビームフォーミング ウィンドウ⻑=1秒 ※平均，最⼤値，最⼩値， 分散，尖度，歪度 何でもOK

Slide 17

Slide 17 text

初期的評価 July 2, 2021 Ishida Lab, Future University Hakodate 17

Slide 18

Slide 18 text

評価環境 n 九⼤内のスマートハウス p AZDEN SGM-990マイクx4本, Behringer UMC404HDレコーダ p マイク間隔5cm, ⾼さ70cm p [email protected] July 2, 2021 18 Ishida Lab, Future University Hakodate Kitchen Bedroom Living Room Washroom Bathroom Microphones 270cm 350cm 258cm 258cm 350cm 166cm データセット (各40秒×20) ⾳源1: 被験者Aの話し声 ⾳源2: 被験者Bの話し声 寝室DS 寝室 寝室(10秒) →キッチン(10秒) →洗⾯所(10秒) →リビング(10秒) と移動 キッチンDS キッチン 洗⾯所DS 洗⾯所 リビングDS リビング

Slide 19

Slide 19 text

評価結果: 部屋⽅向推定性能 n 部屋ごとに⾳源を グループ化する性能 p ARI(調整ランド指標) n 部屋⽅向推定精度 p 部屋⽅向の正解率 July 2, 2021 19 Ishida Lab, Future University Hakodate Kitchen Bedroom Living Room Washroom Bathroom Microphones 270cm 350cm 258cm 258cm 350cm 166cm データセット 平均ARI 部屋⽅向推定精度 寝室DS 0.897 0.783 キッチンDS 0.327 0.683 洗⾯所DS 0.746 0.967 リビングDS 0.925 0.967 全データ 0.725 0.850 部屋⽅向推定結果のヒストグラム 半透明の3⾊の 四⾓形は正解 範囲

Slide 20

Slide 20 text

評価結果: 部屋種別正解率 n 学習データ p 被験者3名 p 120秒の規定⾏動@各部屋， 各⾏動 n 評価データ p 被験者1名 p 30分の⾃由⾏動@各部屋 July 2, 2021 20 Ishida Lab, Future University Hakodate 部屋 ⾏動 リビング テレビの視聴 電話 キッチン ⾷器の整理 ⽫洗い 冷蔵庫・シンク下収納の開閉 寝室 寝返り 寝息を⽴てて睡眠 部屋 ⾏動 リビング テレビの視聴 キッチン ⽫洗い ⾷事 電⼦レンジの使⽤ 寝室 ベッド上でのスマートフォン操作 睡眠 学習データにおける規定⾏動 評価データに含まれる⾏動 平均0.474

Slide 21

Slide 21 text

まとめ July 2, 2021 Ishida Lab, Future University Hakodate 21

Slide 22

Slide 22 text

まとめ n スマートスピーカによる家電操作 p 操作対象機器のある部屋名が省略される場合 n スマートスピーカによる間取り認識 p 推定⾳源⽅向の揺らぎに着⽬して⽅向推定 p 部屋種別を教師あり学習 n 九⼤内スマートハウス実験 p ⾳源の部屋のグループ化: ARI=0.725 p 部屋⽅向正解率: 0.850 p 部屋種別正解率: 0.474 July 2, 2021 22 Ishida Lab, Future University Hakodate

Slide 23

Slide 23 text

© 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0