Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[IPSJ-DICOMO2021] スマートスピーカを用いた間取り推定手法の初期的評価 / Initial Evaluation of Room Layout Estimator using Smart Speaker

[IPSJ-DICOMO2021] スマートスピーカを用いた間取り推定手法の初期的評価 / Initial Evaluation of Room Layout Estimator using Smart Speaker

2021年6月30-7月2日
IPSJ DICOMO2021シンポジウム

石田 繁巳, 城谷 知葵, 光来出 優大, 荒川 豊
スマートスピーカを用いた間取り推定手法の初期的評価
情報処理学会マルチメディア, 分散, 協調とモバイルシンポジウム(DICOMO2021), pp.1408-1416, Jun-Jul 2021

paper: http://id.nii.ac.jp/1001/00212990/
pdf: https://pman0214.netlify.app/static/ef6ce649e215ace5651c8b453188624d/ishida21-dicomo.pdf

Shigemi ISHIDA

July 02, 2021
Tweet

More Decks by Shigemi ISHIDA

Other Decks in Research

Transcript

  1. IPSJ DICOMO2021
    スマートスピーカを⽤いた
    間取り推定⼿法の初期的評価
    ⽯⽥ 繁⺒*1,2, 城⾕ 知葵*2, 光来出 優⼤*2, 荒川 豊*2
    *1公⽴はこだて未来⼤学 *2九州⼤学

    View full-size slide

  2. 背景とゴール
    July 2, 2021 Ishida Lab, Future University Hakodate
    2

    View full-size slide

  3. スマートスピーカ (VUI)
    n 声で家電を操作
    p どの家電を
    p どのように操作するか
    n 複数の部屋にある
    「電気」の操作
    p 部屋名などで指定
    p でも結構忘れがち…
    Ishida Lab, Future University Hakodate
    July 2, 2021
    3

    View full-size slide

  4. スマート(?)スピーカ
    n 声で家電を操作
    p どの家電を
    p どのように操作するか
    n 複数の部屋にある
    「電気」の操作
    p 部屋名などで指定
    p でも結構忘れがち…
    Ishida Lab, Future University Hakodate
    July 2, 2021
    4
    どの電気ですか?
    電気消して
    お⾵呂の電気
    「お⾵呂の電気」と
    いうデバイスはあり
    ません
    浴室の!
    「浴室の」というデバ
    イスはありません

    View full-size slide

  5. 真にスマートなスピーカ導⼊
    n 全部屋に設置する?
    p スマートスピーカは普及しつつある[野村総研’19]
    Ishida Lab, Future University Hakodate
    July 2, 2021
    5
    [野村総研’19] 株式会社野村総合研究所, 『ITナビゲーター2020年版』「5G」サービスが本格スタート リアルとデジ
    タルの融合で関連市場が拡⼤〜 2025年までの市場トレンドを予測 〜, NRIメディアフォーラム.
    ٔؽؚٝ殴
    ؗحثٝ
    㻅㹓

    㹏꟦

    電気点けて!

    View full-size slide

  6. ゴール
    n スマートスピーカを置くだけで
    p ユーザのいる部屋を認識
    p ユーザのいる部屋のデバイスを操作
    Ishida Lab, Future University Hakodate
    July 2, 2021
    6
    ٔؽؚٝ殴
    ؗحثٝ
    㻅㹓

    㹏꟦

    電気点けて!
    寝室からの
    指⽰だな
    はい
    (寝室の電気ON)

    View full-size slide

  7. スマートスピーカを⽤いた
    間取り推定
    July 2, 2021 Ishida Lab, Future University Hakodate
    7

    View full-size slide

  8. 間取り推定による操作対象の特定
    1. ⾳を分析して「間取り」を推定
    2. 声の⽅向からユーザのいる部屋を認識
    July 2, 2021
    8
    Ishida Lab, Future University Hakodate
    部屋の⽅向



    + =


    ♪ ♪
    部屋の種別 間取り



    スマートスピーカには数本
    のマイクという前提

    View full-size slide

  9. 関連研究: 屋内⾳源位置推定
    n 反響⾳の影響を軽減する研究
    p ピークホールド処理[鈴⽊’09]
    p サブアレイによる空間平均化[Okamoto’07]
    p 多数のマイクと3D空間モデルを⽤いた反響予測
    に基づく補正[Ishi’13][Ribeiro’10]
    →多数のマイクや精密な空間モデルが必須,
    複雑な信号処理が必須
    Ishida Lab, Future University Hakodate
    July 2, 2021
    9
    [鈴⽊’09] サブバンドピークホールド処理を⽤いた⾳源⽅向推定法, ⽇本⾳響学会誌, 65(10).
    [Okamoto’07] Estimation of sound source positions using a surrounding microphone array, Acoustical Science
    and Technol., 28(3).
    [Ishi’13] Using multiple microphone arrays and reflections for 3D localization of sound sources, IEEE/RSJ ICIRS.
    [Ribeiro’10] IEEE Trans. Audio, Speech, Language Process., 18(7).

    View full-size slide

  10. キーアイデア
    n ⾳源⽅向推定結果の「揺らぎ」に着⽬
    p 反響⾳
    l 部屋の広さ,部屋に置いてある物などの影響
    → 部屋ごとに異なる影響
    July 2, 2021
    10
    Ishida Lab, Future University Hakodate




    時刻 時刻
    断続的に⾳を出し
    ながら部屋を移動
    ⾓度
    ⾓度

    View full-size slide

  11. システム概要
    1. マイクアレイ(4本くらい)で⾳を取得
    2. Sound Density Map (SDM)を描画
    p ⾳源⽅向推定
    結果の時間変化
    3. データ分割
    p ⾳源で分割
    4. クラスタリング
    p 部屋でグループ化
    5. 部屋種別を推定
    July 2, 2021
    11
    Ishida Lab, Future University Hakodate
    Sound
    Mapper
    Data
    Segmentation
    Clustering
    Room Type
    Estimation
    Steering Vector
    Sound Data
    Sound
    Density Map
    Room Angle
    Room
    Type
    1
    2
    3
    4
    5

    View full-size slide

  12. Sound Density Map (SDM)描画
    n MUSIC法[Schmidt’86]による⾳源⽅向推定
    Ishida Lab, Future University Hakodate
    July 2, 2021
    12
    [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3).
    FFT
    Correlation
    Eigen
    Decomposition
    Steering
    Vector
    Sound Data
    Narrow-Band
    AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ
    PMUSIC
    AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA==
    PMUSIC(f1) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ==
    PMUSIC(f2)

    AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk
    a(✓, f)
    AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw==
    x(f, t)
    AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW
    R(f)
    AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw==
    En(f)
    AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg==
    PMUSIC(fk)
    Narrow-Band
    Narrow-Band
    Wide-Band
    Frequency Component
    Correlation Matirx
    Noise Eigen Vector
    AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c
    M Microphones
    MUSIC法
    Sound Density Map (SDM)
    ⾳源⽅向に
    ピーク
    時刻
    パワー
    ⾓度
    ⾓度
    時刻
    パワー

    View full-size slide

  13. Sound Density Map (SDM)描画
    n MUSIC法[Schmidt’86]による⾳源⽅向推定
    Ishida Lab, Future University Hakodate
    July 2, 2021
    13
    [Schmidt’86] Multiple emitter location and signal parameter estimation, Trans. Antennas Propag., 34(3).
    FFT
    Correlation
    Eigen
    Decomposition
    Steering
    Vector
    Sound Data
    Narrow-Band
    AAACBnicZVBNS8NAEN34WeNX1GMvwVLwVJIi6rHQix6EiqYtNCFstpt26WYTdjdCCTl48594Ez2IV3+EF/+NmzaIbR8MPN6bYWZekFAipGX9aGvrG5tb25UdfXdv/+DQODruijjlCDsopjHvB1BgShh2JJEU9xOOYRRQ3Asm7cLvPWIuSMwe5DTBXgRHjIQEQakk36i6sbKL6azjuxGUYx5lt879TTvPfaNmNawZzFVil6QGSnR849sdxiiNMJOIQiEGtpVIL4NcEkRxrtfdVOAEogkc4YGiDEZYeNnsi9ysK2VohjFXxaQ5U/V/ExmMhJhGgeos7hTLXiH+eYurZHjlZYQlqcQMzTeFKTVlbBaZmEPCMZJ0qghEnKhrTTSGHCKpktNVDPby06uk22zYF43m3XmtZZWBVEAVnIIzYINL0ALXoAMcgMATeAFv4F171l61D+1z3rqmlTMnYAHa1y9DoZjJ
    PMUSIC
    AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqHvnPtWya7aM8BV4uSkBHI0feu7149xykmkMENSdh07UV6GhKKYkYlZ7qWSJAiP0IB0NY0QJ9LLZvknsKyVPgxjoV+k4Ew1/21kiEs55oGenGaVy95U/PMWT6nw2stolKSKRHh+KUwZVDGctgH7VBCs2FgThAXVaSEeIoGw0p2ZugZn+dOrpFWrOpfV2v1FqW7nhRTBKTgDFeCAK1AHN6AJXIBBBl7AG3g3no1X48P4nI8WjHznGCzA+PoF5j6VHA==
    PMUSIC(f1) AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCGsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jtg1i24GFYeb7+GYnSBiVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMk4FJi6OWSw6AZKE0Yi4iipGOokgiAeMtINRY+q3n4iQNI4e1TghHkeDiIYUI6Ul3zpp+j2O1FDw7M59uG1MKqFfO/etkl21Z4CrxMlJCeRo+tZ3rx/jlJNIYYak7Dp2orwMCUUxIxOz3EslSRAeoQHpahohTqSXzfJPYFkrfRjGQr9IwZlq/tvIEJdyzAM9Oc0ql72p+OctnlLhtZfRKEkVifD8UpgyqGI4bQP2qSBYsbEmCAuq00I8RAJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDDLyAN/BuPBuvxofxOR8tGPnOMViA8fUL58WVHQ==
    PMUSIC(f2)

    AAACAHicZVDLSsNAFJ3UV42vqLhyM1gKFaQkRdRlwY3LCvYBTSiT6aQdOnkwcyOU0I1/4k50IW79Djf+jZM2iLUHBg7n3Ms9c/xEcAW2/W2U1tY3NrfK2+bO7t7+gXV41FFxKilr01jEsucTxQSPWBs4CNZLJCOhL1jXn9zmfveRScXj6AGmCfNCMop4wCkBLQ2sEzckMPaDjMxqLowZkAscnA+sil2358CrxClIBRVoDawvdxjTNGQRUEGU6jt2Al5GJHAq2MysuqliCaETMmJ9TSMSMuVl8/wzXNXKEAex1C8CPFfNPxsZCZWahr6ezNOq/14u/nrLpyC48TIeJSmwiC4uBanAEOO8DTzkklEQU00IlVynxXRMJKGgOzN1Dc7/T6+STqPuXNUb95eVpl0UUkan6AzVkIOuURPdoRZqI4oy9Ixe0ZvxZLwY78bHYrRkFDvHaAnG5w9XQ5Vk
    a(✓, f)
    AAAB+3icZVDLSsNAFL3xWeMr6tLNYClUkJIUUZcFNy4r2Ae0oUymk3bo5MHMpFhC/sSd6ELc+idu/BsnbRDbHhg4nHMv98zxYs6ksu0fY2Nza3tnt7Rn7h8cHh1bJ6dtGSWC0BaJeCS6HpaUs5C2FFOcdmNBceBx2vEm97nfmVIhWRQ+qVlM3QCPQuYzgpWWBpbVD7Aae376nFX9K6QuB1bZrtlzoHXiFKQMBZoD67s/jEgS0FARjqXsOXas3BQLxQinmVnpJ5LGmEzwiPY0DXFApZvOo2eoopUh8iOhX6jQXDX/baQ4kHIWeHoyDypXvVz885ZPKf/OTVkYJ4qGZHHJTzhSEcqLQEMmKFF8pgkmgum0iIyxwETpukxdg7P66XXSrtecm1r98brcsItCSnAOF1AFB26hAQ/QhBYQmMILvMG7kRmvxofxuRjdMIqdM1iC8fULlDyTSw==
    x(f, t)
    AAAB9nicZVDLSsNAFL3xWeOr6tLNYCnUTUmKqMuCG5dV7APaUCbTSTt0MokzE7GEfoc70YW49WPc+DdO2iC2PTBwOOde7pnjx5wp7Tg/1tr6xubWdmHH3t3bPzgsHh23VJRIQpsk4pHs+FhRzgRtaqY57cSS4tDntO2PbzK//USlYpF40JOYeiEeChYwgrWRvF6I9cgP0vtpJTjvF0tO1ZkBrRI3JyXI0egXv3uDiCQhFZpwrFTXdWLtpVhqRjid2uVeomiMyRgPaddQgUOqvHSWeorKRhmgIJLmCY1mqv1vI8WhUpPQN5NZSrXsZeKft3hKB9deykScaCrI/FKQcKQjlHWABkxSovnEEEwkM2kRGWGJiTZN2aYGd/nTq6RVq7qX1drdRanu5IUU4BTOoAIuXEEdbqEBTSDwCC/wBu/Ws/VqfVif89E1K985gQVYX78+dJIW
    R(f)
    AAAB+nicZVDLSsNAFL3xWeOjUZdugqVQNyUpoi4LIrisYB/QhjCZTtqhk0mYmQgl9kvciS7ErZ/ixr9x0gax7YGBwzn3cs+cIGFUKsf5MTY2t7Z3dkt75v7B4VHZOj7pyDgVmLRxzGLRC5AkjHLSVlQx0ksEQVHASDeY3OZ+94kISWP+qKYJ8SI04jSkGCkt+VZ5ECE1DsLsbubzWnjhWxWn7sxhrxO3IBUo0PKt78EwxmlEuMIMSdl3nUR5GRKKYkZmZnWQSpIgPEEj0teUo4hIL5snn9lVrQztMBb6cWXPVfPfRoYiKadRoCfznHLVy8U/b/mUCm+8jPIkVYTjxaUwZbaK7bwHe0gFwYpNNUFYUJ3WxmMkEFa6LVPX4K5+ep10GnX3qt54uKw0naKQEpzBOdTAhWtowj20oA0YUniBN3g3no1X48P4XIxuGMXOKSzB+PoFL6uTGw==
    En(f)
    AAACAHicZVDNSsNAGNzUvxr/ouLJy2Ip1EtJiqjHQi96ECqattCWsNlu2qW7SdjdCCX04pt4Ez2IV5/Di2/jpg1i24GFYeb7+GbHjxmVyrZ/jMLa+sbmVnHb3Nnd2z+wDo9aMkoEJi6OWCQ6PpKE0ZC4iipGOrEgiPuMtP1xI/PbT0RIGoWPahKTPkfDkAYUI6Ulzzppej2O1Ejw9M59uG1MK4E3Pveskl21Z4CrxMlJCeRoetZ3bxDhhJNQYYak7Dp2rPopEopiRqZmuZdIEiM8RkPS1TREnMh+Oss/hWWtDGAQCf1CBWeq+W8jRVzKCff1ZJZVLnuZ+OctnlLBdT+lYZwoEuL5pSBhUEUwawMOqCBYsYkmCAuq00I8QgJhpTszdQ3O8qdXSatWdS6rtfuLUt3OCymCU3AGKsABV6AObkATuACDFLyAN/BuPBuvxofxOR8tGPnOMViA8fULPuOVVg==
    PMUSIC(fk)
    Narrow-Band
    Narrow-Band
    Wide-Band
    Frequency Component
    Correlation Matirx
    Noise Eigen Vector
    AAAB6nicZVBNS8NAEJ3Urxq/qh69BEvBU0mKqMeCFy9CC/YD2lA220m7dLMJuxuhhP4Cb6IH8epP8uK/cdsGse2Dgcd7M8zMCxLOlHbdH6uwtb2zu1fctw8Oj45PSqdnbRWnkmKLxjyW3YAo5ExgSzPNsZtIJFHAsRNM7ud+5xmlYrF40tME/YiMBAsZJdpIzcdBqexW3QWcTeLlpAw5GoPSd38Y0zRCoSknSvU8N9F+RqRmlOPMrvRThQmhEzLCnqGCRKj8bHHpzKkYZeiEsTQltLNQ7X8TGYmUmkaB6YyIHqt1by7+eaurdHjnZ0wkqUZBl5vClDs6duZ/O0MmkWo+NYRQycy1Dh0TSag26dgmBm/96U3SrlW9m2qteV2uu3kgRbiAS7gCD26hDg/QgBZQQHiBN3i3uPVqfVify9aClc+cwwqsr1+Fio0c
    M Microphones
    MUSIC法
    ⾳源⽅向に
    ピーク
    時刻
    パワー
    ⾓度
    フィルタ処理

    View full-size slide

  14. データ分割: ⾳源で分割
    n SDM上の点群を
    DBSCANで分割
    p 同じ部屋の⾳はSDM上で
    かたまりになるはず
    → ⾳源を完全に分離しなく
    てもOK
    14
    Ishida Lab, Future University Hakodate
    July 2, 2021
    特徴量
    時刻
    点が属するピークの幅
    同時刻における
    ピーク数
    ⾓度
    パワー

    View full-size slide

  15. クラスタリング: 部屋でグループ化
    n ⾳源をクラスタリング
    でグループ化
    p k-meansを使⽤
    l kは部屋数(既知)とした
    → 部屋⽅向 = 各グループの
    ⾓度の最頻値
    15
    Ishida Lab, Future University Hakodate
    July 2, 2021
    特徴量
    平均⾓度
    ⾓度の幅
    平均パワー
    クラスタ点群の密度
    何でもOK

    View full-size slide

  16. 部屋種別推定
    n 部屋⽅向の⾳を抽出
    教師あり学習で分類
    p Random Forestを使⽤
    Ishida Lab, Future University Hakodate
    July 2, 2021
    16
    [⼤内’11] 加速度と⾳で⽇々の⽣活⾏動を認識するActivityAnalyzer, インタラクション.
    特徴量 ([⼤内’11]を参考に)
    以下の項⽬の
    基本統計量※
    MFCC
    ゼロ交差率
    ⼆乗平均平⽅根
    Room 2
    Room 1
    Windowing RFC
    MUSIC法による
    ビームフォーミング
    ウィンドウ⻑=1秒
    ※平均,最⼤値,最⼩値,
    分散,尖度,歪度
    何でもOK

    View full-size slide

  17. 初期的評価
    July 2, 2021 Ishida Lab, Future University Hakodate
    17

    View full-size slide

  18. 評価環境
    n 九⼤内のスマートハウス
    p AZDEN SGM-990マイクx4本,
    Behringer UMC404HDレコーダ
    p マイク間隔5cm, ⾼さ70cm
    p [email protected]
    July 2, 2021
    18
    Ishida Lab, Future University Hakodate



    Kitchen Bedroom
    Living Room
    Washroom
    Bathroom
    Microphones
    270cm 350cm
    258cm 258cm
    350cm
    166cm
    データセット
    (各40秒×20)
    ⾳源1:
    被験者Aの話し声
    ⾳源2:
    被験者Bの話し声
    寝室DS 寝室
    寝室(10秒)
    →キッチン(10秒)
    →洗⾯所(10秒)
    →リビング(10秒)
    と移動
    キッチンDS キッチン
    洗⾯所DS 洗⾯所
    リビングDS リビング

    View full-size slide

  19. 評価結果: 部屋⽅向推定性能
    n 部屋ごとに⾳源を
    グループ化する性能
    p ARI(調整ランド指標)
    n 部屋⽅向推定精度
    p 部屋⽅向の正解率
    July 2, 2021
    19
    Ishida Lab, Future University Hakodate
    Kitchen Bedroom
    Living Room
    Washroom
    Bathroom
    Microphones
    270cm 350cm
    258cm 258cm
    350cm
    166cm
    データセット 平均ARI 部屋⽅向推定精度
    寝室DS 0.897 0.783
    キッチンDS 0.327 0.683
    洗⾯所DS 0.746 0.967
    リビングDS 0.925 0.967
    全データ 0.725 0.850
    部屋⽅向推定結果のヒストグラム
    半透明の3⾊の
    四⾓形は正解
    範囲

    View full-size slide

  20. 評価結果: 部屋種別正解率
    n 学習データ
    p 被験者3名
    p 120秒の規定⾏動@各部屋,
    各⾏動
    n 評価データ
    p 被験者1名
    p 30分の⾃由⾏動@各部屋
    July 2, 2021
    20
    Ishida Lab, Future University Hakodate
    部屋 ⾏動
    リビング テレビの視聴
    電話
    キッチン ⾷器の整理
    ⽫洗い
    冷蔵庫・シンク下収納の開閉
    寝室 寝返り
    寝息を⽴てて睡眠
    部屋 ⾏動
    リビング テレビの視聴
    キッチン ⽫洗い
    ⾷事
    電⼦レンジの使⽤
    寝室 ベッド上でのスマートフォン操作
    睡眠
    学習データにおける規定⾏動
    評価データに含まれる⾏動
    平均0.474

    View full-size slide

  21. まとめ
    July 2, 2021 Ishida Lab, Future University Hakodate
    21

    View full-size slide

  22. まとめ
    n スマートスピーカによる家電操作
    p 操作対象機器のある部屋名が省略される場合
    n スマートスピーカによる間取り認識
    p 推定⾳源⽅向の揺らぎに着⽬して⽅向推定
    p 部屋種別を教師あり学習
    n 九⼤内スマートハウス実験
    p ⾳源の部屋のグループ化: ARI=0.725
    p 部屋⽅向正解率: 0.850
    p 部屋種別正解率: 0.474
    July 2, 2021
    22
    Ishida Lab, Future University Hakodate

    View full-size slide

  23. © 2021 Shigemi ISHIDA, distributed under CC BY-NC 4.0

    View full-size slide