オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み

オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み　　　　　　　　　　　　
　　安　啓一（筑波技術大），小林　敬（オークランド大），佐藤正幸（筑波技術大）

2025年1月音声コミュニケーション研究会
https://asj-sccom.acoustics.jp/meetings/562/

Transcript

1. ΦʔϓϯιʔεิௌثϓϩδΣΫτ PQFO.)"ͷԻڹڭҭ΁ͷಋೖͷࢼΈ 安啓一（筑波技大）, 小林敬（オークランド大）, 佐藤正幸（筑波技大） 2025/2/3 1 2025/1/31 聴覚研究会・音声コミュニケーション研究会
2. എܠ • খܕͰলిྗͷͨΊෳࡶͳ࠷దԽ • ඞཁ࠷௿ݶͷॲཧʢय़ݪ
   ʣ – %41
   EJHJUBM
   TJHOBM
   QSPDFTTPS ͳͲ – ಈ࡞͢Διϑτ΢ΣΞ΋ΑΓϓϩηοαʹ͍ۙܗͰ ͷݴޠʢΞηϯϒϥݴޠ΍ػցޠʣͰॻ͔ΕΔ ೉ಡ • ιϑτ΢ΣΞɾΞϧΰϦζϜඇެ։ – ೖ໳ऀ͕ิௌثػثͷ͜ͱΛֶͼ͍ͨͱࢥͬͨࡍʹ ͸ɼͦͷػثͰ௚઀ಈ࡞͍ͯ͠ΔϓϩάϥϜΛղੳ ͢Δ͜ͱ͸೉͍͠ – ࿦จɾڭՊॻɾղઆॻͰֶΜͩ͜ͱΛࣗ෼Ͱ࣮૷͢ Δ͜ͱ͕ٻΊΒΕ͖ͯͨ 2 தͷॲཧΛษڧ ͍ͨ͠ͷ͚ͩΕ Ͳ΋Θ͔Βͳ͍
3. ิௌثͷॲཧʢશମ૾ʣ 細井 2011より 3
4. ิௌثͷप೾਺෼ੳػೳ 細井 2011より 4 次回は、補聴器の中の処理について
5. ϑΟοςΟϯάͱ͸ • ࢖༻ऀͷௌྗͷঢ়ଶΛਖ਼֬ʹ೺Ѳ͠ɺ ิௌثͷੑೳΛ࠷େݶൃشͰ͖ΔΑ͏ ࠷దʹௐ੔͢Δ͜ͱ • ਓ޻಺ࣖͰ͸Ϛοϐοάͱ͍͏ 5 日本補聴器販売店協会「補聴器販売従事者のための手引き」より
6. ϑΟοςΟϯάͷखॱ  ҩࢣͱͷ࿈ܞɺࣄલͷίϯαϧςΟϯά  ͖͑͜ͷଌఆʢΦʔδΦάϥϜɺޠԻௌྗ ౳ʣ  ิௌثͷબ୒ɾௐ੔  ิௌثͷޮՌଌఆʢϑΝϯΫγϣφϧήΠϯ ౳ʣ  ิௌثͷಛੑଌఆ  प೾਺ಛੑɺήΠϯಛੑͳͲΛ֬ೝ  ҩࢣ΁ͷใࠂɺิௌث૷༻ͷέΞ – ใࠂॻͷ࡞੒  2025/2/3 © Keiichi Yasu (keiichi.yasu@gmail.com)
7. 7 テクノエイド協会HPより 2025/2/3 © Keiichi Yasu (keiichi.yasu@gmail.com)
8. प೾਺ͷಛੑ 8 補聴器非装用時閾値は純音聴力検査結果と 比較し，良聴耳の気導閾値と大きな差が ない か検討する必要がある。 差が大きい場合には，音圧校正方法の誤りか 測定方法 の誤りが考えられる。 ファンクショナ ルゲインが聴力レベルの半分（ハーフゲイン） であるか，装用閾値 が 1000Hz で 35dB HL 以 内であればよい。ファンクショナルゲインは低 音域ではハ ーフゲインより少なくてもよく，高 音域の利得は補聴器の性能上ハーフゲイン が得 られない場合がある。 「補聴器適合検査の指針（2010）」
9. ͜ͱ͹ͷௌ͑͜ͷಛੑ • ޠԻௌྗݕࠪ • ਺ࣈޠදʹ͓͍ͯ ਖ਼౴Ͱ͖ΔԻͷ Ϩϕϧ – 435ޠԻྃղᮢ஋ • དࣖͷޠԻྃղᮢ஋͸ɺ ͦͷਓͷฏۉௌྗϨϕ ϧͱ΄΅Ұக͢Δ • 
   Ի͝ͱʹ E#
   Լ͛ Δ 9 1桁数表
10. ՝୊
    Ծ૝ސ٬ͷϑΟοςΟϯά ݁ՌΛ·ͱΊΔ • "͞Μ͕ิௌثൢചళͰิ ௌثͷϑΟοςΟϯάΛ ߦͬͨͱ͜ΖҎԼͷ݁ՌͰ ͋ͬͨɻ • ใࠂ༻ࢴʹ·ͱΊΑɻ 10 語音聴力 レベル 装用前 語音明 瞭度 装用後 語音明 瞭度 0 10 20 30 30 40 60 50 10 80 60 50 85 70 70 90 80 80 90 100
11. ิௌثಛੑͷ࣮ଌ • ϑΟοςΟϯά૷ஔʢ"GGJOJUZʣΛ࢖༻ • ิௌثಛੑͷଌఆ 11
12. ิௌثɾਓ޻಺ࣖʹೖྗ͞ΕΔԻ ͷಛ௃Λௐ΂Δ  Cochlear社HP 補聴器販売の手引きより 2025/2/3 © Keiichi Yasu (keiichi.yasu@gmail.com)
13. प೾਺ಛੑ GSFRVFODZ
    SFTQPOTF  • શߴௐ೾࿪Έ5PUBM
    )BSNPOJD
    %JTUPSUJPO
    5)%
    • جຊ৴߸ʹର͢ΔɺഒԻͷׂ߹ • ˋҎԼʹ཈͍͑ͨ
17. ೖग़ྗಛੑ JOQVU
    PVUQVU
    SFTQPOTF  ˜
    ,FJJDIJ
    :BTV
    LFJJDIJZBTV!HNBJMDPN 
19. ߴௐ೾ͻͣΈ IBSNPOJD
    EJTUPSUJPO • શߴௐ೾࿪Έ5PUBM
    )BSNPOJD
    %JTUPSUJPO
    5)%
    – جຊ৴߸ʹର͢ΔɺഒԻͷׂ߹ – ˋҎԼʹ཈͍͑ͨ  IUUQTFEOJUNFEJB DPKQFEOBSUJDMFT OFXTIU NM ΑΓ
21. ΞλοΫɾϦΧόϦ࣌ؒ BUUBDL
    SFDPWFSZ
    UJNF  ˜
    ,FJJDIJ
    :BTV
    LFJJDIJZBTV!HNBJMDPN 
23. ิௌͷಛੑ·Ͱ͸ଌఆ͕ͨ͠ɾɾ • தͷΞϧΰϦζϜ·Ͱ͸Θ͔Βͳ͍ • ޻ֶܥͱͯ͠ɺத਎·Ͱ஌͓͍ͬͯͯ΄ ͍͠ • ࣗ෼ͰΞϧΰϦζϜΛௐ੔ͯ͠΄͍͠ 2025/2/3 23
24. PQFO.)"ϓϩδΣΫτ • ࣗ਎Ͱ৽نʹ࡞੒ͨ͠Γվมͨ͠Γ͢Δ͜ͱ Λ໨తͱͯ͠։ൃ͞ΕͨΦʔϓϯιʔεิௌ ثιϑτ΢ΣΞ • υΠπͷ0MEFOCVSHେֶ΍)ÖS5FDI͕த৺ ʹͱͳͬͯ։ൃ • Φʔϓϯιʔε։ൃͷํ๏ – ϓϩάϥϜ͸(JUIVCϦϙδτϦʹͯ؅ཧ – IUUQTHJUIVCDPN)PFS5FDI H(NC)PQFO.)" – -JOVY
    NBD04
    8JOEPXTͷόΠφϦٴͼιʔε ίʔυ͕ϝϯςφϯε – ੈքதͷ୭Ͱ΋։ൃʹࢀՃ͢Δ͜ͱ͕Ͱ͖Δɻ 24
25. PQFO.)"ϓϩδΣΫτ
    ଓ • খܕ1$Ή͚ͷ"3.ϓϩηοαʹ΋ରԠ • ϓϩάϥϜͷओͳ࢖༻ݴޠ͸$΍$ • ։ൃ؀ڥ 4%,
    4PGUXBSF
    %FWFMPQNFOU
    ,JU ͋Γ • ৴߸ॲཧͰ͸."5-"#͓Αͼ0DUBWFͱ ΋࿈ܞ͕Մೳ 25 Raspberry Pi 4 の 3.5mm 4 極ジャックに マイク・イヤホンを接続した様子
26. ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶃ 00-gain 01-dynamic-compression 02-adaptive-differential-microphone 03-coherence-filter 04-prerelease-combination 05-frequency-shifting 06-binaural-beamformer 07-single-channel-noise-reduction 08-feedback-suppression 09-localizer-steering-beamformer 10-matrixmixer 11-short-time-fourier-transform 12-ac-to-lsl 13-test-calibration 14-dc-simple 26 ήΠϯௐ੔ ৼ෯ͷඇઢܗѹॖॲཧ ϚϧνϚΠΫʹΑΔࠩ෼ॲཧ प೾਺্࣠ͰͷϐʔΫγϑτ ϏʔϜϑΥʔϛϯά ϊΠζআڈ ϑΟʔυόοΫॲཧ प೾਺ॲཧͷ਽ܗ ߍਖ਼৴߸
27. ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶄ 15-ac-variables 16-node-red-gui-demo 17-PHL-generic-hearing-aid 18-altconfig 19-lsl-to-ac 20-split 21-compile 22-phl-calibration 23-matlab-coder 24-matlab-wrapper-simple 25-matlab-wrapper-advanced 26-ac-mul 27-matlab-wrapper-spectrum 28-matlab-wrapper-spec2wave 29-python-examples 27 8FCΠϯλʔϑΣʔεͷαϯϓϧ ."5-"#ͱ࿈ܞͨ͠։ൃαϯϓϧ 1ZUIPO͔Β΋ݺͼग़ͤ·͢ PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢
28. ࠷ۙͷόʔδϣϯͰ௥Ճ͞Εͨ ϓϩάϥϜ • 30-marker-streams • 31-adaptive-feedback-canceller • 32-ci-vocoder • 33-compile-plugin-on-PHL • 34-DNN-based-speech-enhancement • 35-hearing-loss-simulation 28 PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢
29. PQFO.)"
    ઃఆϑΝΠϧ DGH ͷྫ ϊΠζআڈΞϧΰϦζϜΛΦϑϥΠϯͰదԠ #৴߸ɾνϟωϧͷઃఆ srate = 16000 fragsize = 256 nchannels_in = 1 #ϥΠϒϥϦͷݺͼग़͠ mhalib = overlapadd #MHAઃఆ mha.fftlen = 512 mha.wnd.len = 512 mha.wnd.exp = 0.5 29 #ϊΠζ཈ѹΞϧΰϦζϜͷద༻ mha.plugin_name = mhachain mha.mhachain.algos = [noise_psd_estimator smooth_cepstrum] mha.mhachain.smooth_cepstrum .noisePow_name = ¥¥noise_psd_estimator #Ի੠ͷೖग़ྗઃఆ iolib = MHAIOFile io.in = ABA_mono.wav io.out = ABA_mono_out.wav ೖྗԻ੠ϑΝΠϧ ग़ྗԻ੠ϑΝΠϧ αϯϓϦϯάप೾਺ ॲཧͷ૭௕ͳͲ νϟωϧ਺ ϦΞϧλΠϜॲཧͷ৔߹ʹ͸ io.con_in = [system:capture_1] io.con_out = [system:playback_1] ͷΑ͏ʹϚΠΫͱεϐʔΧΛࢦఆ
30. ίϚϯυϥΠϯͰͷ࣮ߦ ࠓճ͸NBD04 $ mha --interactive #ର࿩ϞʔυͰͷىಈ The Open Master Hearing Aid (openMHA) server version 4.16.0 (566acb36a39c) Copyright (c) 2005-2021 HoerTech gGmbH, D-26129 Oldenburg, Germany mha [1] ?read:noisereduction.cfg #ઃఆϑΝΠϧಡࠐ (MHA:success) mha [2] cmd=start #ॲཧͷ։࢝ (MHA:success) mha [3] cmd=quit #ॲཧͷऴྃ (MHA:success) $ 30 ग़ྗԻ੠ϑΝΠϧ͕ੜ੒͞ΕΔ
31. Ի੠ͷධՁ • ฼ԻࢠԻ฼Իͷ૊Έ߹Θͤ ҎԼ7$7Ի੠ – ਓ޻಺ࣖ૷༻ͷͨΊͷޠԻௌऔධՁݕࠪ $* – உੑ࿩ऀछྨ – B[B
    BCB
    BEB
    BHB
    BIB
    BLB
    BNB
    BOB
    BQB
    BSB
    BTB
    
    BUB
    BXB
    BZB • ന৭ࡶԻΛॏ৞ • TJOHMFDIBOOFMOPJTFSFEVDUJPOΛΦϑϥΠϯͰద༻ 31 • ௌ֮ো֐ͷ͋Δֶੜ໊ – ࡀஉੑɼத్ࣦௌ
    ྑࣖ E#ɼิௌث૷༻ͳ͠ • 1$ʹ઀ଓͨ͠ΠϠϗϯͰௌऔ • Ի੠ϑΝΠϧΛ࠶ੜ͠ɺ7$7ͷॻ͖औΓɾฉ͖औΓ΍͢ ͞ͱԻ࣭ͷओ؍ධՁΛ࣮ࢪ • Ի੠ͷ࠶ੜ͸֤ճͷΈ ܹࢗ ࢀՃऀɾํ๏ ࢿྉμ΢ϯϩʔυ 2021年発表（音声コミュニケーション研究会）
32. ॲཧԻ੠ɾ݁Ռ • ॻ͖औΓਖ਼౴཰ – ॲཧલ
    
     • BUB
    B[B
    BLB
    BNB Ͱਖ਼ղ – ॲཧޙ
    
     • BUB
    B[BͰਖ਼ղ • ฉ͖औΓ΍͢͞ d
    
    ͕࠷ߴ – ॲཧલ
     – ॲཧޙ
     • Ի࣭
    d – ॲཧલ
     – ॲཧޙ
     32 ࡶԻͳ͠ ന৭ࡶԻॏ৞ ॲཧޙ /aba/ ɾਖ਼ղ཰௿Ί ɾॲཧޙͷํ͕௿Լ SN比は改善 ͋͘·Ͱ໊ͷ݁ՌͷͨΊࠓޙͷݕ౼͕ඞཁ ਖ਼نԽͳͲ͸࣮ࢪͤͣ ͕ࠩͳ͔ͬͨ 2021年発表（音声コミュニケーション研究会）
33. PQFO.)"ԋश಺༰ • ิௌثͷجຊతͳ৴߸ॲཧ – ྫ
    ϑΟϧλϦϯάɼμΠφϛοΫϨϯδѹॖ • ."5-"#ͷεΫϦϓτͰߦ͍ͬͯΔਓ޻಺ ࣖͷॲཧΛɼPQFO.)"ʹҠ২࣮ͯ͠ߦ – ϦΞϧλΠϜॲཧ΍ઃఆมߋͷଈ࣌൓өΛ࣮ݱ • ֶੜ͕ࣗ෼ͷԻ੠σʔλΛ༻͍ͯΧελϚΠ ζͨ͠ΞϧΰϦζϜͷޮՌΛݕূ͢ΔԋशΛ ࣮ࢪ 2025/2/3 33
34. Ԡ༻ԋश
    ิௌثͷઃܭ • PQFO.)"Λ༻͍ͯิௌثͷϓϩτλΠϓ Λઃܭ͢Δ՝୊ • Ի؀ڥ΍࢖༻ऀͷௌ֮ಛੑʹԠͨ͡࠷ద ͳઃఆΛࢼߦࡨޡ͠ͳ͕Βௐ੔͢Δ࣮ફ తͳֶश • কདྷతʹ͸ɼௌ֮ো֐ͷ͋Δֶੜࣗ਎͕ ࣗ෼ʹ࠷దͳิௌثΛઃఆɾௐ੔Ͱ͖Δ εΩϧΛҭ੒ 2025/2/3 34
35. ·ͱΊͱࠓޙͷల๬ • PQFO.)"Λ׆༻ͨ͠ิௌث͓Αͼਓ޻಺ࣖ ڭҭͷՄೳੑΛఏҊ • ݱঢ়ͷߨٛͰ͸ิௌثಛੑͷଌఆ΍ਓ޻಺ࣖ ͷγϛϡϨʔγϣϯͳͲɼجૅతͳ಺༰ • PQFO.)"Λ࢖༻ͯ͠ࠓޙ͸ϦΞϧλΠϜ ॲཧ΍ΞϧΰϦζϜઃܭͳͲͷԠ༻తͳڭҭ ͕Մೳ – ֶੜ͕ࣗΒͷઃఆΛଈ࠲ʹݕূͰ͖Δ؀ڥΛ੔͑ Δ͜ͱ͕Ͱ͖Δ • কདྷతʹࢧԉٕज़ͷઐ໳Ոͱͯ͠ͷجૅΛܗ ੒͢ΔҰॿͱͳΔՄೳੑ 35
36. TJOHMFDIBOOFMOPJTFSFEVDUJPO 3&"%.&UYU 5IJT
    FYBNQMFT
    EFNPOTUSBUFT
    IPX
    UP
    BQQMZ
    B
    DFQTUSBM
    TNPPUIJOH
    CBTFE
    PO
    OPJTF
    QPXFS
    TQFDUSBM
    EFOTJUZ 5IF
    NBJO
    QMVHJO
    VTFE
    JT
    TNPPUI@DFQTUSVN
    XIJDI
    EPFT
    UIF
    TNPPUIJOH 5IF
    FTUJNBUFE
    QTE
    NVTU
    CF
    QSPWJEFE
    BT
    JOQVU
    WJB
    "$
    WBSJBCMF 5IF
    QTE
    FTUJNBUJPO
    JT
    EPOF
    CZ
    UIF
    OPJTF@QTE@FTUJNBUPS
    QMVHJO
    XIJDI
    EPFT
    OPJTF
    QPXFS
    TQFDUSBM
    EFOTJUZ
    FTUJNBUJPO
    CBTFE
    PO
    B
    DFQTUSBMEPNBJO
    TQFFDI
    QSPEVDUJPO
    NPEFM
    VTJOH
    FTUJNBUFE
    TQFFDI
    QSFTFODF
    QSPCBCJMJUZ 3FGFSFODFT • $PMJO
    #SFJUIBVQU
    5JNP
    (FSLNBOO
    3BJOFS
    .BSUJO
    "
    /PWFM
    "
    1SJPSJ
    4/3
    &TUJNBUJPO
    "QQSPBDI
    #BTFE
    PO
    4FMFDUJWF
    $FQTUSP5FNQPSBM
    4NPPUIJOH
    *&&&
    *OU
    $POG
    "DPVTUJDT
    4QFFDI
    4JHOBM
    1SPDFTTJOH
    -BT
    7FHBT
    /7
    64"
    "QS
     • 5JNP
    (FSLNBOO
    3BJOFS
    .BSUJO
    0O
    UIF
    4UBUJTUJDT
    PG
    4QFDUSBM
    "NQMJUVEFT
    "GUFS
    7BSJBODF
    3FEVDUJPO
    CZ
    5FNQPSBM
    $FQTUSVN
    4NPPUIJOH
    BOE
    $FQTUSBM
    /VMMJOH
    *&&&
    5SBOT
    4JHOBM
    1SPDFTTJOH
    7PM
    
    /P
    
    QQ
    
    /PW
     • $PMJO
    #SFJUIBVQU
    5JNP
    (FSLNBOO
    BOE
    3BJOFS
    .BSUJO
    4QFDUSBM
    4NPPUIJOH
    .FUIPE
    GPS
    /PJTZ
    4JHOBMT
    &VSPQFBO
    1BUFOU
    &1#
    HSBOUFE
    0DU
    
    %BOJTI
    1BUFOU
    %,5
    HSBOUFE
    'FC
    
    64
    1BUFOU
    64#
    HSBOUFE
    /PW
     • 5JNP
    (FSLNBOO
    3JDIBSE
    $
    )FOESJLT
    6OCJBTFE
    ..4&CBTFE
    /PJTF
    1PXFS
    &TUJNBUJPO
    XJUI
    -PX
    $PNQMFYJUZ
    BOE
    -PX
    5SBDLJOH
    %FMBZ
    *&&&
    5SBOT
    "VEJP
    4QFFDI
    BOE
    -BOHVBHF
    1SPDFTTJOH
    7PM
    
    /P
    
    QQ
    
    
    
    .BZ
     36 ࢀߟ