Upgrade to Pro — share decks privately, control downloads, hide ads and more …

オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み

 オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み

オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み            
  安 啓一(筑波技術大),小林 敬(オークランド大),佐藤正幸(筑波技術大)

2025年1月音声コミュニケーション研究会
https://asj-sccom.acoustics.jp/meetings/562/

Keiichi Yasu

January 31, 2025
Tweet

More Decks by Keiichi Yasu

Other Decks in Science

Transcript

  1. എܠ • খܕͰলిྗͷͨΊෳࡶͳ࠷దԽ • ඞཁ࠷௿ݶͷॲཧʢय़ݪ ʣ – %41 EJHJUBMTJHOBMQSPDFTTPS ͳͲ

    – ಈ࡞͢Διϑτ΢ΣΞ΋ΑΓϓϩηοαʹ͍ۙܗͰ ͷݴޠʢΞηϯϒϥݴޠ΍ػցޠʣͰॻ͔ΕΔ ೉ಡ • ιϑτ΢ΣΞɾΞϧΰϦζϜඇެ։ – ೖ໳ऀ͕ิௌثػثͷ͜ͱΛֶͼ͍ͨͱࢥͬͨࡍʹ ͸ɼͦͷػثͰ௚઀ಈ࡞͍ͯ͠ΔϓϩάϥϜΛղੳ ͢Δ͜ͱ͸೉͍͠ – ࿦จɾڭՊॻɾղઆॻͰֶΜͩ͜ͱΛࣗ෼Ͱ࣮૷͢ Δ͜ͱ͕ٻΊΒΕ͖ͯͨ 2 தͷॲཧΛษڧ ͍ͨ͠ͷ͚ͩΕ Ͳ΋Θ͔Βͳ͍
  2. ϑΟοςΟϯάͷखॱ  ҩࢣͱͷ࿈ܞɺࣄલͷίϯαϧςΟϯά  ͖͑͜ͷଌఆʢΦʔδΦάϥϜɺޠԻௌྗ ౳ʣ  ิௌثͷબ୒ɾௐ੔  ิௌثͷޮՌଌఆʢϑΝϯΫγϣφϧήΠϯ

    ౳ʣ  ิௌثͷಛੑଌఆ  प೾਺ಛੑɺήΠϯಛੑͳͲΛ֬ೝ  ҩࢣ΁ͷใࠂɺิௌث૷༻ͷέΞ – ใࠂॻͷ࡞੒  2025/2/3 © Keiichi Yasu (keiichi.yasu@gmail.com)
  3. प೾਺ͷಛੑ 8 補聴器非装用時閾値は純音聴力検査結果と 比較し,良聴耳の気導閾値と大きな差が ない か検討する必要がある。 差が大きい場合には,音圧校正方法の誤りか 測定方法 の誤りが考えられる。 ファンクショナ

    ルゲインが聴力レベルの半分(ハーフゲイン) であるか,装用閾値 が 1000Hz で 35dB HL 以 内であればよい。ファンクショナルゲインは低 音域ではハ ーフゲインより少なくてもよく,高 音域の利得は補聴器の性能上ハーフゲイン が得 られない場合がある。 「補聴器適合検査の指針(2010)」
  4. ͜ͱ͹ͷௌ͑͜ͷಛੑ • ޠԻௌྗݕࠪ • ਺ࣈޠදʹ͓͍ͯ ਖ਼౴Ͱ͖ΔԻͷ Ϩϕϧ – 435ޠԻྃղᮢ஋ •

    དࣖͷޠԻྃղᮢ஋͸ɺ ͦͷਓͷฏۉௌྗϨϕ ϧͱ΄΅Ұக͢Δ • Ի͝ͱʹ E#Լ͛ Δ 9 1桁数表
  5. ՝୊Ծ૝ސ٬ͷϑΟοςΟϯά ݁ՌΛ·ͱΊΔ • "͞Μ͕ิௌثൢചళͰิ ௌثͷϑΟοςΟϯάΛ ߦͬͨͱ͜ΖҎԼͷ݁ՌͰ ͋ͬͨɻ • ใࠂ༻ࢴʹ·ͱΊΑɻ 10

    語音聴力 レベル 装用前 語音明 瞭度 装用後 語音明 瞭度 0 10 20 30 30 40 60 50 10 80 60 50 85 70 70 90 80 80 90 100
  6. 14

  7. 15

  8. 16

  9. 18

  10. 20

  11. 22

  12. PQFO.)"ϓϩδΣΫτ • ࣗ਎Ͱ৽نʹ࡞੒ͨ͠Γվมͨ͠Γ͢Δ͜ͱ Λ໨తͱͯ͠։ൃ͞ΕͨΦʔϓϯιʔεิௌ ثιϑτ΢ΣΞ • υΠπͷ0MEFOCVSHେֶ΍)ÖS5FDI͕த৺ ʹͱͳͬͯ։ൃ • Φʔϓϯιʔε։ൃͷํ๏

    – ϓϩάϥϜ͸(JUIVCϦϙδτϦʹͯ؅ཧ – IUUQTHJUIVCDPN)PFS5FDI H(NC)PQFO.)" – -JOVY NBD04 8JOEPXTͷόΠφϦٴͼιʔε ίʔυ͕ϝϯςφϯε – ੈքதͷ୭Ͱ΋։ൃʹࢀՃ͢Δ͜ͱ͕Ͱ͖Δɻ 24
  13. PQFO.)"ϓϩδΣΫτଓ • খܕ1$Ή͚ͷ"3.ϓϩηοαʹ΋ରԠ • ϓϩάϥϜͷओͳ࢖༻ݴޠ͸$΍$ • ։ൃ؀ڥ 4%,4PGUXBSF%FWFMPQNFOU ,JU ͋Γ

    • ৴߸ॲཧͰ͸."5-"#͓Αͼ0DUBWFͱ ΋࿈ܞ͕Մೳ 25 Raspberry Pi 4 の 3.5mm 4 極ジャックに マイク・イヤホンを接続した様子
  14. ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶃ 00-gain 01-dynamic-compression 02-adaptive-differential-microphone 03-coherence-filter 04-prerelease-combination 05-frequency-shifting 06-binaural-beamformer 07-single-channel-noise-reduction 08-feedback-suppression

    09-localizer-steering-beamformer 10-matrixmixer 11-short-time-fourier-transform 12-ac-to-lsl 13-test-calibration 14-dc-simple 26 ήΠϯௐ੔ ৼ෯ͷඇઢܗѹॖॲཧ ϚϧνϚΠΫʹΑΔࠩ෼ॲཧ प೾਺্࣠ͰͷϐʔΫγϑτ ϏʔϜϑΥʔϛϯά ϊΠζআڈ ϑΟʔυόοΫॲཧ प೾਺ॲཧͷ਽ܗ ߍਖ਼৴߸
  15. ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶄ 15-ac-variables 16-node-red-gui-demo 17-PHL-generic-hearing-aid 18-altconfig 19-lsl-to-ac 20-split 21-compile 22-phl-calibration 23-matlab-coder

    24-matlab-wrapper-simple 25-matlab-wrapper-advanced 26-ac-mul 27-matlab-wrapper-spectrum 28-matlab-wrapper-spec2wave 29-python-examples 27 8FCΠϯλʔϑΣʔεͷαϯϓϧ ."5-"#ͱ࿈ܞͨ͠։ൃαϯϓϧ 1ZUIPO͔Β΋ݺͼग़ͤ·͢ PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢
  16. ࠷ۙͷόʔδϣϯͰ௥Ճ͞Εͨ ϓϩάϥϜ • 30-marker-streams • 31-adaptive-feedback-canceller • 32-ci-vocoder • 33-compile-plugin-on-PHL

    • 34-DNN-based-speech-enhancement • 35-hearing-loss-simulation 28 PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢
  17. PQFO.)"ઃఆϑΝΠϧ DGH ͷྫ ϊΠζআڈΞϧΰϦζϜΛΦϑϥΠϯͰదԠ #৴߸ɾνϟωϧͷઃఆ srate = 16000 fragsize =

    256 nchannels_in = 1 #ϥΠϒϥϦͷݺͼग़͠ mhalib = overlapadd #MHAઃఆ mha.fftlen = 512 mha.wnd.len = 512 mha.wnd.exp = 0.5 29 #ϊΠζ཈ѹΞϧΰϦζϜͷద༻ mha.plugin_name = mhachain mha.mhachain.algos = [noise_psd_estimator smooth_cepstrum] mha.mhachain.smooth_cepstrum .noisePow_name = ¥¥noise_psd_estimator #Ի੠ͷೖग़ྗઃఆ iolib = MHAIOFile io.in = ABA_mono.wav io.out = ABA_mono_out.wav ೖྗԻ੠ϑΝΠϧ ग़ྗԻ੠ϑΝΠϧ αϯϓϦϯάप೾਺ ॲཧͷ૭௕ͳͲ νϟωϧ਺ ϦΞϧλΠϜॲཧͷ৔߹ʹ͸ io.con_in = [system:capture_1] io.con_out = [system:playback_1] ͷΑ͏ʹϚΠΫͱεϐʔΧΛࢦఆ
  18. ίϚϯυϥΠϯͰͷ࣮ߦ ࠓճ͸NBD04 $ mha --interactive #ର࿩ϞʔυͰͷىಈ The Open Master Hearing

    Aid (openMHA) server version 4.16.0 (566acb36a39c) Copyright (c) 2005-2021 HoerTech gGmbH, D-26129 Oldenburg, Germany mha [1] ?read:noisereduction.cfg #ઃఆϑΝΠϧಡࠐ (MHA:success) mha [2] cmd=start #ॲཧͷ։࢝ (MHA:success) mha [3] cmd=quit #ॲཧͷऴྃ (MHA:success) $ 30 ग़ྗԻ੠ϑΝΠϧ͕ੜ੒͞ΕΔ
  19. Ի੠ͷධՁ • ฼ԻࢠԻ฼Իͷ૊Έ߹Θͤ ҎԼ7$7Ի੠ – ਓ޻಺ࣖ૷༻ͷͨΊͷޠԻௌऔධՁݕࠪ $* – உੑ࿩ऀछྨ –

    B[B BCB BEB BHB BIB BLB BNB  BOB BQB BSB BTB BUB BXB BZB • ന৭ࡶԻΛॏ৞ • TJOHMFDIBOOFMOPJTFSFEVDUJPOΛΦϑϥΠϯͰద༻ 31 • ௌ֮ো֐ͷ͋Δֶੜ໊ – ࡀஉੑɼத్ࣦௌ ྑࣖ E#ɼิௌث૷༻ͳ͠ • 1$ʹ઀ଓͨ͠ΠϠϗϯͰௌऔ • Ի੠ϑΝΠϧΛ࠶ੜ͠ɺ7$7ͷॻ͖औΓɾฉ͖औΓ΍͢ ͞ͱԻ࣭ͷओ؍ධՁΛ࣮ࢪ • Ի੠ͷ࠶ੜ͸֤ճͷΈ ܹࢗ ࢀՃऀɾํ๏ ࢿྉμ΢ϯϩʔυ 2021年発表(音声コミュニケーション研究会)
  20. ॲཧԻ੠ɾ݁Ռ • ॻ͖औΓਖ਼౴཰ – ॲཧલ  • BUB B[B BLB

    BNB Ͱਖ਼ղ – ॲཧޙ  • BUB B[BͰਖ਼ղ • ฉ͖औΓ΍͢͞ d  ͕࠷ߴ – ॲཧલ – ॲཧޙ • Ի࣭ d – ॲཧલ – ॲཧޙ 32 ࡶԻͳ͠ ന৭ࡶԻॏ৞ ॲཧޙ /aba/ ɾਖ਼ղ཰௿Ί ɾॲཧޙͷํ͕௿Լ SN比は改善 ͋͘·Ͱ໊ͷ݁ՌͷͨΊࠓޙͷݕ౼͕ඞཁ ਖ਼نԽͳͲ͸࣮ࢪͤͣ ͕ࠩͳ͔ͬͨ 2021年発表(音声コミュニケーション研究会)
  21. TJOHMFDIBOOFMOPJTFSFEVDUJPO 3&"%.&UYU 5IJTFYBNQMFTEFNPOTUSBUFTIPXUPBQQMZBDFQTUSBMTNPPUIJOHCBTFEPOOPJTFQPXFSTQFDUSBM EFOTJUZ 5IFNBJOQMVHJOVTFEJTTNPPUI@DFQTUSVN XIJDIEPFTUIFTNPPUIJOH 5IFFTUJNBUFEQTENVTUCFQSPWJEFEBTJOQVUWJB"$WBSJBCMF 5IFQTEFTUJNBUJPOJTEPOFCZUIFOPJTF@QTE@FTUJNBUPSQMVHJO XIJDIEPFT OPJTFQPXFSTQFDUSBM

    EFOTJUZFTUJNBUJPOCBTFEPOBDFQTUSBMEPNBJOTQFFDIQSPEVDUJPONPEFMVTJOHFTUJNBUFETQFFDI QSFTFODFQSPCBCJMJUZ 3FGFSFODFT • $PMJO#SFJUIBVQU 5JNP(FSLNBOO 3BJOFS.BSUJO "/PWFM"1SJPSJ4/3&TUJNBUJPO"QQSPBDI #BTFEPO4FMFDUJWF$FQTUSP5FNQPSBM4NPPUIJOH *&&&*OU$POG"DPVTUJDT 4QFFDI 4JHOBM 1SPDFTTJOH -BT7FHBT /7 64" "QS • 5JNP(FSLNBOO 3BJOFS.BSUJO 0OUIF4UBUJTUJDTPG4QFDUSBM"NQMJUVEFT"GUFS7BSJBODF 3FEVDUJPOCZ5FNQPSBM$FQTUSVN4NPPUIJOHBOE$FQTUSBM/VMMJOH *&&&5SBOT4JHOBM 1SPDFTTJOH 7PM /P QQ /PW • $PMJO#SFJUIBVQU 5JNP(FSLNBOO BOE3BJOFS.BSUJO4QFDUSBM4NPPUIJOH.FUIPEGPS/PJTZ 4JHOBMT &VSPQFBO1BUFOU&1# HSBOUFE0DU %BOJTI1BUFOU%,5  HSBOUFE'FC 641BUFOU64# HSBOUFE/PW • 5JNP(FSLNBOO 3JDIBSE$)FOESJLT 6OCJBTFE..4&CBTFE/PJTF1PXFS&TUJNBUJPOXJUI -PX$PNQMFYJUZBOE-PX5SBDLJOH%FMBZ *&&&5SBOT"VEJP 4QFFDIBOE-BOHVBHF 1SPDFTTJOH 7PM /P QQ .BZ 36 ࢀߟ