オープンソース補聴器プロジェクトopenMHAの音響教育への導入の試み

Slide 1

Slide 1 text

ΦʔϓϯιʔεิௌثϓϩδΣΫτ PQFO.)"ͷԻڹڭҭ΁ͷಋೖͷࢼΈ 安啓一（筑波技大）, 小林敬（オークランド大）, 佐藤正幸（筑波技大） 2025/2/3 1 2025/1/31 聴覚研究会・音声コミュニケーション研究会

Slide 2

Slide 2 text

എܠ • খܕͰলిྗͷͨΊෳࡶͳ࠷దԽ • ඞཁ࠷௿ݶͷॲཧʢय़ݪ ʣ – %41 EJHJUBMTJHOBMQSPDFTTPS ͳͲ – ಈ࡞͢Διϑτ΢ΣΞ΋ΑΓϓϩηοαʹ͍ۙܗͰ ͷݴޠʢΞηϯϒϥݴޠ΍ػցޠʣͰॻ͔ΕΔ ೉ಡ • ιϑτ΢ΣΞɾΞϧΰϦζϜඇެ։ – ೖ໳ऀ͕ิௌثػثͷ͜ͱΛֶͼ͍ͨͱࢥͬͨࡍʹ ͸ɼͦͷػثͰ௚઀ಈ࡞͍ͯ͠ΔϓϩάϥϜΛղੳ ͢Δ͜ͱ͸೉͍͠ – ࿦จɾڭՊॻɾղઆॻͰֶΜͩ͜ͱΛࣗ෼Ͱ࣮૷͢ Δ͜ͱ͕ٻΊΒΕ͖ͯͨ 2 தͷॲཧΛษڧ ͍ͨ͠ͷ͚ͩΕ Ͳ΋Θ͔Βͳ͍

Slide 3

Slide 3 text

ิௌثͷॲཧʢશମ૾ʣ 細井 2011より 3

Slide 4

Slide 4 text

ิௌثͷप೾਺෼ੳػೳ 細井 2011より 4 次回は、補聴器の中の処理について

Slide 5

Slide 5 text

ϑΟοςΟϯάͱ͸ • ࢖༻ऀͷௌྗͷঢ়ଶΛਖ਼֬ʹ೺Ѳ͠ɺ ิௌثͷੑೳΛ࠷େݶൃشͰ͖ΔΑ͏ ࠷దʹௐ੔͢Δ͜ͱ • ਓ޻಺ࣖͰ͸Ϛοϐοάͱ͍͏ 5 日本補聴器販売店協会「補聴器販売従事者のための手引き」より

Slide 6

Slide 6 text

ϑΟοςΟϯάͷखॱ ҩࢣͱͷ࿈ܞɺࣄલͷίϯαϧςΟϯά ͖͑͜ͷଌఆʢΦʔδΦάϥϜɺޠԻௌྗ ౳ʣ ิௌثͷબ୒ɾௐ੔ ิௌثͷޮՌଌఆʢϑΝϯΫγϣφϧήΠϯ ౳ʣ ิௌثͷಛੑଌఆ प೾਺ಛੑɺήΠϯಛੑͳͲΛ֬ೝ ҩࢣ΁ͷใࠂɺิௌث૷༻ͷέΞ – ใࠂॻͷ࡞੒ 2025/2/3 © Keiichi Yasu ([email protected])

Slide 7

Slide 7 text

7 テクノエイド協会HPより 2025/2/3 © Keiichi Yasu ([email protected])

Slide 8

Slide 8 text

प೾਺ͷಛੑ 8 補聴器非装用時閾値は純音聴力検査結果と比較し，良聴耳の気導閾値と大きな差がないか検討する必要がある。差が大きい場合には，音圧校正方法の誤りか測定方法の誤りが考えられる。ファンクショナルゲインが聴力レベルの半分（ハーフゲイン）であるか，装用閾値が 1000Hz で 35dB HL 以内であればよい。ファンクショナルゲインは低音域ではハーフゲインより少なくてもよく，高音域の利得は補聴器の性能上ハーフゲインが得られない場合がある。「補聴器適合検査の指針（2010）」

Slide 9

Slide 9 text

͜ͱ͹ͷௌ͑͜ͷಛੑ • ޠԻௌྗݕࠪ • ਺ࣈޠදʹ͓͍ͯ ਖ਼౴Ͱ͖ΔԻͷ Ϩϕϧ – 435ޠԻྃղᮢ஋ • དࣖͷޠԻྃղᮢ஋͸ɺ ͦͷਓͷฏۉௌྗϨϕ ϧͱ΄΅Ұக͢Δ • Ի͝ͱʹ E#Լ͛ Δ 9 1桁数表

Slide 10

Slide 10 text

՝୊Ծ૝ސ٬ͷϑΟοςΟϯά ݁ՌΛ·ͱΊΔ • "͞Μ͕ิௌثൢചళͰิ ௌثͷϑΟοςΟϯάΛ ߦͬͨͱ͜ΖҎԼͷ݁ՌͰ ͋ͬͨɻ • ใࠂ༻ࢴʹ·ͱΊΑɻ 10 語音聴力レベル装用前語音明瞭度装用後語音明瞭度 0 10 20 30 30 40 60 50 10 80 60 50 85 70 70 90 80 80 90 100

Slide 11

Slide 11 text

ิௌثಛੑͷ࣮ଌ • ϑΟοςΟϯά૷ஔʢ"GGJOJUZʣΛ࢖༻ • ิௌثಛੑͷଌఆ 11

Slide 12

Slide 12 text

ิௌثɾਓ޻಺ࣖʹೖྗ͞ΕΔԻ ͷಛ௃Λௐ΂Δ Cochlear社HP 補聴器販売の手引きより 2025/2/3 © Keiichi Yasu ([email protected])

Slide 13

Slide 13 text

प೾਺ಛੑ GSFRVFODZSFTQPOTF • શߴௐ೾࿪Έ5PUBM)BSNPOJD%JTUPSUJPO 5)% • جຊ৴߸ʹର͢ΔɺഒԻͷׂ߹ • ˋҎԼʹ཈͍͑ͨ

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

ೖग़ྗಛੑ JOQVUPVUQVUSFTQPOTF ,FJJDIJ:BTV LFJJDIJZBTV!HNBJMDPN

Slide 18

Slide 18 text

Slide 19

Slide 19 text

ߴௐ೾ͻͣΈ IBSNPOJDEJTUPSUJPO • શߴௐ೾࿪Έ5PUBM)BSNPOJD%JTUPSUJPO 5)% – جຊ৴߸ʹର͢ΔɺഒԻͷׂ߹ – ˋҎԼʹ཈͍͑ͨ IUUQTFEOJUNFEJB DPKQFEOBSUJDMFT OFXTIU NM ΑΓ

Slide 20

Slide 20 text

Slide 21

Slide 21 text

ΞλοΫɾϦΧόϦ࣌ؒ BUUBDLSFDPWFSZUJNF ,FJJDIJ:BTV LFJJDIJZBTV!HNBJMDPN

Slide 22

Slide 22 text

Slide 23

Slide 23 text

ิௌͷಛੑ·Ͱ͸ଌఆ͕ͨ͠ɾɾ • தͷΞϧΰϦζϜ·Ͱ͸Θ͔Βͳ͍ • ޻ֶܥͱͯ͠ɺத਎·Ͱ஌͓͍ͬͯͯ΄ ͍͠ • ࣗ෼ͰΞϧΰϦζϜΛௐ੔ͯ͠΄͍͠ 2025/2/3 23

Slide 24

Slide 24 text

PQFO.)"ϓϩδΣΫτ • ࣗ਎Ͱ৽نʹ࡞੒ͨ͠Γվมͨ͠Γ͢Δ͜ͱ Λ໨తͱͯ͠։ൃ͞ΕͨΦʔϓϯιʔεิௌ ثιϑτ΢ΣΞ • υΠπͷ0MEFOCVSHେֶ΍)ÖS5FDI͕த৺ ʹͱͳͬͯ։ൃ • Φʔϓϯιʔε։ൃͷํ๏ – ϓϩάϥϜ͸(JUIVCϦϙδτϦʹͯ؅ཧ – IUUQTHJUIVCDPN)PFS5FDI H(NC)PQFO.)" – -JOVY NBD04 8JOEPXTͷόΠφϦٴͼιʔε ίʔυ͕ϝϯςφϯε – ੈքதͷ୭Ͱ΋։ൃʹࢀՃ͢Δ͜ͱ͕Ͱ͖Δɻ 24

Slide 25

Slide 25 text

PQFO.)"ϓϩδΣΫτଓ • খܕ1$Ή͚ͷ"3.ϓϩηοαʹ΋ରԠ • ϓϩάϥϜͷओͳ࢖༻ݴޠ͸$΍$ • ։ൃ؀ڥ 4%,4PGUXBSF%FWFMPQNFOU ,JU ͋Γ • ৴߸ॲཧͰ͸."5-"#͓Αͼ0DUBWFͱ ΋࿈ܞ͕Մೳ 25 Raspberry Pi 4 の 3.5mm 4 極ジャックにマイク・イヤホンを接続した様子

Slide 26

Slide 26 text

ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶃ 00-gain 01-dynamic-compression 02-adaptive-differential-microphone 03-coherence-filter 04-prerelease-combination 05-frequency-shifting 06-binaural-beamformer 07-single-channel-noise-reduction 08-feedback-suppression 09-localizer-steering-beamformer 10-matrixmixer 11-short-time-fourier-transform 12-ac-to-lsl 13-test-calibration 14-dc-simple 26 ήΠϯௐ੔ ৼ෯ͷඇઢܗѹॖॲཧ ϚϧνϚΠΫʹΑΔࠩ෼ॲཧ प೾਺্࣠ͰͷϐʔΫγϑτ ϏʔϜϑΥʔϛϯά ϊΠζআڈ ϑΟʔυόοΫॲཧ प೾਺ॲཧͷ਽ܗ ߍਖ਼৴߸

Slide 27

Slide 27 text

ॆ࣮ͨ͠ϓϩάϥϜαϯϓϧᶄ 15-ac-variables 16-node-red-gui-demo 17-PHL-generic-hearing-aid 18-altconfig 19-lsl-to-ac 20-split 21-compile 22-phl-calibration 23-matlab-coder 24-matlab-wrapper-simple 25-matlab-wrapper-advanced 26-ac-mul 27-matlab-wrapper-spectrum 28-matlab-wrapper-spec2wave 29-python-examples 27 8FCΠϯλʔϑΣʔεͷαϯϓϧ ."5-"#ͱ࿈ܞͨ͠։ൃαϯϓϧ 1ZUIPO͔Β΋ݺͼग़ͤ·͢ PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢

Slide 28

Slide 28 text

࠷ۙͷόʔδϣϯͰ௥Ճ͞Εͨ ϓϩάϥϜ • 30-marker-streams • 31-adaptive-feedback-canceller • 32-ci-vocoder • 33-compile-plugin-on-PHL • 34-DNN-based-speech-enhancement • 35-hearing-loss-simulation 28 PQFO.)"ͷόʔδϣϯ্͕͕Δ͝ͱʹɺαϯϓϧ͕૿͑ͯΏ͖·͢

Slide 29

Slide 29 text

PQFO.)"ઃఆϑΝΠϧ DGH ͷྫ ϊΠζআڈΞϧΰϦζϜΛΦϑϥΠϯͰదԠ #৴߸ɾνϟωϧͷઃఆ srate = 16000 fragsize = 256 nchannels_in = 1 #ϥΠϒϥϦͷݺͼग़͠ mhalib = overlapadd #MHAઃఆ mha.fftlen = 512 mha.wnd.len = 512 mha.wnd.exp = 0.5 29 #ϊΠζ཈ѹΞϧΰϦζϜͷద༻ mha.plugin_name = mhachain mha.mhachain.algos = [noise_psd_estimator smooth_cepstrum] mha.mhachain.smooth_cepstrum .noisePow_name = ¥¥noise_psd_estimator #Ի੠ͷೖग़ྗઃఆ iolib = MHAIOFile io.in = ABA_mono.wav io.out = ABA_mono_out.wav ೖྗԻ੠ϑΝΠϧ ग़ྗԻ੠ϑΝΠϧ αϯϓϦϯάप೾਺ ॲཧͷ૭௕ͳͲ νϟωϧ਺ ϦΞϧλΠϜॲཧͷ৔߹ʹ͸ io.con_in = [system:capture_1] io.con_out = [system:playback_1] ͷΑ͏ʹϚΠΫͱεϐʔΧΛࢦఆ

Slide 30

Slide 30 text

ίϚϯυϥΠϯͰͷ࣮ߦ ࠓճ͸NBD04 $ mha --interactive #ର࿩ϞʔυͰͷىಈ The Open Master Hearing Aid (openMHA) server version 4.16.0 (566acb36a39c) Copyright (c) 2005-2021 HoerTech gGmbH, D-26129 Oldenburg, Germany mha [1] ?read:noisereduction.cfg #ઃఆϑΝΠϧಡࠐ (MHA:success) mha [2] cmd=start #ॲཧͷ։࢝ (MHA:success) mha [3] cmd=quit #ॲཧͷऴྃ (MHA:success) $ 30 ग़ྗԻ੠ϑΝΠϧ͕ੜ੒͞ΕΔ

Slide 31

Slide 31 text

Ի੠ͷධՁ • ฼ԻࢠԻ฼Իͷ૊Έ߹Θͤ ҎԼ7$7Ի੠ – ਓ޻಺ࣖ૷༻ͷͨΊͷޠԻௌऔධՁݕࠪ $* – உੑ࿩ऀछྨ – B[B BCB BEB BHB BIB BLB BNB BOB BQB BSB BTB BUB BXB BZB • ന৭ࡶԻΛॏ৞ • TJOHMFDIBOOFMOPJTFSFEVDUJPOΛΦϑϥΠϯͰద༻ 31 • ௌ֮ো֐ͷ͋Δֶੜ໊ – ࡀஉੑɼத్ࣦௌ ྑࣖ E#ɼิௌث૷༻ͳ͠ • 1$ʹ઀ଓͨ͠ΠϠϗϯͰௌऔ • Ի੠ϑΝΠϧΛ࠶ੜ͠ɺ7$7ͷॻ͖औΓɾฉ͖औΓ΍͢ ͞ͱԻ࣭ͷओ؍ධՁΛ࣮ࢪ • Ի੠ͷ࠶ੜ͸֤ճͷΈ ܹࢗ ࢀՃऀɾํ๏ ࢿྉμ΢ϯϩʔυ 2021年発表（音声コミュニケーション研究会）

Slide 32

Slide 32 text

ॲཧԻ੠ɾ݁Ռ • ॻ͖औΓਖ਼౴཰ – ॲཧલ • BUB B[B BLB BNB Ͱਖ਼ղ – ॲཧޙ • BUB B[BͰਖ਼ղ • ฉ͖औΓ΍͢͞ d ͕࠷ߴ – ॲཧલ – ॲཧޙ • Ի࣭ d – ॲཧલ – ॲཧޙ 32 ࡶԻͳ͠ ന৭ࡶԻॏ৞ ॲཧޙ /aba/ ɾਖ਼ղ཰௿Ί ɾॲཧޙͷํ͕௿Լ SN比は改善 ͋͘·Ͱ໊ͷ݁ՌͷͨΊࠓޙͷݕ౼͕ඞཁ ਖ਼نԽͳͲ͸࣮ࢪͤͣ ͕ࠩͳ͔ͬͨ 2021年発表（音声コミュニケーション研究会）

Slide 33

Slide 33 text

PQFO.)"ԋश಺༰ • ิௌثͷجຊతͳ৴߸ॲཧ – ྫϑΟϧλϦϯάɼμΠφϛοΫϨϯδѹॖ • ."5-"#ͷεΫϦϓτͰߦ͍ͬͯΔਓ޻಺ ࣖͷॲཧΛɼPQFO.)"ʹҠ২࣮ͯ͠ߦ – ϦΞϧλΠϜॲཧ΍ઃఆมߋͷଈ࣌൓өΛ࣮ݱ • ֶੜ͕ࣗ෼ͷԻ੠σʔλΛ༻͍ͯΧελϚΠ ζͨ͠ΞϧΰϦζϜͷޮՌΛݕূ͢ΔԋशΛ ࣮ࢪ 2025/2/3 33

Slide 34

Slide 34 text

Ԡ༻ԋशิௌثͷઃܭ • PQFO.)"Λ༻͍ͯิௌثͷϓϩτλΠϓ Λઃܭ͢Δ՝୊ • Ի؀ڥ΍࢖༻ऀͷௌ֮ಛੑʹԠͨ͡࠷ద ͳઃఆΛࢼߦࡨޡ͠ͳ͕Βௐ੔͢Δ࣮ફ తͳֶश • কདྷతʹ͸ɼௌ֮ো֐ͷ͋Δֶੜࣗ਎͕ ࣗ෼ʹ࠷దͳิௌثΛઃఆɾௐ੔Ͱ͖Δ εΩϧΛҭ੒ 2025/2/3 34

Slide 35

Slide 35 text

·ͱΊͱࠓޙͷల๬ • PQFO.)"Λ׆༻ͨ͠ิௌث͓Αͼਓ޻಺ࣖ ڭҭͷՄೳੑΛఏҊ • ݱঢ়ͷߨٛͰ͸ิௌثಛੑͷଌఆ΍ਓ޻಺ࣖ ͷγϛϡϨʔγϣϯͳͲɼجૅతͳ಺༰ • PQFO.)"Λ࢖༻ͯ͠ࠓޙ͸ϦΞϧλΠϜ ॲཧ΍ΞϧΰϦζϜઃܭͳͲͷԠ༻తͳڭҭ ͕Մೳ – ֶੜ͕ࣗΒͷઃఆΛଈ࠲ʹݕূͰ͖Δ؀ڥΛ੔͑ Δ͜ͱ͕Ͱ͖Δ • কདྷతʹࢧԉٕज़ͷઐ໳Ոͱͯ͠ͷجૅΛܗ ੒͢ΔҰॿͱͳΔՄೳੑ 35

Slide 36

Slide 36 text

TJOHMFDIBOOFMOPJTFSFEVDUJPO 3&"%.&UYU 5IJTFYBNQMFTEFNPOTUSBUFTIPXUPBQQMZBDFQTUSBMTNPPUIJOHCBTFEPOOPJTFQPXFSTQFDUSBM EFOTJUZ 5IFNBJOQMVHJOVTFEJTTNPPUI@DFQTUSVN XIJDIEPFTUIFTNPPUIJOH 5IFFTUJNBUFEQTENVTUCFQSPWJEFEBTJOQVUWJB"$WBSJBCMF 5IFQTEFTUJNBUJPOJTEPOFCZUIFOPJTF@QTE@FTUJNBUPSQMVHJO XIJDIEPFT OPJTFQPXFSTQFDUSBM EFOTJUZFTUJNBUJPOCBTFEPOBDFQTUSBMEPNBJOTQFFDIQSPEVDUJPONPEFMVTJOHFTUJNBUFETQFFDI QSFTFODFQSPCBCJMJUZ 3FGFSFODFT • $PMJO#SFJUIBVQU 5JNP(FSLNBOO 3BJOFS.BSUJO "/PWFM"1SJPSJ4/3&TUJNBUJPO"QQSPBDI #BTFEPO4FMFDUJWF$FQTUSP5FNQPSBM4NPPUIJOH *&&&*OU$POG"DPVTUJDT 4QFFDI 4JHOBM 1SPDFTTJOH -BT7FHBT /7 64" "QS • 5JNP(FSLNBOO 3BJOFS.BSUJO 0OUIF4UBUJTUJDTPG4QFDUSBM"NQMJUVEFT"GUFS7BSJBODF 3FEVDUJPOCZ5FNQPSBM$FQTUSVN4NPPUIJOHBOE$FQTUSBM/VMMJOH *&&&5SBOT4JHOBM 1SPDFTTJOH 7PM /P QQ /PW • $PMJO#SFJUIBVQU 5JNP(FSLNBOO BOE3BJOFS.BSUJO4QFDUSBM4NPPUIJOH.FUIPEGPS/PJTZ 4JHOBMT &VSPQFBO1BUFOU&1# HSBOUFE0DU %BOJTI1BUFOU%,5 HSBOUFE'FC 641BUFOU64# HSBOUFE/PW • 5JNP(FSLNBOO 3JDIBSE$)FOESJLT 6OCJBTFE..4&CBTFE/PJTF1PXFS&TUJNBUJPOXJUI -PX$PNQMFYJUZBOE-PX5SBDLJOH%FMBZ *&&&5SBOT"VEJP 4QFFDIBOE-BOHVBHF 1SPDFTTJOH 7PM /P QQ .BZ 36 ࢀߟ