継続的な訓練を目指した オンライン発声・発語収録環境の構築

継続的な訓練を目指したオンライン発声・発語収録環境の構築

安 啓一（筑波技術大学）　安芳次

2025年1月音声コミュニケーション研究会
https://asj-sccom.acoustics.jp/meetings/622/

Transcript

1. 継続的な訓練を目指した オンライン発声・発語収録環境の構築 安 啓一（筑波技術大学） 安芳次 1
2. 1. 背景 •補聴器での聴覚活用が困難な聴覚障害者は 自身の声が耳にフィードバックされにくいことか ら、発話・発音が不明瞭になるケースがある。 (佐藤 他, 1989,) •聴覚特別支援学校（聾学校）などで発音訓練が行 われるがそのまま成人しても訓練された発音を維 持することは困難であることが多い。 （森 他, 2017） 2
3. 1. 背景（続き） •発音訓練を受けるとき、自身の発音の明瞭さは 言語聴覚士などによる聴き取りで判断されること となり、自身で発音の明瞭さを判断することは難 しい。 •その改善案として、 現行の発音訓練に音声分析ソフト (モニター画面) による視覚的フィードバックを加えることで、よ りよい発音訓練につながるのでは？ 3
4. 伝統的な発音訓練の例 (岡山ろう学校の場合) 4 紙テープ 10cm程に切って、 口の前に縦にかざして 「タ」「パ」等と 息を破裂させて 紙テープを動かす。 水入りコップと ストロー 泡を出すことにより 目で見える形で 息を出すことを学ぶ ストローを挟む位置と 長さで「s」「∫」を 区別して練習できる。 大きな鏡 指導者と子どもの 口の形を見比べながら 練習できる。 Sインジケーター 摩擦音Sの発音練習に。 息を感知⇒緑のランプ、 声を感知⇒赤のランプ が付くので、 子音部の息がしっかり 出ているかどうか 目で見て確認できる。 https://www.pref.okayama.jp/uploaded/life/ 329585_1518229_misc.pdf これらは視覚的フィードバックになるが 発音の明瞭さは自身で確認することが難しい
5. 5 摩擦音訓練の様子(2018) 母音・子音カード 教員 ろう・難聴学生 フォルマント 分析 音声の時間波形・ スペクトログラム
6. 視覚的フィードバックの例 6 WaveSurfer 子音の波形をリアルタイム表示 （最近の環境では動かすのが大変・・） SonicPrintβ フォルマントをリアルタイム表示 ピッチは再生時に表示 /a/ /i/ /u/ /e/ /o/ /sa/ /∫i/ /su/ /se/ /so/ i u e o a https://sourceforge.net/projects/wavesurfer/ https://www.arcadia.co.jp/products/sonicprint
7. 河原 2023によるピッチ可視化 • 河原 英紀, 榊原 健一, 安 啓一, 小林 敬, “音声コミュニケーション教育・研究用の 対話的可視化・可聴化 環境について”, 音声コミュニケーション研究会資料, 2023, 3 巻, 1 号 7
8. Speech-ART • 九州大学上田裕市先生 • 研究内容｜熊本大学工学部 情報電気電子工学科 音声言 語インタフェース研究室 http://www.voice.cs.kuma moto-u.ac.jp/research.html • 入手方法は問い合わせが 必要 8
9. UCL University College London • Software in Speech, Hearing and Phonetic Sciences • https://www.phon.ucl.ac.uk /resource/software- web.php • Webで表示できるのが便利 9
10. Audacity • https://www.audacitytea m.org/ • UIがOffice系ソフトに近い ため、学生にとって操作の 壁が低い • スペクトログラムのリアル タイム表示は遅延する • webに実装した人も https://wavacity.com/ 10
11. 触覚デバイスとの併用 11 感音性難聴のある若年者による歌唱支援システムの評価 - 視覚と振動による音高のフィードバック – ASJ2022 秋@北海道科学大学 ◦安啓一，坂尻正次(筑波技大)，藪謙一郎(東大)， 三浦貴大(産総研)，△片桐淳(プッシュ・ポップ)，伊福部達(東大)
12. 3. 目的 •聴覚障害のある者自分の声の特徴を理解し ながら、自立して訓練する •聴覚障害者と聴者の音声の特徴の違い確認 するため、両者の音声を録音・収集 •継続的な訓練には方法が効果的か？ 12
13. Webブラウザで動作する発話訓練ゲーム (小田, 安, 2025.3アクセシビリティ研究会) 13 ←画面に表示された単語を声に出して読む ←どのくらい長く発話できるかを確かめる ←速さ、高さ、音量、聴きたい言葉を入力す ると、設定した通りに合成音声を聴ける ←大きな声あるいは高い声でジャンプし、小 さな声あるいは低い声で前進する
14. 方法（ゲームの具体的） 14 ← 声 の 高 さ を 表 す バ ー 周波数が左の仕切り 線に達すると前進 周波数が右の仕切り線に達するとジャンプ ゴ ー ル ←操作キャラ 図3：ラン&ジャンプのプレイ画面
15. 継続的な訓練のためには・・？ • ゲーム性 • モチベーションの維持 • 継時変化がわかる • オンライン発話訓練アプリ • つばさ吃音相談室の例 • 対面やオフラインよりも ドロップアウトが少ないとのこと https://kids- project.jp/activity/product_38/ 15
16. 開発するソフトウェアの要件定義 • 訓練を継続する • 振り返りができる • 見本（指導教員）の音声と自分（対象者）の声を 聞き比べ • 音声波形やスペクトログラムの比較 • データベースで管理 • 音声データとその対応するテキスト • 音声データの追加，削除，ダウンロードなど， データベースの操作も可能 16
17. ページの種類 • 4種類のページ • サンプル音声と対象者音声の収録・再生・比較を行うページ • 既存の対象者音声とサンプル音声の比較を行うページ • サンプル用データベースを操作するページ • 対象者用データベースを操作するページ • 命名規則 • 音声ファイル名: user\%Y\%m\%d\%H\%M\%S\_idname\_extnum.wav • テキストファイル名: user\%Y\%m\%d\%H\%M\%S\_idname\_extnum.txt 17 idnameは対象者名（例: Test005），extnumは連番（例: 000）
18. 実装 •データベースサーバ (MySQL) • 音声とテキストの登録 •Python Webサーバ（Flask） •Webクライアント （Flask template，Bootstrap，JQuery） •音声処理 • JavaScriptのWeb Audio API • WaveSurfer.js 18
19. 登録された音声の一覧 19 これまでに登録 した音声ファイル
20. 音声の登録 20 保存 録音停止 録音開始
21. 登録音声の確認 21 指導者の音声 対象者の音声 スペクトルを クリックすると 再生 シークバーも
22. 音声のダウンロード 22 ダウンロードしたいファイルを選択 Zipファイルでダウンロード
23. 8. まとめ •継続的な変化を観察することを目的とした 自声の発声・発語訓練システム • 音声の可視化と保存の機能を実装した。 •今後の課題 • 実際に聴覚に障害のある者に長期的な使用 • 発話の明瞭性に関係する音響的特徴量を表示 23 • 本研究はJSPS科研費21H03759，22K18580，23K20719，23K25692，23K02607， 24K06363の助成を受けた。 • ご助言を頂いた筑波技術大学佐藤正幸先生、長南浩人先生に心より感謝致します。