ろう・難聴者のコミュニケーションを円滑化する取り組み

2025年1月31日〜2月1日に開催された音声コミュニケーション研究会
の招待講演で講演させていただきました。
https://asj-sccom.acoustics.jp/meetings/562/

Transcript

1. ろう・難聴者のコミュニケーション を円滑化する取り組み 筑波技術大学 渡辺知恵美 https://bit.ly/watanabe20250201 1 名刺代わりの情報と 本日の（スライド以外の）情報を 掲載しています
2. おことわり 今回ご紹介する内容は、まだ発展途上であり 経験論と素朴理論で構成されていること ご了承ください 今回の講演を機に、皆さんとぜひ議論し お知恵を拝借したいと考えています！ https://bit.ly/watanabe20250201 2
3. 自己紹介 渡辺知恵美（わたなべ ちえみ） 筑波技術大学 産業情報学科 准教授 筑波大学 非常勤講師 専門：データ工学、個人情報保護技術、暗号化DB アジャイルPBL、プロダクトインクルージョン 2013年より筑波大にてチームによるシステム開発教育(enPiT) に携わり 2019年より筑波技術大学 日本データベース学会副会長、AgilePBL祭り実行委員会 https://bit.ly/watanabe20250201 3
4. ろう・難聴者と聴者の対話を 円滑にする取り組みを始めた経緯 Agile Project Based Learning アジャイル開発を取り入れたプロジェクト型学習 • 顧客と共に問題に向き合い, 真の価値を探索する • 顧客と開発チーム、チーム間、問題と顧客のコミュニケーション https://bit.ly/watanabe20250201 4
5. 当事者による 「社会の障害」の解決 • 障害の社会モデル • 障害者が直面する困りごとは 社会や環境に起因する • 当事者が「社会の障害」の解決に 対して プロセス全体を通して関わること が重要 https://bit.ly/watanabe20250201 5
6. アジャイル開発に おける コミュニケーション の懸念点 • 伝言ゲームでなく 共に考える • 全ての人が 意思決定に関わる • 意思決定の対話を 重視する 6
7. 皆が意思決定に関わる会話 1on1 discussion presentation https://bit.ly/watanabe20250201 7
8. GOAL: 意思決定の場にろう・難聴者が 積極的に関われる環境を作りたい！ 1on1 discussion presentation 8
9. 最初の試み： ろう・難聴者によるチームではどうか • 琉球大AgileMiniCampにオンライン参加 https://bit.ly/watanabe20250201 9
10. Regional Scrum Gathering Tokyo •Gatheringに価値を置くカンファレンス https://bit.ly/watanabe20250201 10
11. 複数人会話の情報保障（？）の試み • コーヒーコーナー の前にブースを作る https://bit.ly/watanabe20250201 12
12. やってみてわかったこと •話が共有されたかどうかが確認できないまま話が進む •聴者は音声認識を見ない •音声認識アプリは見づらい • 視線が合わなくなっちゃう •聞こえない・わからないを共有する術がない https://bit.ly/watanabe20250201 13
13. 次の試み：「会話を可視化する共同作業」 の有効性検証 [藤江, 渡辺 AA2023] •仮説 1. みんなで会話の内容を可視化しながら会話したら、 ろう・難聴者が会話の内容が理解しやすくなって、 参加しやすくなるかもしれない 2. ろう・難聴者が主体になって会話の内容を可視化するよう にしたらろう・難聴者がより会話に参加できるかもしれない 藤江匠汰, 渡辺知恵美. (2023). ろう・難聴者と聴者のグループ対話における理解度・参加度の高いコミュニ ケーションストラテジー. 研究報告アクセシビリティ (AAC), 2023(7), 1-8. https://bit.ly/watanabe20250201 14
14. 実験の概要 •聴者2名とろう・難聴者1名の3人グループで 小さな課題を解決するグループワークを実施 • 3つの手法を比較 o手法 P：何も指定しない o手法 Q：「対話内容を可視化する」 ように伝える o手法 R：「ろう・難聴者のメンバーが 主体で可視化する」ように伝える 15 https://bit.ly/watanabe20250201
15. グループ対話のお題 150万円の旅行券が当たりました！ 利用期限は今年度中で、旅行に関するもの なら何でも構いませんが この3人でしか使えません。 どんなふうにこの旅行券を使いますか？ 20分で相談してみてください。 16 https://bit.ly/watanabe20250201
16. 実験結果: 会話の理解度と参加度 • 会話の理解度・参加度ともに、手法による有意差は 見られなかった https://bit.ly/watanabe20250201 18
17. 実験結果： 各組の会話方法 指定なし 会話を可視化 ろう・難聴者が主体的に 会話を可視化 発話のみ 付箋で筆記を しながら発話 付箋で筆記 ホワイトボードシートで 筆記をしながら 発話 模造紙と付箋を使い 筆記しながら 発話 模造紙で筆記 https://bit.ly/watanabe20250201 聴力：両耳70dB 聴力：両耳100dB 聴力：両耳90dB 聴力：両耳55dB 聴力：両耳105dB 聴力：右40dB, 左110dB 19
18. 画面・発話・筆記にかけた時間 20 手法P：指定なし 手法Q：会話の可視化 手法R：ろう・難聴者が 主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201
19. 発話にかけた時間 手法PとQは発話が多い一方，手法Rは発話が少なく筆記が多い 21 手法P：指定なし 手法Q：会話の可視化 手法R：ろう・難聴者が 主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201
20. 手法Q（会話の可視化）での発話時間 手法Qは，手法Pと同様またはそれ以上に発話が多い 22 手法P：指定なし 手法Q：会話の可視化 手法R：ろう・難聴者が 主体での会話の可視化 1組目 2組目
21. 聴者が画面をみた時間 どの手法でも聴者は音声認識画面を見ていない 23 手法P：指定なし 手法Q：会話の可視化 手法R：ろう・難聴者が 主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201
22. ろう・難聴者が画面を見た時間 手法Qと手法Rでろう・難聴者が 音声認識画面をよくみるケースがあった 24 手法P：指定なし 手法Q：会話の可視化 手法R：ろう・難聴者が 主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201
23. 観察されたこと 1.きこえなかった時の対応が、 会話に参加するキーになっていた • 聞こえない時に音声認識画面を見る • 聞こえなかったことが他の人に伝わらない • 聞こえない時に表情や仕草で表し聞き直す • 伝えることで会話に参加しやすくなっていた https://bit.ly/watanabe20250201 25
24. 観察されたこと 2. 音声会話と並行した筆談（メモを書く、発言する、など）は 会話のすれ違いを引き起こしてしまう • 紙に文字を書くことで顔が下に向いてしまう • 他の人の口元が見えず、話していることがわからなくなってしまう • 書き込みを待つ間の沈黙に耐えられず 聴者同士での音声会話が始まってしまうケースが見られた https://bit.ly/watanabe20250201 26
25. 観察されたこと 3. 聞こえ方を伝え、コミュニケーションの取り方を相談したか どうかが会話でのすれ違いに影響していた • 自己紹介時点で伝えていた場合 • 筆談中心の会話をしていたり、口元を見てわからない時に書くなどの 大まかなルールで会話が進んでいた • 自己紹介時点で伝えていなかった場合 • ろう・難聴者に伝わっているのかがわからず 聴者が言葉を重ねて話しすぎてしまうケースが見られた https://bit.ly/watanabe20250201 27
26. 実験の後考えたこと... •ろう・難聴者が会話に入れない原因を深掘りしよう • 技術的な原因 • 心理的な原因 •音声会話の性質や心理的な作用を学ぼう • 話者交代はどのように行われているだろうか • 会話をする時、互いの理解の共有はどのように行われて いるのか • 沈黙が我慢できなくなるのは何故だろうか https://bit.ly/watanabe20250201 28
27. 直感的な仮説 • 私たちは無意識に会話のルールを使っていて ルールから外れることに抵抗してしまうのではないか • 音声会話、手話会話、筆談それぞれに持つルールや リズムがありそう • 無意識なルールを明示し、意識的になることで 聴者とろう・難聴者の円滑なコミュニケーションを 作り出していけるのではないか https://bit.ly/watanabe20250201 29
28. 話者交代のタイミング • 音声会話での話者交代は500ミリ秒以内で行われる 会話の科学 pp.70 より引用。 Stivers, Tanya et al. “Universals and cultural variation in turn-taking in conversation.” Proceedings of the National Academy of Sciences of the United States of America vol. 106,26 (2009): 10587-92. https://bit.ly/watanabe20250201 30
29. 応答時間が伝えてしまうメッセージ • 応答までの時間が長 いと否定的なメッセー ジが伝わってしまう 会話の科学 pp.87 より引用。 Roberts, Felicia and Alexander L. Francis. “Identifying a temporal threshold of tolerance for silent gaps after requests.” The Journal of the Acoustical Society of America 133 6 (2013): EL471-7 . https://bit.ly/watanabe20250201 31
30. 会話の把握の遅延 32 聴者 音声認識 聴覚障害者 発言までの遅延 文字起こしの 内容整理 発言 音声会話 1秒程度 文字起こし 発言内容の 整理 飯塚涼太, エンジニアもデフエンジニアもわいわい会話・議論したい！ ～聴覚障がい者当事者の 経験・視点から～, Scrumfest Sendai, 2024 より抜粋 https://bit.ly/watanabe20250201
31. 会話の修復は即時・頻繁に行われる 多くの会話では 84秒に1回は誰かが 相手の会話を確認 するための言葉を発する 「ディパートも来たよ」 「誰？」 「ディパートだよ」 会話の科学 pp.182 より引用。 Dingemanse et al. 2015 と書籍にはあるが論文を見つけることはできなかった https://bit.ly/watanabe20250201 33
32. その場での修復を逸すると その後の修復が難しくなってしまう •透明性の錯覚 • 自分の考えていることや感じていることが 実際以上に相手に伝わっていると考える傾向 •フェイス侵害行為への恐れ • 言動や行動が相手の面子を脅かす可能性があるため、それを互 いに避ける遠回しな言い方にするなどの戦略を取る https://bit.ly/watanabe20250201 34
33. 前回の実験の結果より再掲 修復タイミングを 逸している 「会話の修復」 を使っている 35
34. 兆候のない沈黙は不安を生む • 「なるほどね...うーん...えーと...」 • フィラーは「この後沈黙が続くかもしれないが少し待って欲 しい」という意味合いを伝える • 逆にフィラーなどの兆候がない沈黙が生じると不安を与え てしまう https://bit.ly/watanabe20250201 36
35. 暗黙のルールと チームで作り出していくルール •音声会話には（手話会話にも）ルールがあり それを無意識に使って会話をしている • ろう・難聴者が会話に加わりにくい仕組みになっている •仮説： ろう・難聴者が含まれる「チーム」に合わせた 新たな会話のルールを作り出していけば良いのでは？ https://bit.ly/watanabe20250201 37
36. 次のアプローチ 1. 潜在的な会話のルールを踏まえ 会話に入っていく戦略を考える 2. 「チーム」での新しい会話のルールを 作っていく方法を考える https://bit.ly/watanabe20250201 38
37. オンライン会議における 口話を使わない聴覚障害者からの発言 • 飯塚涼太, ２０２４年度筑波技術大学卒業研究 問題 解決アプローチ 発言が会話の流れとずれてしまう 構わず話す（聴者による違和感を調査） チャットで発言しても気づかれない 合成音声で話しかける チャット中に沈黙が続きプレッシャーに 音声合成orリアルタイムにチャット表示 情報処理学会 第27回アクセシビリティ研究会（AAC）（3月10日〜11日）にて発表予定 https://bit.ly/watanabe20250201 39
38. 聴覚障害者と聴者との雑談時に 双方のストレスを軽減する方法 髙瀬友花, ２０２４年度筑波技術大学卒業研究 家族がコミュニケーションのすれ違いについて互いに言い出 せない問題に対し「振り返り」の習慣を導入する試み 情報処理学会 第27回アクセシビリティ研究会（AAC）（3月10日〜11日）にて発表予定 https://bit.ly/watanabe20250201 40
39. GOAL: 意思決定の場にろう・難聴者が 積極的に関われる環境を作りたい！ https://bit.ly/watanabe20250201 41
40. ろう・難聴当事者が対峙する 「社会の障害」は彼らだけの問題ではない • ペルソナスペクトラム きこえにくい 状況 病気・体調による 一時的な難聴 ろう・難聴者 [PERMANENT] [TEMPORARY] [SITUATIONAL] 彼らが対峙し解決する問題からイノベーションが起こせるのでは https://bit.ly/watanabe20250201 42
41. • 聴覚障害のある学生と 視覚障害のある学生との合同企画 2/8 研究・活動展示会 43
42. 2/17-23 筑波技術大学展 • 東京日本橋 • 三越駅前の地下歩道で 本学での研究活動を展示 44
43. 3/23 AgilePBL祭り • 大崎ブライトコアホール •アジャイル開発を取り入れた PBL型の授業や新人研修に 関わる人たちの学びの共有 45
44. ご清聴ありがとうございました • 今回の講演と議論が今後の共同研究などの 機会になれば嬉しいです • 多様な聞こえ方の人たちの間の会話ルール • 会話に適用した音声認識のUI/UX • 学生自らが話す「社会の問題」ショーケースを見にきてください https://bit.ly/watanabe20250201 46