ろう・難聴者のコミュニケーションを円滑化する取り組み

Slide 1

Slide 1 text

ろう・難聴者のコミュニケーションを円滑化する取り組み筑波技術大学渡辺知恵美 https://bit.ly/watanabe20250201 1 名刺代わりの情報と本日の（スライド以外の）情報を掲載しています

Slide 2

Slide 2 text

おことわり今回ご紹介する内容は、まだ発展途上であり経験論と素朴理論で構成されていることご了承ください今回の講演を機に、皆さんとぜひ議論しお知恵を拝借したいと考えています！ https://bit.ly/watanabe20250201 2

Slide 3

Slide 3 text

自己紹介渡辺知恵美（わたなべちえみ）筑波技術大学産業情報学科准教授筑波大学非常勤講師専門：データ工学、個人情報保護技術、暗号化DB アジャイルPBL、プロダクトインクルージョン 2013年より筑波大にてチームによるシステム開発教育(enPiT) に携わり 2019年より筑波技術大学日本データベース学会副会長、AgilePBL祭り実行委員会 https://bit.ly/watanabe20250201 3

Slide 4

Slide 4 text

ろう・難聴者と聴者の対話を円滑にする取り組みを始めた経緯 Agile Project Based Learning アジャイル開発を取り入れたプロジェクト型学習 • 顧客と共に問題に向き合い, 真の価値を探索する • 顧客と開発チーム、チーム間、問題と顧客のコミュニケーション https://bit.ly/watanabe20250201 4

Slide 5

Slide 5 text

当事者による「社会の障害」の解決 • 障害の社会モデル • 障害者が直面する困りごとは社会や環境に起因する • 当事者が「社会の障害」の解決に対してプロセス全体を通して関わることが重要 https://bit.ly/watanabe20250201 5

Slide 6

Slide 6 text

アジャイル開発におけるコミュニケーションの懸念点 • 伝言ゲームでなく共に考える • 全ての人が意思決定に関わる • 意思決定の対話を重視する 6

Slide 7

Slide 7 text

皆が意思決定に関わる会話 1on1 discussion presentation https://bit.ly/watanabe20250201 7

Slide 8

Slide 8 text

GOAL: 意思決定の場にろう・難聴者が積極的に関われる環境を作りたい！ 1on1 discussion presentation 8

Slide 9

Slide 9 text

最初の試み：ろう・難聴者によるチームではどうか • 琉球大AgileMiniCampにオンライン参加 https://bit.ly/watanabe20250201 9

Slide 10

Slide 10 text

Regional Scrum Gathering Tokyo •Gatheringに価値を置くカンファレンス https://bit.ly/watanabe20250201 10

Slide 11

Slide 11 text

複数人会話の情報保障（？）の試み • コーヒーコーナーの前にブースを作る https://bit.ly/watanabe20250201 12

Slide 12

Slide 12 text

やってみてわかったこと •話が共有されたかどうかが確認できないまま話が進む •聴者は音声認識を見ない •音声認識アプリは見づらい • 視線が合わなくなっちゃう •聞こえない・わからないを共有する術がない https://bit.ly/watanabe20250201 13

Slide 13

Slide 13 text

次の試み：「会話を可視化する共同作業」の有効性検証 [藤江, 渡辺 AA2023] •仮説 1. みんなで会話の内容を可視化しながら会話したら、ろう・難聴者が会話の内容が理解しやすくなって、参加しやすくなるかもしれない 2. ろう・難聴者が主体になって会話の内容を可視化するようにしたらろう・難聴者がより会話に参加できるかもしれない藤江匠汰, 渡辺知恵美. (2023). ろう・難聴者と聴者のグループ対話における理解度・参加度の高いコミュニケーションストラテジー. 研究報告アクセシビリティ (AAC), 2023(7), 1-8. https://bit.ly/watanabe20250201 14

Slide 14

Slide 14 text

実験の概要 •聴者2名とろう・難聴者1名の3人グループで小さな課題を解決するグループワークを実施 • 3つの手法を比較 o手法 P：何も指定しない o手法 Q：「対話内容を可視化する」ように伝える o手法 R：「ろう・難聴者のメンバーが主体で可視化する」ように伝える 15 https://bit.ly/watanabe20250201

Slide 15

Slide 15 text

グループ対話のお題 150万円の旅行券が当たりました！利用期限は今年度中で、旅行に関するものなら何でも構いませんがこの3人でしか使えません。どんなふうにこの旅行券を使いますか？ 20分で相談してみてください。 16 https://bit.ly/watanabe20250201

Slide 16

Slide 16 text

実験結果: 会話の理解度と参加度 • 会話の理解度・参加度ともに、手法による有意差は見られなかった https://bit.ly/watanabe20250201 18

Slide 17

Slide 17 text

実験結果：各組の会話方法指定なし会話を可視化ろう・難聴者が主体的に会話を可視化発話のみ付箋で筆記をしながら発話付箋で筆記ホワイトボードシートで筆記をしながら発話模造紙と付箋を使い筆記しながら発話模造紙で筆記 https://bit.ly/watanabe20250201 聴力：両耳70dB 聴力：両耳100dB 聴力：両耳90dB 聴力：両耳55dB 聴力：両耳105dB 聴力：右40dB, 左110dB 19

Slide 18

Slide 18 text

画面・発話・筆記にかけた時間 20 手法P：指定なし手法Q：会話の可視化手法R：ろう・難聴者が主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201

Slide 19

Slide 19 text

発話にかけた時間手法PとQは発話が多い一方，手法Rは発話が少なく筆記が多い 21 手法P：指定なし手法Q：会話の可視化手法R：ろう・難聴者が主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201

Slide 20

Slide 20 text

手法Q（会話の可視化）での発話時間手法Qは，手法Pと同様またはそれ以上に発話が多い 22 手法P：指定なし手法Q：会話の可視化手法R：ろう・難聴者が主体での会話の可視化 1組目 2組目

Slide 21

Slide 21 text

聴者が画面をみた時間どの手法でも聴者は音声認識画面を見ていない 23 手法P：指定なし手法Q：会話の可視化手法R：ろう・難聴者が主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201

Slide 22

Slide 22 text

ろう・難聴者が画面を見た時間手法Qと手法Rでろう・難聴者が音声認識画面をよくみるケースがあった 24 手法P：指定なし手法Q：会話の可視化手法R：ろう・難聴者が主体での会話の可視化 1組目 2組目 https://bit.ly/watanabe20250201

Slide 23

Slide 23 text

観察されたこと 1.きこえなかった時の対応が、会話に参加するキーになっていた • 聞こえない時に音声認識画面を見る • 聞こえなかったことが他の人に伝わらない • 聞こえない時に表情や仕草で表し聞き直す • 伝えることで会話に参加しやすくなっていた https://bit.ly/watanabe20250201 25

Slide 24

Slide 24 text

観察されたこと 2. 音声会話と並行した筆談（メモを書く、発言する、など）は会話のすれ違いを引き起こしてしまう • 紙に文字を書くことで顔が下に向いてしまう • 他の人の口元が見えず、話していることがわからなくなってしまう • 書き込みを待つ間の沈黙に耐えられず聴者同士での音声会話が始まってしまうケースが見られた https://bit.ly/watanabe20250201 26

Slide 25

Slide 25 text

観察されたこと 3. 聞こえ方を伝え、コミュニケーションの取り方を相談したかどうかが会話でのすれ違いに影響していた • 自己紹介時点で伝えていた場合 • 筆談中心の会話をしていたり、口元を見てわからない時に書くなどの大まかなルールで会話が進んでいた • 自己紹介時点で伝えていなかった場合 • ろう・難聴者に伝わっているのかがわからず聴者が言葉を重ねて話しすぎてしまうケースが見られた https://bit.ly/watanabe20250201 27

Slide 26

Slide 26 text

実験の後考えたこと... •ろう・難聴者が会話に入れない原因を深掘りしよう • 技術的な原因 • 心理的な原因 •音声会話の性質や心理的な作用を学ぼう • 話者交代はどのように行われているだろうか • 会話をする時、互いの理解の共有はどのように行われているのか • 沈黙が我慢できなくなるのは何故だろうか https://bit.ly/watanabe20250201 28

Slide 27

Slide 27 text

直感的な仮説 • 私たちは無意識に会話のルールを使っていてルールから外れることに抵抗してしまうのではないか • 音声会話、手話会話、筆談それぞれに持つルールやリズムがありそう • 無意識なルールを明示し、意識的になることで聴者とろう・難聴者の円滑なコミュニケーションを作り出していけるのではないか https://bit.ly/watanabe20250201 29

Slide 28

Slide 28 text

話者交代のタイミング • 音声会話での話者交代は500ミリ秒以内で行われる会話の科学 pp.70 より引用。 Stivers, Tanya et al. “Universals and cultural variation in turn-taking in conversation.” Proceedings of the National Academy of Sciences of the United States of America vol. 106,26 (2009): 10587-92. https://bit.ly/watanabe20250201 30

Slide 29

Slide 29 text

応答時間が伝えてしまうメッセージ • 応答までの時間が長いと否定的なメッセージが伝わってしまう会話の科学 pp.87 より引用。 Roberts, Felicia and Alexander L. Francis. “Identifying a temporal threshold of tolerance for silent gaps after requests.” The Journal of the Acoustical Society of America 133 6 (2013): EL471-7 . https://bit.ly/watanabe20250201 31

Slide 30

Slide 30 text

会話の把握の遅延 32 聴者音声認識聴覚障害者発言までの遅延文字起こしの内容整理発言音声会話 1秒程度文字起こし発言内容の整理飯塚涼太, エンジニアもデフエンジニアもわいわい会話・議論したい！～聴覚障がい者当事者の経験・視点から～, Scrumfest Sendai, 2024 より抜粋 https://bit.ly/watanabe20250201

Slide 31

Slide 31 text

会話の修復は即時・頻繁に行われる多くの会話では 84秒に1回は誰かが相手の会話を確認するための言葉を発する「ディパートも来たよ」「誰？」「ディパートだよ」会話の科学 pp.182 より引用。 Dingemanse et al. 2015 と書籍にはあるが論文を見つけることはできなかった https://bit.ly/watanabe20250201 33

Slide 32

Slide 32 text

その場での修復を逸するとその後の修復が難しくなってしまう •透明性の錯覚 • 自分の考えていることや感じていることが実際以上に相手に伝わっていると考える傾向 •フェイス侵害行為への恐れ • 言動や行動が相手の面子を脅かす可能性があるため、それを互いに避ける遠回しな言い方にするなどの戦略を取る https://bit.ly/watanabe20250201 34

Slide 33

Slide 33 text

前回の実験の結果より再掲修復タイミングを逸している「会話の修復」を使っている 35

Slide 34

Slide 34 text

兆候のない沈黙は不安を生む • 「なるほどね...うーん...えーと...」 • フィラーは「この後沈黙が続くかもしれないが少し待って欲しい」という意味合いを伝える • 逆にフィラーなどの兆候がない沈黙が生じると不安を与えてしまう https://bit.ly/watanabe20250201 36

Slide 35

Slide 35 text

暗黙のルールとチームで作り出していくルール •音声会話には（手話会話にも）ルールがありそれを無意識に使って会話をしている • ろう・難聴者が会話に加わりにくい仕組みになっている •仮説：ろう・難聴者が含まれる「チーム」に合わせた新たな会話のルールを作り出していけば良いのでは？ https://bit.ly/watanabe20250201 37

Slide 36

Slide 36 text

次のアプローチ 1. 潜在的な会話のルールを踏まえ会話に入っていく戦略を考える 2. 「チーム」での新しい会話のルールを作っていく方法を考える https://bit.ly/watanabe20250201 38

Slide 37

Slide 37 text

オンライン会議における口話を使わない聴覚障害者からの発言 • 飯塚涼太, ２０２４年度筑波技術大学卒業研究問題解決アプローチ発言が会話の流れとずれてしまう構わず話す（聴者による違和感を調査）チャットで発言しても気づかれない合成音声で話しかけるチャット中に沈黙が続きプレッシャーに音声合成orリアルタイムにチャット表示情報処理学会第27回アクセシビリティ研究会（AAC）（3月10日〜11日）にて発表予定 https://bit.ly/watanabe20250201 39

Slide 38

Slide 38 text

聴覚障害者と聴者との雑談時に双方のストレスを軽減する方法髙瀬友花, ２０２４年度筑波技術大学卒業研究家族がコミュニケーションのすれ違いについて互いに言い出せない問題に対し「振り返り」の習慣を導入する試み情報処理学会第27回アクセシビリティ研究会（AAC）（3月10日〜11日）にて発表予定 https://bit.ly/watanabe20250201 40

Slide 39

Slide 39 text

GOAL: 意思決定の場にろう・難聴者が積極的に関われる環境を作りたい！ https://bit.ly/watanabe20250201 41

Slide 40

Slide 40 text

ろう・難聴当事者が対峙する「社会の障害」は彼らだけの問題ではない • ペルソナスペクトラムきこえにくい状況病気・体調による一時的な難聴ろう・難聴者 [PERMANENT] [TEMPORARY] [SITUATIONAL] 彼らが対峙し解決する問題からイノベーションが起こせるのでは https://bit.ly/watanabe20250201 42

Slide 41

Slide 41 text

• 聴覚障害のある学生と視覚障害のある学生との合同企画 2/8 研究・活動展示会 43

Slide 42

Slide 42 text

2/17-23 筑波技術大学展 • 東京日本橋 • 三越駅前の地下歩道で本学での研究活動を展示 44

Slide 43

Slide 43 text

3/23 AgilePBL祭り • 大崎ブライトコアホール •アジャイル開発を取り入れた PBL型の授業や新人研修に関わる人たちの学びの共有 45

Slide 44

Slide 44 text

ご清聴ありがとうございました • 今回の講演と議論が今後の共同研究などの機会になれば嬉しいです • 多様な聞こえ方の人たちの間の会話ルール • 会話に適用した音声認識のUI/UX • 学生自らが話す「社会の問題」ショーケースを見にきてください https://bit.ly/watanabe20250201 46