検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 多様性の⾼いGatheringを 実現する情報保障の試み - RSGT2023 うきうきテーブルで分かったこと – 渡辺知恵美 筑波技術⼤学 産業技術学部

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ ⾃⼰紹介 渡辺知恵美（わたなべ ちえみ） 筑波技術大学 産業情報学科 准教授 筑波大学 非常勤講師 専門：データ工学、個人情報保護技術、暗号化DB 2013年より教育プロジェクトenPiT専任教員として 筑波大にてチームによるシステム開発教育に携わる AgilePBL祭り実行委員会

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ お話しする内容 •RSGT2023で実施したうきうきテーブルの話 • 多様な聞こえ⽅の⼈たちでワイワイ雑談するテーブル • 実施した意図と経緯、準備 • やってみてわかったこと •最後に実験協⼒のお願い をします • 5⽉ごろに実施します • https://forms.gle/wEhBUgWjZktxg7A56

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ おことわり •多様性と書きましたが、今回は聞こえ⽅の 多様性に特化した試みについて話します •今回の話は聴覚障害の学⽣たちと接している いち聴者の視点で話します • 全ての聴覚障害者に当てはまる話ではない • 聴覚障害者の思いや状況の代弁ではない

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ プロジェクト型学習（PBL）での アジャイル開発の試み • 筑波⼤学では⼀つの授業（enPiT）として定着した • 新しく赴任した筑波技術⼤学でも実施したい

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 素朴な疑問 •デフエンジニアにとってアジャイル開発は どうなのだろうか︖ •相性が良さそうなところ • 透明性・検査・適応 • プロセスや議論が可視化される •難しいかも • “プロセスやツールより個⼈と対話を” • ⼝話による対話や議論が頻発する • 画⾯を⾒ながら、作業をしながら、 声でやり取りをする状況が多い

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 琉球⼤アジャイルチームキャンプに参加 •チーム「うきうきなっとう」としてオンライン参加 • チームは教室に集まって作業、講義はZoom参加 • メンバーの積極的な発信に驚く • ⼿話と⼝話、テキストチャット、ホワイトボードの活⽤ • チーム内の対話の試⾏錯誤が⾃主的に⾼速に進む • 詳細は https://confengine.com/conferences/regional-scrum-gathering-tokyo- 2023/proposal/17568

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ ⼀つの挑戦「RSGTでワイワイ雑談する」 • 賑やかな環境の中でいろんな⼈と ワイワイと雑談することは可能︖ • 周りが賑やかだと⾳声認識の精度が低下する • 補聴機器でも聞きづらくなるかもしれない • ⼿話を中⼼に使う⼈の発話はどうする︖ • プロポーザルを出したけど落選

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ うきうきテーブル • 野良でもいいから話をする場・⼀緒に考える場を⽤意 したい • Gaoryuさんに相談 • プロポーザルの時点で ファシリテーションの相談をしていた • 「GSGTの会期前から、やることや その狙い、思いをアウトプット するのがいいよ」 • 確かに︕

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 事前の試⾏錯誤 •準備にあたり、事前に⾊々と試していました • noteで連載記事を書いています • https://note.com/chiemi627/m/md9dd6353c72a • 今思えば「⾳声認識を使えばいいと⾔えるのか︖」に 疑問を投げかける最初の機会だった

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 最終的に採⽤した仕組み • チャット⾵の⽂字起こし ツール（YYProbe）を利⽤ • iPadで⽂字起こし • iPadの画⾯をディプレイ表⽰ • 複数⼈のスマホで共有 • ワイヤレスピンマイクで 話者の声を拾う

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 事前の試⾏錯誤（その１） • 複数⼈で話す際、話者の⾳声認識どうする︖ それぞれのスマホから ⾳声認識して共有 参加者の準備が⼤変 同期のディレイ有り ⼀つのマイクで 全員の⾳を拾う 遠い⼈の声が 拾えない ワイヤレスピンマイク をそれぞれ持ってもらう 持ち⽅にもよるが 声を拾いやすい

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 事前の試⾏錯誤（その２） • ⾳声認識ツールは何を使う︖ チャット⾵ ⾳声認識アプリ 話者分離ができる ⾳声認識アプリ クラウドエディタの ⾳声認識機能 ● 聴者と聴覚障害者の対話を 想定した機能がある ● 修正ができる ● 認識中の⽂字が表⽰される ● ディレイが少ない • ⼀つのマイクで複数⼈の ⾳をとっていてもソフトウ エア的に話者分離する • 対⾯・話者数が少なければ 話者は分かりそう • 語尾が消えやすい • １画⾯の表⽰⽂字数が 多く流れていかない • 共有には不向きかも • 修正がしにくい ● YYProbe ● UDトークなど ● LINEクローバなど ● Word ● Google documentなど

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 事前の試⾏錯誤（その３） • 聴者が⾳声認識の結果を⾒ない • 聴者が複数⼈いると、⾳声認識ができているかを確認 しなくても⼀部の⼈たちだけで会話が成⽴する • 話者から視線を外すのに抵抗がある • ⾒やすくしよう→ディスプレイを持ち込み • 聴者が⾳声認識を⾒るように仕向ける →みんな⽿栓をしてみる。。。︖

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ RSGTでの実践 • RSGT期間中、コーヒーラウンジの前に設置 • OSTで⽿栓会話ワークショップを実践

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ RSGT初⽇でのショック • 私はうまく機能していると思っていた • コーヒーを飲みに来た⼈が気づく • チーム「うきうきなっとう」の話の後に来てくれる • ⾳声認識もそこそこできているように思う • その後のメンバーからのフィードバック • 話に⼊れなかった • 認識結果が出る前に話がどんどんと先に進んでしまう • 変な⾳声認識結果が出ても、質問がしづらい • ⾃分達が話を理解できているか、気にしていない

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 2⽇⽬に（私が）試したこと • 「ここはちゃんと認識してほしい」と思った タイミングで⾳声認識の結果に視線を送る • 普段、相⼿の話を復唱するタイミングで ⾳声認識の結果を指差して話をふる • 思ってもできなかったこと • 認識が間違っていた時の修正 • ⼿元で⾳声認識を共有できていないと咄嗟にできない

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 3⽇⽬︓OST • 「みんなで⽿栓をして会話してみたい」 • チーム「うきうきなっとう」メンバーの⼀⼈が提案 • 検証 • 少し聞こえづらい環境で話をするとどう感じるのか • 話が伝わっているか確認しようというフォースは働くのか

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ ⽿栓会話はどうだったのか︖ • より詳細なレポートはふじえもんnoteを参照 • https://note.com/fujiemon_tad/n/n616e6315fc86#45685680- efbe-4bbd-848a-ecee820315d5 • 参加者の感想（⼀部抜粋） • 話者と付箋と⾳声認識の視線移動が⼤変 • ディスプレイを⾒ている間に話者交代すると誰が話しているかわからなかった • 声の抑揚がわからないので、話の中で⼤事な部分がわからない • テキストに起こされると全部フラットになる • いつもより話者の顔を⾒た • 画⾯を⾒ていたか︖修正はされていたか︖ • よく⾒られていた • 修正はされていなかった（修正の⼿段が伝えられていなかった）

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ RSGT2023終わって︓考察 •⾳声認識を使うことの是⾮ •主導権

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 考察１︓ ⾳声認識を使えば良いのか︖ • ⾳声認識に振り回されている • そもそもUIが対⾯の会話向きでないところを対⾯に使っている • 確認・修正が必要なのに、対⾯会話だと無理がある • 「会話で⾳声認識を使うのは好きじゃない」 • あくまで補助的に使う・使いたい • メインは読唇で、確認で使う程度 • （聴者が）⾳声認識に頼りすぎてしまう • 「これを使えば理解できるだろう」 • 経験がない故の無理解 • ディレイ、誤認識

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 考察２︓主導権 • 会話のテンポについていけない問題 • ⾳声認識にはディレイがある • 読唇では⼗分でない（マイクで隠れる）、⾳声認識で確認した後に 理解をして話に加わろうとしても、次の話に流れている • 話についていけていないことに気づかれない • 話の主導権を誰が握るか • 「OSTでは⾃分がファシリテータをしていたので、 確認がしやすかった」 • 「⾃分から⾊々質問をして相⼿の話を引き出してメモ化した」 • 「少⼈数での⾳声認識＋筆談の時は、会話しやすいテンポだった」

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ そして検証へ • 聴覚障害者が積極的に話の主導権を持つことで、 理解の共有に適切なテンポをとりやすくなる︖ • どうやって話の主導権を持つ︖ もしくは主導権を共有する︖ これについてある仮説を持っており、その実験を5⽉に計画して います。ご協⼒いただける⽅はフォームにご記⼊ください （対⾯での実験。東京またはつくばで実施予定） https://forms.gle/wEhBUgWjZktxg7A56

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 対話の試⾏錯誤をしている理由 • 聴者がマジョリティな環境でのアジャイル開発 で「個⼈と対話」を実現するためのノウハウを 発信していきたい • プロセスやツールより個⼈と対話を • 精度の良い⾳声認識ツールに頼らない • 「個⼈」と「対話」に価値を置くために、 プロセスやツールをうまく活⽤する

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ マイノリティとしての苦労を 上乗せしない環境づくりと試み • 聴者だけがアタリマエの組織の中で聴覚障害者が ⼀⼈で切り込んでいく難しさ • 開発に集中する以外のところで調整や⼯夫が必要 • （聴者が気づかないうちに）多くのことを諦めてさせて いるかもしれない • 打開するアプローチ 1. 聴者を巻き込んだ試⾏錯誤や実験を打ち出していく • ⼀緒に考える • 聴覚障害者がアタリマエに居て普通に⼯夫が⽣まれる環境を作る 2. デフエンジニアチームの可能性 • マイノリティでない環境でチーム開発に集中する

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 興味のある⽅お声がけください • 実験のご協⼒ • そのほかのアプローチに関して興味のある⽅ • 何かご提案のある⽅ 私や学⽣たちにお声がけお願いします︕

検証︓字幕が意味の通らないものになっていたら、Discordで補⾜お願いします︕ 考察２： お互いの聞こえ方を知る • 聴者の聞こえ方を知った • 聴者は意思疎通が完璧にできるものだと思ってたけど そんなことは無さそう • 聞こえるけど聞けてない・理解してないことが あるのか • 話し方に抑揚や表情があるのか • 聴覚障害者の聞こえ方を知ってもらうだけでいいの？ • 互いの聞こえ方を知った上で工夫した方が 良いのでは？