Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
話者分離を例とした_UX改善のための評価指標_データセット作成の重要性_山口_.pdf
Search
Nishika-Inc
November 11, 2026
34
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
話者分離を例とした_UX改善のための評価指標_データセット作成の重要性_山口_.pdf
Nishika-Inc
November 11, 2026
Transcript
20 slides
精度90%なのに、 なぜ精度が悪いと言われるのか 話者分離を例とした「UXを評価指標に翻訳するには」 1
今日話すこと 精度を上げても、ユーザーへの価値が伝わらない 生成AIで既存のアルゴリズムを簡単に使えるため、自分の価値の出し方 がわかりづらい そう感じる AIエンジニア・データサイエンティスト の方に向けて、 私なりに意識していることをシェアします 2
自己紹介 AIエンジニア - 音声認識メイン ボールジャグリングが趣味 3
前提: 話者分離とは 文字起こしの各発話に「誰が話したか」のラベルを付ける技術 話者A: 本日はよろしくお願いします 話者B: よろしくお願いします 4
EngとBizでの感覚の違い:状況 数字は良い。でも「話者が消える」 開発側: 精度 90%以上 を確認してリリース Biz側: 「話者が消える」という声 なぜ、こんなズレが起きるのか? 5
EngとBizでの感覚の違い · 課題 データと指標がEngとBizで違う データ: 評価に使う会議の種類・話者構成に偏り → 実ユースケースに合わせてデータを拡充 指標: DER
は「秒」で数える → 短く話す人が消えても、数字に出にくい DER = 間違えた秒数 ÷ 全体の秒数 ※イメージ 音声 正解 予測 0分 佐藤 田中 間違えた区間 30分 60分 間違いは数% → でも 田中は丸ごと消えている 6
EngとBizでの感覚の違い · やったこと 実際の会議に近づけ、体感に近い指標で測る Bizとも議論し集めるべき会議を整理→アノテーション 商談/定例/経営/採用 男女の割合・発話時間の偏り分布 アプリに合わせた評価指標の設計 話者ごとの Recall
/ Precision を、1人1票で平均 処理速度の計測(RTFx)、実行マシンの記録 7
EngとBizでの感覚の違い · やったこと ユーザーには、こう見えている 💬 これ間違えてるんだけど! speaker_0 が違う ラベルから見る →
Precision 文字起こし画面 00:12 00:15 00:21 00:30 speaker_0 speaker_0 speaker_1 speaker_0 💬 私がどれかわからないんだけど! (鈴木) 本人から見る → Recall 本日はよろしくお願いします よろしくお願いします 実は 鈴木 では、議題から始めましょう 鈴木 資料は共有済みです ※イメージ (仮名) 8
EngとBizでの感覚の違い · やったこと 当たり外れを、話者ごとに数える 正解 \ 表示 佐藤 女 田中
男 鈴木 男 Precision speaker_0 speaker_1 → 佐藤 20 3 1 83% → 鈴木 Recall 62% 92% Recall 100% 0% Precision 男女の取り違え 13% (4/30) 6 86% 行単位の accuracy なら 87% (26/30) ※架空の会議 100% 9
EngとBizでの感覚の違い · どうなったか 性能を語る「共通言語」ができた Eng も Biz も、同じ指標で性能を議論できるように 「精度が良い /
悪い」の感覚のズレが、議論できる形になった 10
アノテーション · 状況 3ヶ月で、データを5倍に データ量を3ヶ月で 5倍 にしたい 作業者でラベルの付け方に差 じっくり派 /
スピード派 単調で、作業者の負担が大きい これまで: Audacity で1区間ずつ手入力 ※イメージ 音声 ラベル y a m 範囲を選ぶ → 話者名を打つ、を最後まで繰り返す 11
アノテーション · 課題 速く・品質をそろえる・楽に 高速化: 3ヶ月で5倍に間に合わせる 標準化: 誰が付けても同じ基準のラベルにする 負担軽減: 作業をつらくしない
12
アノテーション · やったこと 半自動化と、作業画面の改善 半自動アノテーション モデルの下書きを人が修正 時間が短くなり、ばらつきも減る 作業画面の改善 マウス移動・操作ステップを削減 心地よく続けられる見た目に
いま: モデルの下書きを人が直す ※イメージ 音声 SPEAKER_00 SPEAKER_01 1 0:01.7 → 0:03.5 2 0:03.7 → 0:06.0 SPEAKER_00 ▾ SPEAKER_01 ▾ ✎ 修正 13
アノテーション · どうなったか 3ヶ月でデータ5倍を達成 目標どおり、3ヶ月でデータ量を 5倍 に 14
リアルタイム話者分離 · 状況 リアルタイムは、UXが違う 少ない情報のまま、話者を判定 しなければならない ユーザーの本音: 「早く出してほ しい。でも間違いは嫌」 •
LIVE リアルタイム文字起こし 田中 本日はよろしくお願いします 佐藤 よろしくお願いします 田中 ※イメージ ✓ 声紋認証で特定 ✓ 声紋認証で特定 では、議題から始めましょう 15
リアルタイム話者分離 · 課題 ユーザーが求めること 💬 会議が始まってすぐ、正しく分けられているか確かめたい 💬 声紋を登録した人は、すぐ名前で出してほしい 💬 一度出た名前は、コロコロ変えないでほしい
→ リアルタイムならではの評価指標が必要 16
リアルタイム話者分離 · やったこと リアルタイム特有の評価指標を追加 声紋なし 💬 始まってすぐ、正しく分けたい 最初の印象 2回目も同じ speaker_N
か • LIVE リアルタイム文字起こし ※イメージ 田中 本日はよろしくお願いします 初出の当たり 最初に出た名前は本人か 佐藤 よろしくお願いします 全員 💬 コロコロ変えないでほしい 田中 声紋あり 💬 すぐ名前で出してほしい チラつき 出た名前が書き換わった回数 ✓ 声紋認証で特定 ✓ 声紋認証で特定 では、議題から始めましょう 17
リアルタイム話者分離 · どうなったか 性能を語る「共通言語」ができた ニッチで新しい分野のため、代表的な評価指標が確立していない これからも育てていく 18
評価設計は、 実装の次の武器 ユーザーの感覚を、指標とデータに翻訳する 翻訳できれば、Eng も Biz も同じ言葉で話せる Engが取り組むゴールにもなる 19
Thank you! ご清聴ありがとうございました 20
More Decks by Nishika-Inc
See All by Nishika-Inc
汎用の音声認識を「現場の言葉」に寄せる — 業界特化モデル開発の実践
nishikainc
0
27
Slack + Notion + AIで作る不具合対応ワークフロー
nishikainc
0
48
AIプロダクト開発におけるClaudeCode活用ガイド
nishikainc
0
64
会議AIエージェント「SecureMemo」シリーズ紹介 − なぜ私たちは精度に一番こだわるのか
nishikainc
0
99
会議AIエージェントに話者認識AIを乗せる難しさと重要性
nishikainc
0
160
ASRは精度だけでは足りない − 専門用語の誤認識にどう向き合うか
nishikainc
0
160
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
2.1k
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
250
Nishika_Bussei_mi-solution_3rd_solution.pdf
nishikainc
0
460
Featured
See All Featured
Applied NLP in the Age of Generative AI
inesmontani
PRO
4
2.6k
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
BBQ
matthewcrist
90
10k
Marketing to machines
jonoalderson
1
6k
Into the Great Unknown - MozCon
thekraken
41
2.8k
Paper Plane (Part 1)
katiecoart
PRO
3
12k
Thoughts on Productivity
jonyablonski
76
5.5k
Exploring anti-patterns in Rails
aemeredith
4
570
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k
Become a Pro
speakerdeck
PRO
31
6.4k
Making the Leap to Tech Lead
cromwellryan
135
10k
Facilitating Awesome Meetings
lara
57
7.2k