Upgrade to Pro — share decks privately, control downloads, hide ads and more …

汎用の音声認識を「現場の言葉」に寄せる — 業界特化モデル開発の実践

Nishika-Inc
November 11, 2026
27

汎用の音声認識を「現場の言葉」に寄せる — 業界特化モデル開発の実践

Nishika-Inc

November 11, 2026

Transcript

20 slides
  1. ⽂字起こしの誤りが議事録まで残る 会議の⾳声 ASR LLM 専⾨⽤語を含む ⾳声を⽂字に 議事録‧要約を作る ASRの代表例 Whisper ∕

    Google Speech-to-Text ∕ gpt-4o-transcribe 要約は⽂字起こしをもとに書くので、ASRの誤りがそのまま残る Nishika AI Product Lab #3
  2. 公開ベンチでは⾼精度でも、現場の⾔葉は間違える 医療の会議での例 正解 褥瘡の処置をする ⽂字起こし 除草の処置をする 正解 誤嚥に注意する ⽂字起こし ご縁に注意する

    公開ベンチマークでは Whisper large-v3 のCER 7.1% 読み上げ⾳声(JSUT)での値¹ 正解 マグミットを処⽅する ⽂字起こし マグネットを処⽅する ¹ JSUT Basic 5000でのCER。出典:kotoba-whisper-v2.0 モデルカード Nishika AI Product Lab #3 それでも、現場の⾔葉は⼀般の語に置 き換わる
  3. 01 現場の⾔葉を測る 誤りの数え⽅は、指標ごとに違う S:置換 D:削除 I:挿⼊ H:⼀致 ⽇本語は、基本はCERで測る 指標(数える単位) 計算⽅法

    WER(単語) (S+D+I) ÷ 正解の単語数 CER(⽂字) (S+D+I) ÷ 正解の⽂字数 SER(⽂) 誤りを含む⽂の数 ÷ 全⽂数 MER(単語) (S+D+I) ÷ (H+S+D+I) WIL(単語) 1 − H² ÷ (正解語数 × ⽂字起こし語数) BERTScore(意味) 語をベクトル化し、類似度を平均 Nishika AI Product Lab #3
  4. 対策① 正解と⽂字起こしを、同じルールで揃える 正解テキスト 同じ正規化ルール CERを計算 ⽂字起こし結果 対象 揃える前 揃えた後 数字

    会議は⼗時から 会議は10時から 句読点 はい、そうです。 はいそうです 全⾓‧半⾓ AIの精度 AIの精度 フィラー えー、次の議題 次の議題 Nishika AI Product Lab #3
  5. 対策② ⽤語と会議全体を、別々に測る 例:⽤語を含む1⽂ 便秘には ⽐べる相⼿ マグミット を処⽅します ① ⽤語 ふだんの会議

    ③ 会議全体 ② ⽤語を含む⽂ ① ⽤語の再現率 ② ⽤語を含む⽂のCER ③ 会議全体のCER 指定した⽤語のうち、正 しく書けた割合 ⽤語が⼊った⽂で、⽂字 を誤った割合 ふだんの会議⾳声で、⽂ 字を誤った割合 Nishika AI Product Lab #3
  6. 02 評価ハーネスを作る 評価ハーネスは、3つを固定して⽐べる仕組み 正規化ルール 同じ条件で⽐べた結果 表記の揃え⽅を固定 モデル ⼀般 CER ⽤語

    CER 新規 ⽤語 既習 ⽤語 指標 A 9.8% 24.6% 32% 17% CER+⽤語の再現率 A FT 11.5% 18.3% 55% 55% B 10.2% 15.1% 63% 76% B FT 9.9% 12.7% 71% 70% 評価セット ⽤語を含む⾳声と、その正解 ⼀般:⽇常会話の⾳声のCER 現率 数値は説明⽤の例です Nishika AI Product Lab #3 ⽤語:専⾨⽤語を含む⾳声のCER モデルを替えても、物差しは変えない 新規∕既習:今回∕前回までに学習した⽤語の再
  7. 評価セットを準備する 第1候補 第2候補 第3候補 実際の現場の⾳声 ⾃分たちで録⾳ 合成⾳声で作る ⼿に⼊るなら最優先 話し⽅も雑⾳も本物 弱み:許諾‧個⼈情報

    第1候補がないとき ⽤語⼊りの台本を読む 弱み:時間がかかる 第2候補も難しいとき ⽤語リストをTTSで読む 弱み:実⾳声との差 どの⾳声でも、正解テキストと専⾨⽤語リストを⽤意する Nishika AI Product Lab #3
  8. 学習データは、公開データと合成⾳声を混ぜる 公開データセット 合成⾳声(TTS) 例:ReazonSpeech∕Common Voice等 例:⽤語リストをTTSで読み上げる 役割 役割 ⼀般の⾔葉を忘れさせない² +

    現場の⽤語を覚えさせる¹ 弱み 弱み 専⾨⽤語がほとんど⼊っていない 会議⾳声と、話し⽅‧雑⾳が違う ¹ 合成⾳声のみの追加学習で、実⾳声のWERが10〜17%改善(arXiv 2501.12501) ² 実⾳声に合成⾳声を混ぜると、実⾳声のみより誤りが減少(arXiv 2601.00935) Nishika AI Product Lab #3
  9. まだ解けていないこと ハーネスで測れるようになって、⾒えてきた課題 01 02 03 何度学習させても、覚 えない語がある 地名に寄せると、普通 の⾔葉が地名に化ける 物差しに、モデルが合

    わせてしまう 何⼗回学習させても残り の数%の単語を覚えるこ とができない。 「…さんの」が「三野」 に、「あの」が「阿野」 になる。 上位モデルは、⾳声と⾷ い違っても評価セットの 正解⽂を出す¹。 ¹ Lebryk et al., "Towards Quantifying Benchmark Optimization in ASR Models", arXiv:2608.19936, 2026 Nishika AI Product Lab #3
  10. まとめ 01 02 03 04 平均の数字は、現場の誤りを隠す 表記ゆれだけでCERは29%に。薬の名前を全部誤っても、全体のCERは10% 物差しは、モデルより先に作る 正規化ルール‧指標‧評価セットを固定し、⽤語と会議全体を別々に測る 測れてから、データで寄せる

    公開データや⾃社データ、合成⾳声で学習し、会議⾳声のCERは32.8%→12.1%、 地名の正解率91.6% 測り続けるから、次の課題が⾒える 覚えない語、普通の⾔葉が地名に化ける誤り、物差しへの合わせ込みが残る Nishika AI Product Lab #3

More Decks by Nishika-Inc