会議AIエージェントに話者認識AIを乗せる難しさと重要性

現場で使える音声認識・LLM (Nishika AI Product Lab #1)

Transcript

1. 会議AIエージェントに話者認識AIを載せる難しさと重要 性 2026年8月5日 Nishika株式会社 東京都品川区東五反田１−２５−１１ The Gate Gotanda East 4階 © Nishika, Inc 1
2. 自己紹介 ◼ 髙山 雄貴 ◼ Nishika株式会社 リードAIエンジニア ⚫ 自社のAI議事録プロダクトのAIインフラの運用 ⚫ 企業向けAIソリューションの開発/PoC案件のPM ⚫ 話者認識AIの研究開発 ◼ これまでのキャリア ⚫ SIerでSpringBootアプリ開発 ⚫ ソフトウェアベンダーでRDBの設計・構築・運用 ⚫ Kaggleをやっていた縁でNishikaにJOINして早4年 ◼ マイブームは去年に始めたボルダリング © Nishika, Inc 2
3. 話者認識とは何か 話者認識とは、誰がどの時間帯に、話したのかを予測すること © Nishika, Inc 3
4. なぜ話者認識は、会議AIエージェントにおいて重要なのか ①要約における話者情報の重要性 要約の個別タスクで重要な情報は、発言の主体が特定でき て初めて実用レベルになります。 ◼ 決定事項の抽出: 決済者（誰が承認したか） ◼ アクションアイテムの抽出: 担当者特定（誰にアサインさ れたか） ◼ 論点の整理: 賛成派・反対派・保留派の構造化 ◼ Q&Aの整理: 質問者と回答者の対応関係 © Nishika, Inc 弊社サービスのトピック別要約の例 ▪ トピック 1. 新製品のエコ素材訴求を軸にしたマーケティング戦略 の方向性 … ▪ ToDo ・ 次回までにマーケティング戦略を具体化する。（髙 山） [00:01:49 - 00:02:22] ・ 次回までにコストと開発のバランスを精査する。（小 出） [00:01:49 - 00:02:25] ・ 次回までにコスト面を考慮したデザイン案をさらに煮 詰める。（冨野） [00:01:49 - 00:02:30] 4
5. なぜ話者認識は、会議AIエージェントにおいて重要なのか ②会議の情報資産化 ◼ 組織における人・プロジェクトのナレッジ、意思決定、人のエンゲージメントを分析し、事業活動・組織マネジメントに活用で きる ①人のナレッジ資産化 誰がどの領域・案件に詳しいかを蓄積する • Aさんは過去半年でどんな案件・トピックに関わってきたか • Bさんはこの領域について過去どういう発言をしてきたか • 特定領域の社内エキスパートを自動特定 ②プロジェクトのナレッジ資産化 案件を跨いだステークホルダーと経緯を蓄積する • この案件で顧客側の意思決定者は誰か • 顧客側の担当は途中で交代しているか • 自社側で誰が主担当として最も発言してきたか ③意思決定の資産化 結論だけでなく、合意形成のプロセスを蓄積する • 誰が最初に提案し、誰が反対し、どう合意に至ったか • 一度検討して見送った案と、その反対理由 • 決定事項の推進者・最終承認者(監査証跡) ④人の議論傾向の資産化 発言スタイル・貢献パターンを蓄積する • 議論スタイル・貢献タイプの分類(発散型/収束型/決定型) • 商談の進め方・交渉スタイル • 発言傾向の時系列変化(エンゲージメント兆候) © Nishika, Inc 5
6. SecureMemoシリーズではどのように話者認識を行なっているか 会議音声の特定の発言をトリムして、声紋を登録することができる ◼ 声紋とは、音声から抽出した、個人の声の特徴 ◼ システム内部の仕組みとしては深層学習モデルを使用して、話者の埋め込みとして固定長の数値ベクトルに変換している © Nishika, Inc 6
7. SecureMemoシリーズではどのように話者認識を行なっているか 登録した声紋を使用して、どの話者に近いかを判定する ◼ 初対面の方などの声紋がない方は、何人いるかを指定して教師なしの話者認識をすることができる 会議出席者の話者の声紋を選択する 会議出席者の声紋がない人が何人いる かを設定する © Nishika, Inc 7
8. SecureMemoシリーズではどのように話者認識を行なっているか 文字起こしの結果をもとに、SecureMemoシリーズではDiarization, Identificationを実行して いる ◼ SecureMemoシリーズとしての話者認識は3種類ある ⚫ 教師あり：全ての話者について、声紋が揃っている場合→Identification（話者識別） ⚫ 教師なし：全ての話者について声紋がない場合（人数のみがわかっている場合）→Diarization（話者分離） ⚫ 半教師あり：声紋がある話者と声紋がない話者が混在している場合→Diarization（話者分離）をベースに工夫 観点 Diarization （話者分離） Identification （話者識別） Verification （話者認証） 問い いつ誰が話したか N人のうちでだれであるか 特定の1人であるか否か 問題の形式 クラスタリング 多クラス分類 二値分類 教師あり/なし 教師なし 教師あり 教師あり 入力 推論対象の音声 推論対象の音声＋N人の声紋 推論対象の音声＋1人の声紋 出力 時間区間+匿名のラベル 話者ラベル Yes / No ユースケース 議事録の発話区切り 参加者名の自動付与 声紋ログイン 本人確認 © Nishika, Inc 8
9. SecureMemoシリーズではどのように話者認識を行なっているか -教師なし話者認識の流れ 教師なし話者認識では、文字起こしの発話のセグメントを固定長に区切り、スペクトラルクラ スタリングを行う ◼ 推論の大まかな流れは以下の通り ⚫ 文字起こしの発話のセグメントを固定長（以降サブセグメントと呼ぶ）に区切り、 NVIDIA Titanet-Lを使用して話者埋め込みを出力 ⚫ 話者埋め込みについてスペクトラルクラスタリング ⚫ クラスタリングの出力について多数決をとって、最終的な話者の出力を計算 ◼ 参考 ⚫ N. Raghav, M. Sahidullah, “Assessing the Robustness of Spectral Clustering for Deep Speaker Diarization”, arXiv:2403.14286, 2024. ⚫ この論文では、VoxCeleb学習済のECAPA-TDNNのモデルで話者埋め込みを計算している点が、弊社の手法と異なります。 © Nishika, Inc 9
10. SecureMemoシリーズではどのように話者認識を行なっているか -教師なし話者認識の流れ 文字起こしの出力の発話セグメントを固定長に区切り、Titanet-Lの埋め込みを計算 © Nishika, Inc 10
11. SecureMemoシリーズではどのように話者認識を行なっているか -教師なし話者認識の流れ 話者埋め込みのベクトルについて、スペクトラルクラスタリングを行う © Nishika, Inc 11
12. SecureMemoシリーズではどのように話者認識を行なっているか -教師なし話者認識の流れ サブセグメントごとの話者予測結果について多数決を行い、最終的な話者予測を行う © Nishika, Inc 12
13. SecureMemoシリーズではどのように話者認識を行なっているか –半教師ありの話者認識の流れ 半教師ありの話者認識は、基本的な流れは教師なしと同様 声紋の話者埋め込みを取得し、半教師ありのスペクトラルクラスタリングを行う点が異なる ◼ 声紋の話者埋め込みもベクトルとして結合（以下の図のイメージ） ◼ このベクトルに対して、声紋の部分はk-meansのクラスタの中心を固定してスペクトラルクラスタリングを行う © Nishika, Inc 13
14. 話者認識の精度評価 誰がどの時間区間を話していたかの予測が誤っている時間の割合を見る ◼ Diarization Error Rate(DER)もIdetification Error Rate(IER)も両方とも誰がどの時間区間を話していたかの誤 り率を指す。 ⚫ DERはIERと異なり、 Hungarian法などで匿名ラベルと正解ラベルの割り当てを最適化する点が異なる ◼ ただユーザーの体感の精度と一致しない部分があるためセグメントの正解率などや定性的な確認も行う © Nishika, Inc 14
15. 話者認識の精度評価 予測の難しい代表的な例は、発言が少数の話者、多人数の会議の話者の予測 ◼ 予測の難しい会議の特徴 ⚫ 多人数（7人以上）の会議 ⚫ オフラインの会議 − マイクの集音品質に依存する部分がある ◼ 予測の難しい発言 ⚫ 発言が少数の話者 − 特に教師なしでクラスタリングを行う際には、大域的に会議全体の音声の特徴を捉えるため発言の少ない話者の部分が、他の話者のクラスタに混ざっ てしまうことも多い ⚫ 複数人の発言が重なってしまう場合 − 発言が重なってしまう場合、それらの発話を検出した上でクラスタリングする技術はあるが予測難易度は高い − またアプリケーション上で発言の重なりをどう表現するかも課題になる © Nishika, Inc 15
16. 話者認識の精度評価 プロダクトに投稿される会議音声の分布に近似させることを意識してデータを選定し、 専用アプリを使用して、効率的にアノテーションを実施 ◼ 対象とする会議音声の選定 ⚫ 以下の方針で社内会議の音声からデータを選別 − 最終的に集めたい会議音声は、SecureMemoCloudに投稿される会議音声の話者の人数、音声の再生時間の分布に近似させる • 実際のデータの分布はわからないが、男女比等も多様性を持たせるようにデータを選定 − 顧客の利用シーンに合わせて、朝会・商談・営業メンバーの会議・エンジニアの会議などの多様性を持たせる ◼ 発話区間のアノテーション ⚫ 独自の専用アプリケーションを使用して、話者認識AIの予測ラベルをベースにアノテーション ⚫ プロダクトの話者予測の際には、文字起こし結果の発話に合わせているが、それに合わせずアノテーションを行う ⚫ モデルによって異なる文字起こしの発話区間と合わせて、話者をアラインメントするプログラムも用意 話者アノテーション用アプリケーション © Nishika, Inc 16
17. まとめ・今後の展望 精度、UX、評価、事業応用のいろんな面で取り組むべき課題がたくさん存在する 精度面の展望 難しいケースへの対応 • 人数指定なしでも高精度に予測できる話者認識の実現（大企業会議など人数が 不明なユースケースに対応） • 発言量が少ない話者を、他クラスタに埋没させずに拾い上げる手法の探索 • オフライン会議・マイク集音品質のばらつきに頑健なモデル/前処理の整備 UX面の展望 声紋登録・選択の手間を減らす • 声紋の事前登録なしでも、会話の文脈（呼びかけ、自己紹介、話題の役割）か ら話者を類推 • 過去の類似会議体のコンテキストを流用した話者推定（同じ定例に出るメンバー の継続認識） • ユーザーの明示操作を減らし、利用の中で自動的に声紋が蓄積されていく仕組み の設計 評価・データ面の展望 顧客の求める精度をより正確に評価できる体制を整える • SecureMemoCloudに投稿される実データ分布に追従した評価セットの継続的 な更新 • 会議シーン別（朝会／商談／技術会議 等）の精度ダッシュボード化と、弱点 シーンへの重点改善 • オーバーラップや少数発言など、難所ケースに特化したサブセット評価の導入 事業応用の展望 話者情報を起点とした情報資産化 • 議論スタイル・貢献タイプの分類(発散型/収束型/決定型) • 商談の進め方・交渉スタイル • 発言傾向の時系列変化(エンゲージメント兆候) © Nishika, Inc 17
18. © Nishika, Inc 18