講義スライドと書き起こしデータの自動対応

柿元 芳文, 山本 和英. 講義スライドと書き起こしデータの自動対応. 言語処理学会第13回年次大会, pp.688-691 (2007.3)

Transcript

1. 講義スライドと 書き起こしデータの自動対応 長岡技術科学大学　　電気系 柿元　芳文　　　山本　和英
2. はじめに 音声認識技術が発達 書き起こしデータの作成が容易に 書き起こしデータを教育へ活用 データの整形が必要
3. 文書の分割 えー音声入力の視点から・・・・ ・・・・・・・・・・・・・・・・・・・・・ えーそれでえーとまこういう・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ で じゃあ機械で実現する・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・・・・ 書き起こしデータ スライド１ スライド２ スライド３
4. 用いたデータ １、講義の書き起こしデータ ・ポーズで改行 ・フィラーを多数含む ・誤字、脱字は修正済み ２、対応する講義のスライド 発話 ・すべての発話に番号を付与 発話ID
5. 手法概要 １、前処理 ２、スコアの算出 ３、動的計画法による分割点探索 （１）含有率スコア （２）表層表現スコア
6. 前処理 （１）文字が使われている （２）逐次的に説明される （３）飛ばしたり戻ったりしない 上記の条件を満たさない部分は除去
7. スコアの設定 傾向１　スライドを説明している発話群は そのスライドの単語を含みやすい 傾向２　文頭に接続詞やフィラーが発生し やすく、一つ前の発話が終了形
8. 含有率スコア ) , ( k W i W R
9. 表層表現スコア 59　　おー知識が必要な内容です 60　　えー音声入力の視点から・・・ 134　・・・明らかになるわけです 135　えーそれでえーとまこういうふうに・・・ 45　　・・・あまりしないことにします 46　　で じゃあ機械で実現する・・・ 上記のような場合のみ0.01のスコアを付与 ) ( j L
10. 動的計画法 ステートの重み：表 層表現スコア リンクの重み：　含 有率スコア 最大となるパス
11. 評価実験 ・用いたデータ ・評価指標 ５講義分の書き起こしデータ 各々の講義で使用されたスライド 出力分割点数 解分割点数 出力結果に含まれる正 = w P ・比較対象 TextTiling法 （M.A.Hearst） 語彙的連鎖を用いた分割手法 適合率
12. 評価結果 講義 本手法 TextTiling法 講義１ 0.552 0.241 講義２ 0.649 0.442 講義３ 0.381 0.190 講義４ 0.378 0.243 講義５ 0.600 0.300 全体 0.543 0.326 適合率　Pw 表１：講義別にみた適合率 本手法がTextTiling法を上回っている
13. 考察 講義 含有率 講義１ 0.434 講義２ 0.613 講義３ 0.416 講義４ 0.478 講義５ 0.408 表２：スライドの単語の含有率 含有率に大きな差が見られない スコア計算に採用した単語に問題がある
14. 動的計画法のスコアについて L(j’)の最適値はA線付近
15. まとめ 講義のスライドを情報として用いるこ とで良精度のものを実現 TextTiling法に比べ、適合率が21.7　 　ポイント向上 重要単語抽出や、分割点特徴語を収 　集することで精度向上が期待できる
16. 以降手持ち
17. 書き起こしデータ
18. 含有率スコア　　　　　　　　（1/2） k W k W i W k W i W R | | ) , ( ' ∩ = } ) 1 ( ) ( | {  M i s J j j H w w k W − = ∈ = （１） ) , ( k W i W R i：スライド番号 j ：発話ID M：発話の総数 ) ( j H ：発話IDが　 の場合の発話 j i W：スライドの単語の集合 k W ：ある範囲の発話群に含まれる単語の集合 ) (i j s ：分割点の発話ID w：１単語
19. 含有率スコア　　　　　　　　（2/2）        ≤ × = otherwise k W i W R k W if k W k W i W R k W i W R ) , ( ' 100 | | 100 | | ) , ( ' ) , ( 式（１）（２）より 傾向１に沿ったスコア （２） ) , ( k W i W R
20. 表層表現スコア １、発話の文頭が「えー」又は接続詞 ２、直前の発話が終了形 １，２を満たす発話のみに 傾向２に沿ったスコア ) ( j L 0.01のスコアを付与
21. 終了形とは ・名詞 ・感動詞 ・フィラー ・未知語 ・接続詞 ・助詞（終助詞は除く）
22. 動的計画法 } ) ' ( | { ) ' ( ) , ( ) | ( 1 ) 1 ( ' ' ' ' ) 1 (  + + − − = + ∈ = + = i N M i J j k k i j i ij s j H w w W j L W W R S S Score ij S ' ) 1 ( j i S + から に移動する場合のスコア N ：スライドの枚数 ' j ：直前のステートから接続可能な発話ID