Slide 5
Slide 5 text
Исследования
Почему WER плохая метрика
• Расшифровки используются в прикладных областях
• Задачи перевода и поиска имеют собственные метрики качества [1][2][3]
• Нет зависимости между тем высоким WER и правильным пониманием [4]
• Итоговая оценка качества производится человеком
[1] X. He, L. Deng and A. Acero, "Why word error rate is not a good metric for speech recognizer training for the speech translation task?," 2011 IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP), Prague, 2011, pp. 5632-5635, doi: 10.1109/ICASSP.2011.5947637.
[2] J. Garofolo, C. Auzanne, and E. Voorhees, “The TREC spoken document retrieval track: A success story,” in Proceedings of the Eighth Text REtrieval
Conference (TREC 8), 1999.
[3] Grangier, D., Vinciarelli, A., and Bourlard, H., “Information retrieval on noisy text,” IDIAP-COM 03-08, IDIAP, 2003.
[4] Y. Wang, A. Acera, and C. Chelba, “Is word error rate a
good indicator for spoken language understanding accuracy,” in IEEE Workshop on Automatic Speech Recognition and Understanding. IEEE, 2003, pp. 577–582.