Measuring speech recognition qualityMesurer la qualité de la reconnaissance
Word error rate
To evaluate a recognition system objectively, researchers and practitioners mainly use word error rate.
The metric counts three kinds of error:
- Substitutions: one word replaced by another (“contract” becomes “contact”);
- Deletions: a word of the reference missing from the transcription;
- Insertions: a word added that was not in the original.
The formula: WER = (S + D + I) / N × 100, where N is the total number of words in the human reference gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. .
What does a rate of 5% actually mean?
A WER of 5% means that on average one word in twenty is wrong. But errors do not all have the same impact. Take a text of 20 words:
Original: “The contract stipulates an amount of twenty million dollars, payable before 15 March 2025, and late payment will incur penalties.”
Transcription: “The contract stipulates an amount of twenty billion dollars, payable before 15 March 2025, and late payment will incur penalties.”
A single error, so a WER of 5%, and the meaning of the document changes completely. WER measures how often errors occur, not how much they matter. This is why numerical metrics are not enough on their own: the impact of the errors has to be judged in the professional setting they are meant for. Weighting errors by importance, on named entities for instance, predicts how useful a system will be for a given task better than a raw WER does (Galibert et al., 2016).
Performance by condition
Current systems reach very different levels depending on the conditions (Radford et al., 2023; Koenecke et al., 2020):
- Ideal conditions (clear audio, a single speaker, standard vocabulary): text that is generally readable with few visible errors; it still has to be reread for figures, proper nouns and acronyms.
- Real-world conditions (background noise, accents, terminology): quality fluctuates a great deal.
- Difficult conditions (several speakers, heavy noise, specialized language): errors become frequent and unstable. Assigning speaker turns remains fragile, and terminology and names go on causing trouble despite the progress made.
Le taux d’erreur de mots
Pour évaluer objectivement un système de reconnaissance, chercheurs et professionnels utilisent principalement le taux d’erreur de mots.
La métrique compte trois types d’erreurs :
- Substitutions : un mot remplacé par un autre (« contrat » → « contact ») ;
- Suppressions : un mot de la référence absent de la transcription ;
- Insertions : un mot ajouté qui n’était pas dans l’original.
La formule : WER = (S + D + I) / N × 100, où N est le nombre total de mots de la référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. humaine.
Que signifie concrètement un taux de 5 % ?
Un WER de 5 % veut dire qu’en moyenne, un mot sur vingt est erroné. Mais toutes les erreurs n’ont pas le même impact. Exemple avec un texte de 20 mots :
Original : « Le contrat stipule un montant de vingt millions de dollars, payable avant le 15 mars 2025, sous peine de pénalités. »
Transcription : « Le contrat stipule un montant de vingt milliards de dollars, payable avant le 15 mars 2025, sous peine de pénalités. »
Une seule erreur, donc un WER de 5 %, et le sens du document change complètement. Le WER mesure la fréquence des erreurs, pas leur gravité. C’est pourquoi les métriques chiffrées ne suffisent pas : il faut évaluer l’impact des erreurs dans le contexte professionnel visé. Pondérer les erreurs selon leur importance, par exemple sur les entités nommées, prédit mieux l’utilité d’un système pour une tâche donnée qu’un WER brut (Galibert et al., 2016).
La performance selon les conditions
Les systèmes actuels atteignent des niveaux très différents selon les conditions (Radford et al., 2023 ; Koenecke et al., 2020) :
- Conditions optimales (audio clair, locuteur unique, vocabulaire standard) : texte en général lisible avec peu d’erreurs visibles ; une relecture reste nécessaire pour les chiffres, les noms propres et les sigles.
- Conditions réelles (bruit ambiant, accents, terminologie) : la qualité fluctue fortement.
- Conditions difficiles (plusieurs locuteurs, bruit important, langue spécialisée) : les erreurs deviennent fréquentes et instables. L’attribution des tours de parole reste fragile, et la terminologie et les noms continuent de poser problème malgré les progrès.
Sources
- Galibert, O., Camelin, N., Deléglise, P., & Rosset, S. (2016). Estimation de la qualité d'un système de reconnaissance de la parole pour une tâche de compréhension. Actes de la conférence conjointe JEP-TALN-RECITAL 2016, vol. 1, 274–282. https://aclanthology.org/2016.jeptalnrecital-jep.31/
- Koenecke, A., Nam, A., Lake, E., Nudell, J., Quartey, M., Mengesha, Z., Toups, C., Rickford, J. R., Jurafsky, D., & Goel, S. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684–7689. https://doi.org/10.1073/pnas.1915768117
- Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2023). Robust speech recognition via large-scale weak supervision. Proceedings of the 40th International Conference on Machine Learning (PMLR 202), 28492–28518. https://proceedings.mlr.press/v202/radford23a.html
Sources
- Galibert, O., Camelin, N., Deléglise, P., & Rosset, S. (2016). Estimation de la qualité d'un système de reconnaissance de la parole pour une tâche de compréhension. Actes de la conférence conjointe JEP-TALN-RECITAL 2016, vol. 1, 274–282. https://aclanthology.org/2016.jeptalnrecital-jep.31/
- Koenecke, A., Nam, A., Lake, E., Nudell, J., Quartey, M., Mengesha, Z., Toups, C., Rickford, J. R., Jurafsky, D., & Goel, S. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684–7689. https://doi.org/10.1073/pnas.1915768117
- Radford, A., Kim, J. W., Xu, T., Brockman, G., McLeavey, C., & Sutskever, I. (2023). Robust speech recognition via large-scale weak supervision. Proceedings of the 40th International Conference on Machine Learning (PMLR 202), 28492–28518. https://proceedings.mlr.press/v202/radford23a.html