Translating speech: cascade or end-to-endTraduire la parole : en cascade ou de bout en bout
Two technical routes
Speech-to-speech translation speech-to-speech translation (S2ST)traduction parole à parole speechparole The conversion of spoken input in one language into spoken output in another language, either by chaining speech recognition, machine translation and speech synthesis (cascade) or by a single end-to-end model.Conversion d'un énoncé oral dans une langue en énoncé oral dans une autre langue, soit en enchaînant reconnaissance de la parole, traduction automatique et synthèse de la parole (cascade), soit par un modèle unique de bout en bout. can be built in two ways: passing through written text or not. An important consideration in that choice, and in choosing any speech technology, is latency.
The cascade approach
FR audio → FR text → EN text → EN audioThe system chains three modules: speech recognition automatic speech recognition (ASR)reconnaissance automatique de la parole (RAP) speechparole Technology that analyses the human voice captured by a microphone and transcribes it into machine-readable text; also called speech-to-text (STT).Technologie qui analyse la voix humaine captée au moyen d'un microphone pour la transcrire sous la forme d'un texte exploitable par une machine ; aussi appelée transcription de la parole en texte (angl. speech-to-text, STT). , machine translation, then speech synthesis speech synthesis (TTS)synthèse de la parole speechparole The generation of artificial speech from written text (text-to-speech), combining linguistic processing to derive a pronounceable phonetic form with signal processing to render it as audio; the inverse of automatic speech recognition.Production de parole artificielle à partir de n'importe quel texte (angl. text-to-speech, TTS), combinant un traitement linguistique, qui transforme le texte en une forme phonétique prononçable, et un traitement du signal, qui transforme cette forme en son ; l'inverse de la reconnaissance automatique de la parole. .
- Advantages: a modular architecture; each stage can use the best model available, and each stage produces a result you can inspect and correct before the next one runs. When you are evaluating a system rather than working under time pressure, that is what lets you see which stage is failing and needs work.
- Drawbacks: unless you intervene, each stage works from what the one before it produced, so errors accumulate. Machine translation that is excellent on written text does worse here, because what it is translating is a transcription that may already be wrong. Latency grows with each stage, and prosodic elements (intonation, emphasis) are lost on the way through the text.
The end-to-end approach
FR audio → [single model] → EN audioA single model turns the source audio directly into target audio.
- Advantages: the voice and the style can be preserved; lower latency.
- Drawbacks: still under development, and available for few language pairs. Training one directly takes hundreds of hours of the same utterances spoken in both languages, which exists for few pairs, where a cascade reuses recognition, translation and synthesis trained separately (Diwan et al., 2024).
Most current consumer tools work as a cascade; voice cloning still lets them keep a voice close to the original.
Deux chemins techniques
La traduction parole à parole speech-to-speech translation (S2ST)traduction parole à parole speechparole The conversion of spoken input in one language into spoken output in another language, either by chaining speech recognition, machine translation and speech synthesis (cascade) or by a single end-to-end model.Conversion d'un énoncé oral dans une langue en énoncé oral dans une autre langue, soit en enchaînant reconnaissance de la parole, traduction automatique et synthèse de la parole (cascade), soit par un modèle unique de bout en bout. peut se construire de deux façons : en passant par le texte écrit ou non. Une considération importante dans ce choix, et dans le choix d’une technologie de la parole en général, est la latence.
L’approche en cascade
Audio FR → Texte FR → Texte EN → Audio ENLe système enchaîne trois modules : reconnaissance de la parole automatic speech recognition (ASR)reconnaissance automatique de la parole (RAP) speechparole Technology that analyses the human voice captured by a microphone and transcribes it into machine-readable text; also called speech-to-text (STT).Technologie qui analyse la voix humaine captée au moyen d'un microphone pour la transcrire sous la forme d'un texte exploitable par une machine ; aussi appelée transcription de la parole en texte (angl. speech-to-text, STT). , traduction automatique, puis synthèse de la parole speech synthesis (TTS)synthèse de la parole speechparole The generation of artificial speech from written text (text-to-speech), combining linguistic processing to derive a pronounceable phonetic form with signal processing to render it as audio; the inverse of automatic speech recognition.Production de parole artificielle à partir de n'importe quel texte (angl. text-to-speech, TTS), combinant un traitement linguistique, qui transforme le texte en une forme phonétique prononçable, et un traitement du signal, qui transforme cette forme en son ; l'inverse de la reconnaissance automatique de la parole. .
- Avantages : architecture modulaire ; chaque étape peut utiliser le meilleur modèle disponible, et chaque étape produit un résultat qu’on peut examiner et corriger avant que la suivante s’exécute. Quand on évalue un système plutôt que de travailler sous la pression du temps, c’est ce qui permet de voir quelle étape échoue et demande du travail.
- Inconvénients : à moins d’intervenir, chaque étape travaille à partir de ce que la précédente a produit, si bien que les erreurs s’additionnent. Une traduction automatique excellente sur du texte écrit fera moins bien ici, parce que ce qu’elle traduit est une transcription parfois déjà fautive. La latence augmente à chaque étape, et les éléments prosodiques (intonation, emphase) se perdent au passage par le texte.
L’approche de bout en bout
Audio FR → [modèle unique] → Audio ENUn seul modèle transforme directement l’audio source en audio cible.
- Avantages : préservation possible de la voix et du style ; latence réduite.
- Inconvénients : encore en développement, et disponible pour peu de paires de langues. L’entraîner directement demande des centaines d’heures des mêmes énoncés prononcés dans les deux langues, ce qui n’existe que pour quelques paires, alors qu’une cascade réutilise la reconnaissance, la traduction et la synthèse entraînées séparément (Diwan et al., 2024).
La plupart des outils grand public actuels fonctionnent en cascade ; le clonage vocal leur permet malgré tout de conserver une voix proche de l’original.
Sources
- Diwan, A., Srinivasan, A., Harwath, D., & Choi, E. (2024). Textless speech-to-speech translation with limited parallel data. Findings of the Association for Computational Linguistics: EMNLP 2024, 16302–16311. https://aclanthology.org/2024.findings-emnlp.951/
Sources
- Diwan, A., Srinivasan, A., Harwath, D., & Choi, E. (2024). Textless speech-to-speech translation with limited parallel data. Findings of the Association for Computational Linguistics: EMNLP 2024, 16302–16311. https://aclanthology.org/2024.findings-emnlp.951/