Synthèse vocale IA : le défi de l’ourdou-anglais
Pourquoi les voix IA trébuchent-elles dans les publicités mêlant ourdou et anglais ? Découvrez une étude sur la prosodie, le naturel et l’intention d’achat.
Quand la voix IA trébuche au moment décisif d'une publicité
Une publicité peut être bien écrite, bien montée et diffusée au bon endroit. Mais si la voix artificielle accroche un mot ou rate l'intonation au moment clé de l'appel à l'action, le message ne fait plus vraiment mouche. C'est particulièrement frappant dans les publicités pakistanaises, où l'ourdou et l'anglais se mélangent souvent sans effort : l'ourdou porte la phrase, et les passages en anglais servent à faire ressortir une offre, un avantage ou une invitation à acheter.
Les systèmes de synthèse vocale savent produire des voix fluides dans plusieurs langues. Le hic, c'est qu'ils gèrent mal le passage d'une langue à l'autre au sein d'une même phrase. Une proposition de recherche de Muhammad Usman, étudiant en intelligence artificielle à Superior University, à Lahore, se concentre justement sur ce point de rupture : la prosodie des transitions ourdou-anglais dans les publicités. L'étude n'a pas encore été réalisée, mais elle pose une question très concrète pour les équipes produit et marketing : comment évaluer une voix IA quand la réussite dépend autant de la manière de dire que des mots eux-mêmes ?
Le problème : une langue change, la prosodie aussi
Dans les publicités pakistanaises, le mélange d'ourdou et d'anglais n'est pas forcément un « raté ». C'est souvent une façon de parler courante, qu'on retrouve aussi dans les conversations et dans les annonces commerciales. Une phrase peut garder la structure de l'ourdou tout en ajoutant des mots anglais associés à la modernité, à l'urgence ou à l'offre : « Yeh phone best hai - limited offer, abhi order karo ! ». En clair : ce téléphone est excellent, offre limitée, commandez maintenant.
En linguistique, ce type de mélange s'appuie notamment sur le modèle Matrix Language Frame de Carol Myers-Scotton. L'idée est simple : une langue fournit le cadre grammatical principal, et des éléments d'une autre langue s'y insèrent. Pour une publicité, cela peut aider à rester compréhensible tout en mettant certains termes en avant. Mais l'efficacité ne tient pas uniquement au vocabulaire. Le rythme, l'accentuation et la montée de la voix juste avant l'appel à l'action participent aussi au message.
Et c'est là que la synthèse vocale peut se dérégler. Si un moteur a été entraîné ou configuré principalement pour l'anglais, il risque de prononcer des mots ourdous avec des sons approximés, d'appliquer les règles d'accentuation anglaises à toute la phrase, et de garder une intonation trop uniforme. La phrase reste parfois compréhensible, mais elle sonne moins comme une annonce faite par un locuteur bilingue. Autrement dit : le défaut apparaît exactement là où l'annonceur veut capter l'attention.
Un exemple qui expose le défaut
Dans sa proposition, l'auteur décrit une démonstration à partir de la phrase « Yeh product best hai, order now », synthétisée avec une voix anglaise disponible en production. L'observation est que les mots grammaticaux ourdous prennent une phonémisation façon anglais, que l'accent suit les habitudes de l'anglais, et que la montée de hauteur attendue vers l'appel à l'action ne se produit pas.
Cette démonstration sert à illustrer, pas à prouver, et elle n'est pas une expérience comparative publiée. On ne peut donc pas en tirer une règle générale : tous les moteurs ne devraient pas échouer de la même manière, et toutes les phrases ourdou-anglais ne donneront pas exactement le même rendu. Ce que ça montre surtout, c'est une limite de l'évaluation « rapide » : vérifier seulement si les mots sont compréhensibles ne suffit pas quand l'objectif est d'avoir une voix publicitaire crédible.
La nuance compte pour une entreprise. Une voix peut être exploitable, intelligible et quand même peu convaincante. Et si on évalue un script multilingue avec un contrôle centré uniquement sur la prononciation, le problème de rythme ou d'intonation peut passer inaperçu jusqu'à la diffusion.
Ce que les travaux antérieurs permettent de comprendre
La synthèse de parole pour des langues mélangées n'est pas totalement nouvelle. Des travaux ont notamment porté sur des couples hindi-anglais et mandarin-anglais. Une première approche hindi-anglais associée à Sitaram et Black a montré que les auditeurs préféraient des systèmes capables d'identifier et de prononcer correctement les mots relevant de chaque langue. Puis, en 2023, Joshi et Garera ont décrit un système hindi-anglais pour des assistants vocaux liés au commerce électronique, avec un score MOS jugé favorable par rapport à une solution commerciale de référence.
D'autres recherches existent sur le mandarin-anglais, souvent présentées lors de conférences spécialisées. Par exemple, un système présenté à Interspeech en 2020 et une approche évoquée à ICASSP en 2020 défendent l'idée de représenter explicitement la prosodie, par exemple via des paramètres liés à la fréquence fondamentale. À l'inverse, se limiter à une représentation phonétique ne garantit pas qu'on capte correctement les variations de hauteur et de rythme qui accompagnent un changement de langue.
Un résultat mentionné dans la proposition mérite aussi d'être gardé en tête. Une étude sur la parole bilingue chinois-anglais aurait observé une variabilité de hauteur plus élevée pour les mots anglais insérés dans des énoncés en code-switching que dans la parole monolingue : l'écart-type moyen de la fréquence fondamentale rapporté serait de 51,9 Hz contre 29,8 Hz. Ce chiffre laisse penser que la prosodie autour des transitions de langue peut changer par rapport à une phrase monolingue.
Mais il ne faut pas en faire une loi universelle. C'est un autre couple de langues, avec un protocole donné, et les paramètres bougent selon les langues, les locuteurs, le contexte, le type de phrase et l'intention. Autrement dit : ce résultat ne prouve pas que l'ourdou-anglais aura la même amplitude de variation. Il plaide surtout pour mesurer, au lieu de supposer qu'un modèle entraîné sur de la parole monolingue s'adaptera « tout seul ».
Le manque de données spécifiques à l'ourdou-anglais
Le manque identifié par la proposition est clair : les travaux recensés, selon son auteur, ne caractérisent pas la prosodie précisément aux points de transition ourdou-anglais, et ne visent pas l'objectif persuasif des publicités. De plus, les systèmes pensés pour l'hindi-anglais ou le mandarin-anglais ne se transposent pas automatiquement. Les langues, les usages, les conventions d'accentuation et les profils de locuteurs ne sont pas interchangeables.
Cette différence joue aussi pour l'innovation. Ce n'est pas juste une question d'appliquer un modèle existant à une nouvelle paire de langues. Il faut vérifier ce qui se transfère, ce qui doit être ajusté, et ce qui change quand la finalité passe d'un assistant de commerce électronique à une annonce.
Enfin, les références évoquées dans la proposition sont à vérifier dans le document complet : le résumé disponible ne fournit pas une bibliographie détaillée.
Une proposition d'étude en trois phases
La recherche proposée avance en trois étapes : constituer des données, mesurer la prosodie, puis tester la perception auprès d'auditeurs. Le déroulé est pragmatique. Avant d'entraîner ou de régler un système, il faut savoir ce que font réellement les locuteurs et définir comment comparer une voix humaine à une voix synthétique.
1. Constituer un corpus d'annonces
La première phase prévoit 50 scripts publicitaires pakistanais mêlant ourdou et anglais, enregistrés par cinq locuteurs bilingues natifs. Les moments de bascule de langue seraient annotés. L'intérêt, c'est de relier les caractéristiques sonores aux endroits précis où la langue change, plutôt que de traiter toute la phrase comme un bloc.
La taille reste « exploratoire », mais elle limite ce qu'on pourra conclure. Cinquante scripts ne couvriront pas forcément tous les secteurs, régions, accents, formats publicitaires et styles de parole. Et cinq voix ne suffisent pas à représenter tous les locuteurs bilingues pakistanais. Pour que les résultats aient du sens, il faudra détailler comment les scripts sont choisis, comment les annotations sont vérifiées, et comment on tient compte des différences entre locuteurs.
2. Mesurer les variations acoustiques
La deuxième phase prévoit d'analyser les contours de fréquence fondamentale, la F0, via pYAAPT. La F0 correspond à la perception de la hauteur de la voix. Le protocole compare des fenêtres de 300 millisecondes autour des transitions linguistiques à des fenêtres monolingues. Ensuite, les mêmes scripts seraient produits par des systèmes commerciaux de synthèse vocale, puis mesurés à nouveau.
Le but est d'objectiver l'écart entre parole humaine et parole synthétique : la voix artificielle reproduit-elle les variations observées chez les locuteurs, ou bien elle les aplatit ? La F0 n'est cependant qu'un morceau de la prosodie. Le rythme, la durée des syllabes, les pauses, l'intensité et la qualité vocale comptent aussi dans la perception. Une analyse centrée sur la hauteur peut donc signaler un problème sans, à elle seule, expliquer toute l'expérience d'écoute.
Au passage, la fenêtre de 300 millisecondes mérite aussi d'être justifiée. Elle décrit un cadrage local des transitions, mais l'intonation d'une publicité peut se construire sur une durée plus longue. Si le protocole le permet, comparer plusieurs échelles temporelles aiderait à distinguer l'effet immédiat du changement de langue de la dynamique globale de la phrase.
3. Évaluer la perception et l'intention d'achat
La troisième phase prévoit des tests d'écoute ABX avec au moins 40 participants, ainsi que des évaluations de naturel selon une échelle MOS et des notes d'intention d'achat. Dans un test ABX, les auditeurs comparent deux versions audio selon un protocole défini. L'objectif est de compléter l'analyse acoustique par le jugement de personnes qui écoutent réellement les annonces.
Ajouter une mesure d'intention d'achat répond à une question commerciale, mais il faut garder les limites en tête : une « note » ne remplace pas une vente. Elle peut varier selon la formulation de la question, le produit présenté, le contexte d'écoute et les attentes des participants. Pour mesurer un effet marketing, il faudrait ensuite tester les créations en conditions de diffusion comparables et observer des comportements réels, avec les précautions éthiques et réglementaires nécessaires.
La proposition liste plusieurs contributions attendues : une caractérisation acoustique de la prosodie aux transitions ourdou-anglais, un corpus annoté potentiellement accessible, une mesure de l'écart entre parole humaine et parole synthétique, et une piste de recette de synthèse qui tienne compte de la prosodie. Mais ce sont bien des objectifs : rien n'est présenté comme déjà prouvé. Et c'est important de le rappeler clairement dans toute communication.
Ce que cela change pour les entreprises et la conception responsable
Pour une petite entreprise, la synthèse vocale peut réduire le coût et le temps pour produire plusieurs variantes publicitaires. Elle aide aussi à mettre à jour rapidement un prix, une offre ou un message. Mais automatiser la voix ne garantit pas l'efficacité de la création. Si chaque adaptation exige une vérification linguistique, une correction de prononciation et une nouvelle écoute, une partie du gain disparaît.
Le bon choix n'est donc pas « IA contre voix humaine ». Le bon choix dépend de l'usage : mesurer le coût total et le risque. Pour un brouillon ou une annonce interne, une voix automatique imparfaite peut suffire. Pour une campagne importante, sur un marché bilingue, ou quand l'appel à l'action est central, valider avec des locuteurs natifs peut éviter de diffuser une voix maladroite. Dans beaucoup de cas, une approche hybride (génération automatique, revue humaine, puis test d'écoute) reste plus réaliste qu'une automatisation complète.
Un cadre d'évaluation utile avant le déploiement
Avant de lancer, une équipe peut structurer son contrôle en quatre étapes :
- Vérifier la langue et la prononciation. Repérer les mots mal identifiés, les sons qui dérapent et les changements de langue mal traités.
- Écouter la prosodie. Contrôler l'accentuation, le rythme et l'intonation, surtout autour du nom du produit, de l'offre et de l'appel à l'action.
- Faire évaluer par le public visé. Le naturel et la compréhension doivent être jugés par des personnes qui connaissent les usages linguistiques concernés, pas seulement par l'équipe technique.
- Séparer perception et performance commerciale. Une meilleure note de naturel est un bon signal, mais ce n'est pas une preuve de hausse des ventes. Les résultats doivent être testés dans le contexte prévu.
Ce cadre évite de confondre « qualité audio » et « résultat business ». Il aide aussi à comparer plusieurs moteurs : l'un peut être meilleur sur la prononciation, un autre sur le rythme, sans qu'il y ait un vainqueur automatique sur tous les critères. La décision dépend alors du cas d'usage, du volume de production et du coût de la validation humaine.
Données vocales, consentement et représentation
Un corpus de voix doit être construit avec une vraie attention au consentement, aux conditions de réutilisation et à la protection des personnes enregistrées. Si des données personnelles sont traitées dans un cadre couvert par le RGPD, il faut vérifier les obligations applicables. Et si le corpus est rendu public, ce n'est pas un détail technique : il faut préciser ce qui peut être partagé, sous quelles conditions et pour quelles finalités.
Il y a aussi un enjeu de représentation. Cinq locuteurs peuvent être un point de départ, mais un système ajusté sur un échantillon étroit peut fonctionner mieux pour certains accents ou styles que pour d'autres. D'où la nécessité de documenter les limites des données, et de ne pas présenter une seule manière de parler comme la norme. La qualité d'une voix artificielle ne se résume pas à son rendement : elle dépend aussi de la capacité du système à traiter correctement les personnes et les variantes linguistiques qu'il prétend servir.
Pour lire la proposition d'origine et ses références, voir le texte de Muhammad Usman sur la prosodie des publicités bilingues. La conclusion est volontairement prudente : la recherche décrit un problème plausible et propose un protocole pour l'étudier. Elle ne démontre pas encore qu'une nouvelle méthode améliore directement les performances publicitaires.