Transcription IA : maîtriser Nemotron et l’adaptation
Découvrez comment Nemotron 3.5 transcrit, identifie les locuteurs et s’adapte aux métiers. Repères sur ses performances, ses données et ses limites.
Transcription IA : ce que Nemotron change pour les usages métier
Une transcription automatique peut restituer les mots d'une réunion sans dire clairement qui les a prononcés, confondre un nom de médicament avec un mot courant, ou produire un texte difficile à exploiter. Le problème n'est donc pas seulement de « reconnaître la parole ». Il faut aussi choisir une convention d'écriture, gérer plusieurs langues, attribuer les tours de parole et, parfois, adapter le modèle au vocabulaire d'un secteur.
NVIDIA Nemotron 3.5 Transcribe vise précisément ces besoins via un même modèle à poids ouverts. Il peut transcrire, identifier les locuteurs, traduire et répondre à des questions à partir d'un enregistrement, le tout piloté par des consignes en langage naturel. L'annonce s'accompagne aussi de Granary v2, un pipeline de préparation de données, ainsi que de recettes pour ajuster le modèle à un domaine donné.
Ces éléments méritent qu'on les regarde au-delà des classements. Un « bon score » ne dit pas forcément si l'intégration sera simple, si votre traitement respectera les contraintes de données, ni si les termes métier sortiront correctement. Voici ce que le modèle apporte, comment lire ses résultats et comment évaluer son intérêt dans un produit réel.
Ce que Nemotron 3.5 Transcribe change pour la transcription multilingue
Le vrai point n'est pas uniquement « un modèle plus précis ». C'est surtout la possibilité de demander, à partir d'un même checkpoint, plusieurs formes de traitement audio, sans devoir assembler dès le départ un système séparé pour la transcription, la traduction et la diarisation.
Selon NVIDIA, Nemotron 3.5 Transcribe transcrit 40 langues, traduit 31 langues vers l'anglais ou depuis l'anglais, et attribue les interventions à des locuteurs dans 13 langues. Il peut traiter des enregistrements allant jusqu'à une heure et distinguer jusqu'à huit locuteurs. Le modèle accepte aussi des horodatages au niveau du mot. Attention toutefois : toutes les capacités ne sont pas disponibles de façon identique pour toutes les tâches. Il faut donc vérifier la matrice langue-fonction fournie avec le modèle. Par exemple, la réponse à une question sur un enregistrement a été entraînée en anglais.
Une consigne peut changer la forme du résultat
Un même fichier de réunion peut produire des sorties différentes selon l'instruction : transcription avec étiquettes de locuteurs, traduction en anglais ou synthèse des décisions prises. En pratique, c'est utile quand un produit doit couvrir plusieurs parcours utilisateurs sans multiplier l'interface.
La consigne peut aussi cadrer une convention de transcription. Dans un contexte médical, on peut indiquer des termes attendus comme « HbA1c » et « metformine », demander une orthographe médicale standard, et préciser que les termes ne doivent être repris que s'ils sont réellement audibles. C'est une aide, pas une promesse : l'audio bruyant (ou un accent peu représenté) peut toujours mener à une mauvaise reconnaissance.
De la parole au produit, pas seulement au texte
Les horodatages mot à mot ouvrent des usages concrets : synchroniser une transcription avec une vidéo de formation, retrouver une séquence dans un entretien, ou faciliter la relecture d'un cours enregistré. Une démo sur Agora montre l'idée sur des cours : le texte apparaît à côté de l'enregistrement, au moment où chaque phrase est prononcée.
Autre point : le modèle est conçu pour des enregistrements, pas pour la transcription en direct. Cette différence compte dans l'architecture. Un service de sous-titrage en visioconférence impose des contraintes de latence, de découpage audio et de continuité que les tests sur fichiers « posés » ne prouvent pas. Autrement dit : ne confondez pas traitement de longue durée et prise en charge du streaming.
À retenir : le modèle combine plusieurs tâches et permet de guider le format via une instruction. Avant de l'intégrer, vérifiez la langue, le type de traitement, la latence attendue et les erreurs qui pourraient coûter cher côté métier.
Que disent réellement les résultats des benchmarks ?
NVIDIA publie des résultats élevés sur plusieurs évaluations. Ils aident à choisir quels tests lancer, mais ils ne remplacent pas un test sur vos propres enregistrements. Les jeux de données, les langues, les conditions d'enregistrement et les métriques changent d'un classement à l'autre.
Sur le Hugging Face Open ASR Leaderboard, le modèle affiche un WER moyen de 5,33 % sur la piste anglaise et se classe premier parmi les modèles à poids ouverts au moment de l'évaluation citée. Le même comparatif indique 4,62 % de WER moyen sur sept langues et 10,98 % sur la piste « longue durée ». Ces chiffres ne se comparent pas tels quels sans regarder les jeux de test et la méthode de calcul.
Artificial Analysis rapporte 2,8 % d'AA-WER et situe le modèle sur sa frontière d'efficacité entre précision et paramètres actifs. Nemotron 3.5 Transcribe compte environ 30 milliards de paramètres, dont quelque 4 milliards actifs par jeton. Sur AA-AgentTalk, il obtient 1,8 % de WER, contre 2,3 % pour le modèle à poids ouverts suivant dans la comparaison citée par NVIDIA.
La diarisation est une autre mesure de qualité
La diarisation vise à déterminer qui parle et à quel moment. C'est particulièrement difficile quand plusieurs personnes se coupent la parole. Sur le benchmark multilingue DAI-ASR-I18N de David AI, Nemotron 3.5 Transcribe affiche un taux d'erreur de diarisation de 18,26 % sur 21 langues, meilleur résultat parmi les 14 systèmes évalués pour cette piste. Sur le benchmark anglais de VoiceArena, il arrive en tête avec un cpWER de 32,4 % parmi 14 systèmes.
Ces métriques ne reflètent pas exactement le WER d'une transcription « simple ». Le cpWER mesure aussi l'association entre les mots et les locuteurs. Un système peut reconnaître correctement une phrase tout en la donnant au mauvais interlocuteur : pour un compte rendu de réunion ou une analyse d'entretien, ce type d'erreur peut être plus pénalisant qu'un mot mal transcrit.
Lire les chiffres comme des indicateurs, pas comme une promesse
Les résultats donnent surtout une raison de tester le modèle, pas une autorisation de zapper l'évaluation. Dans votre cas, mesurez au minimum :
- les erreurs de mots sur vos accents, micros et environnements réels ;
- les confusions de locuteurs, y compris pendant les chevauchements ;
- la qualité des noms propres, acronymes et termes métier ;
- le temps de traitement et le coût par heure d'audio ;
- la part de correction humaine avant publication ou archivage.
NVIDIA cite aussi un traitement de 100 heures d'audio en moins de trois minutes sur un GPU RTX PRO 6000 Blackwell, avec une version quantifiée et une configuration particulière. Là encore : c'est une mesure de benchmark dans un contexte précis, pas une garantie universelle de débit. La charge réelle dépendra du matériel, de la longueur des segments et de votre configuration de service.
Comment Granary v2 et le fine-tuning permettent-ils l'adaptation ?
Une consigne peut préciser la langue, l'alphabet ou le format attendu. Mais ça ne suffit pas toujours quand il faut gérer le vocabulaire métier. En transcription médicale, par exemple, il faut distinguer une marque de médicament d'un terme proche, tout en transcrivant correctement les nombres, les unités et les abréviations.
Granary v2 cherche justement à améliorer une partie de ce problème via la préparation des données d'entraînement. Son manifeste public décrit 463 062 heures réparties sur 48 langues et 16 corpus sources. Il s'agit des données documentées dans cette version, pas forcément du mélange complet utilisé pour l'entraînement de Nemotron, ni de la pondération exacte de chaque source.
Des cibles de transcription explicites
Pour un même énoncé, Granary v2 peut fournir plusieurs variantes écrites. « J'ai payé, euh, vingt-cinq euros » peut ainsi devenir une transcription verbatim normalisée, une version avec chiffres et hésitation (« J'ai payé, euh, 25 € »), ou encore une version nettoyée (« J'ai payé 25 € »). L'intérêt, côté produit, est de choisir une convention cohérente plutôt que de laisser chaque étape interpréter la sortie à sa façon.
Le pipeline produit aussi des légendes audio, des traductions, des questions-réponses associées au contenu sonore, des termes liés à des biais contextuels, ainsi que des étiquettes de langue. Les étapes couvrent la préparation et la segmentation audio, la transcription, la génération des variantes textuelles et des contrôles qualité. Une étape vise notamment à écarter des segments trop bruités, coupés ou contenant plusieurs voix. Pour VoxPopuli, NVIDIA indique une réduction de 354 000 à 111 000 heures sur 22 langues européennes après filtrage.
Les manifestes donnent des informations de provenance et des indicateurs de qualité, mais les fichiers audio restent soumis aux licences de leurs corpus d'origine. En Europe, le fait d'avoir un manifeste public ne dispense pas de vérifier les droits d'utilisation des enregistrements ni les obligations liées aux données personnelles.
Le cas médical : améliorer d'abord le prompt, puis entraîner
Dans l'étude publiée autour du benchmark médical Eka Care, le jeu complet contient 3 619 extraits de médecins et d'étudiants en médecine indiens. Une consigne précisant l'anglais et l'alphabet latin fait passer le WER de 30,8 % à 23,8 %. Le fine-tuning réduit ensuite le WER à 11,8 % sur le jeu complet. Et il faut regarder comment l'étude a été construite : ce chiffre inclut 855 extraits utilisés pour choisir le prompt et les checkpoints, donc ce n'est pas celui à privilégier pour juger la généralisation.
Sur les 2 764 extraits tenus à l'écart, le WER passe de 22,44 % avec le meilleur prompt à 12,17 % après adaptation, soit une baisse relative de 45,8 %. L'étude combine aussi environ 153 heures de parole synthétique, 29 heures d'anglais accentué via Common Voice et 63 heures d'enregistrements médicaux de MultiMed. Elle sépare la forme écrite ciblée de la prononciation envoyée à la synthèse vocale : « HbA1c » peut être la cible, tandis que l'audio synthétique épelle les lettres.
Ce gain n'est pas « gratuit ». Le travail complet aurait mobilisé environ 14 heures GPU sur un NVIDIA GB300. Sur l'anglais général, le WER augmente légèrement, de 1,54 % à 1,69 %. En clair : une adaptation spécialisée peut améliorer la reconnaissance métier, mais dégrader un peu une tâche générale. C'est un arbitrage à mesurer, pas un effet secondaire à ignorer.
Comment évaluer le modèle dans un contexte métier ?
La bonne approche consiste à isoler les problèmes avant de lancer un fine-tuning. Le fine-tuning coûte du temps, du calcul et de la maintenance. Si une consigne bien construite corrige l'essentiel des erreurs, entraîner un modèle adapté ajoute une complexité inutile.
Un protocole en quatre étapes
- Définir la sortie attendue. Décidez si vous voulez une transcription verbatim, un texte nettoyé, des horodatages, des locuteurs ou une traduction. Fixez aussi des règles pour les nombres, les dates, les noms propres et les abréviations. Sans convention explicite, deux sorties peuvent être toutes les deux « plausibles » mais impossibles à comparer.
- Constituer un échantillon représentatif. Prenez des extraits enregistrés dans vos conditions réelles : téléphone, salle de réunion, micro-cravate, accents régionaux, chevauchements, niveaux sonores variés. Séparez les locuteurs entre un jeu de réglage et un jeu de test. Si les mêmes personnes apparaissent des deux côtés, le score peut donner une impression trop optimiste de généralisation.
- Tester le prompt avant l'entraînement. Précisez la langue, l'alphabet, le format et, si nécessaire, une liste de termes possibles. Demandez explicitement de ne pas forcer un terme si l'audio ne le confirme pas. Comparez ensuite les résultats sur un échantillon de développement, sans ajuster la consigne à chaque exemple du jeu de test.
- Fine-tuner seulement sur les erreurs restantes. Si les confusions se concentrent sur un vocabulaire ou une convention particulière, préparez des exemples audio avec leurs formes écrites exactes. Évaluez le modèle final sur des locuteurs tenus à l'écart, puis vérifiez qu'il ne régresse pas sur la parole générale ou sur les autres langues dont votre produit a besoin.
Intégration, confidentialité et coût d'exploitation
Le fait que le modèle soit à poids ouverts peut donner plus de contrôle sur l'hébergement et la chaîne de traitement. Mais ça ne veut pas dire automatiquement que vous êtes « hors contraintes », que les données d'entraînement sont intégralement ouvertes, ou que l'usage respecte le RGPD. Pour des enregistrements de salariés, de clients ou de patients, il faut examiner la finalité, la base légale, la durée de conservation, les accès, la sous-traitance et la localisation des données avec les responsables concernés.
Il faut aussi distinguer l'inférence du fine-tuning. Une organisation peut héberger la transcription elle-même tout en s'appuyant sur des données ou des outils tiers pour l'adaptation. Cartographiez chaque étape et évitez d'envoyer des enregistrements sensibles à un service externe sans validation juridique et cadre sécurité.
Enfin, calculez le coût complet : matériel ou endpoint, capacité en période de pointe, stockage, contrôles humains et temps de traitement des erreurs. NVIDIA indique une prise en charge de déploiement par vLLM et SGLang-Omni dans son annonce. Les versions quantifiées locales étaient présentées comme à venir dans le contenu source ; vérifiez leur disponibilité actuelle avant de construire une architecture autour. Et gardez un principe simple : le gain de débit n'a de valeur que s'il réduit le coût par transcription sans faire remonter les erreurs qui exigent une correction manuelle.
Conclusion
Nemotron 3.5 Transcribe se démarque par la combinaison de transcription multilingue, diarisation, traduction et commandes en langage naturel. Granary v2 et les recettes de fine-tuning complètent l'ensemble en rendant plus explicites les formats de texte et les données d'adaptation. Les benchmarks donnent de bonnes raisons de l'évaluer, surtout pour des conversations longues et des échanges à plusieurs voix.
Mais la décision doit partir de votre cas d'usage : langue, qualité audio, niveau de tolérance aux erreurs, contraintes de confidentialité, coût et besoin de traitement en direct. Testez d'abord une consigne claire sur des données représentatives. N'entraînez ensuite que si les erreurs restantes justifient le coût et si vous pouvez montrer un gain sur des locuteurs vraiment nouveaux. Au final, c'est cette mesure - plus que le classement - qui dira si le modèle a sa place dans votre produit.