L’accent écossais face à 8 modèles locaux de transcription : scores, erreurs et temps

La réponse courte : Voxtral a le score le plus haut

Voxtral Mini 4B Realtime, de Mistral, a obtenu le score global de transcription le plus haut de ce test : 9,87 sur 10. Nemotron 3.5 Transcribe, de NVIDIA, est deuxième avec 8,97 et Canary-Qwen troisième avec 8,93. Qwen3-ASR et Whisper large-v3 sont quatrièmes ex æquo à 8,88, Parakeet sixième à 8,79, le petit modèle Nemotron streaming septième à 8,62 et Whisper large-v3 Turbo huitième à 8,57.

Ce classement appelle deux réserves. Le score est provisoire : la transcription de référence qui a servi à noter chaque modèle est partie de la sortie de Voxtral lui-même avant d’être relue, ce qui peut l’avantager. Et Voxtral a aussi été le plus lent : environ cinq minutes pour son premier passage sur un fichier de deux minutes. En dehors de Voxtral, les scores sont serrés, donc les erreurs détaillées ci-dessous sont un repère plus utile pour choisir le modèle qui vous convient.

Ce qu’on a testé

Il s’agit de modèles de reconnaissance vocale téléchargeables : ils prennent de l’audio et produisent une transcription. Seule cette étape a été testée, sans chatbot derrière pour réécrire la réponse et rendre la transcription plus belle qu’elle ne l’était. La comparaison porte sur les transcriptions brutes enregistrées.

Chaque modèle a reçu le même enregistrement de deux minutes de Luke : sa voix normale, une tentative d’accent anglais, un parler écossais plus naturel, des noms de lieux, « purple burglar », des nombres et un passage où il parle sans script. Il bute dans le passage avec l’accent anglais, donc l’enregistrement n’est pas un test contrôlé de l’accent qu’un modèle préfère.

Tout a tourné sur le même MacBook M5 Pro avec 48 Go de RAM, avec des implémentations Mac locales de chaque modèle, dont certaines en version compressée (Nemotron Transcribe, par exemple, tournait en version 4 bits). Ce sont les résultats qu’ont donnés ces configurations précises sur cet enregistrement, pas l’affirmation que toute appli utilisant ces modèles produira la même chose. Les accents varient, et la sortie peut aussi varier d’une exécution à l’autre.

Whisper large-v3 et Turbo (OpenAI)

Whisper large-v3 et large-v3 Turbo sont deux versions de la même famille de modèles d’OpenAI : la paire compare donc aussi le modèle complet avec une version conçue pour être plus rapide. Sur le passage normal, les deux sorties sont compréhensibles.

La phrase de test était « While driving from Ecclefechan to Glesga, then meeting somebody in Milngavie. » Large-v3 a écrit Ekelveken et Mogai, et Turbo Ekofekin et Mo’Gai : proche du son, mais pas les bons lieux. Glasgow est sorti sous la forme Glesga, comme Luke l’a prononcé, donc c’est compté comme juste.

La différence la plus nette concerne purple burglar. Le modèle complet a écrit purple burglar ; Turbo a écrit purple burger, puis purple burger alarm. Luke bute à cet endroit, donc l’audio compte aussi, mais cela montre qu’une transcription peut sembler parfaitement correcte jusqu’à ce qu’on la compare avec ce qui a vraiment été dit.

NVIDIA Parakeet TDT 0.6B v3

NVIDIA présente Parakeet TDT 0.6B v3 comme un modèle de transcription à haut débit, compatible avec 25 langues européennes. Nous avons utilisé une version MLX locale sur le Mac, et elle a traité tout l’enregistrement en environ cinq secondes lors de son premier passage, hors chargement.

Mais le passage des noms de lieux a disparu de sa sortie : elle passe directement du parler écossais à purple burglar sans transcrire l’itinéraire entre les deux. Si vous dictiez une adresse, vous pourriez corriger une faute d’orthographe, mais il faudrait d’abord remarquer qu’une ligne entière manque. La vitesse de Parakeet mérite d’être connue ; vérifiez quand même sa sortie de près.

Qwen3-ASR (Qwen, Alibaba)

Qwen3-ASR vient de l’équipe Qwen d’Alibaba. Une raison de l’inclure : une étude sur les accents britanniques (« Mind the Accent Gap », sur arXiv) a testé Qwen3-ASR en mode hors ligne sur des requêtes financières prononcées avec l’accent écossais, et il avait le taux d’erreur sur les mots le plus bas pour l’écossais parmi les configurations comparées. La tâche, la configuration et la mesure sont différentes : cela fait de Qwen un candidat sérieux, sans prédire le résultat de ce test.

Ici, les noms de lieux sont quand même revenus faux, et purple burglar est devenu purple burger, suivi de purple burger alarm. Son premier passage a pris un peu plus de cinq secondes, hors chargement.

NVIDIA Canary-Qwen 2.5B

Malgré son nom, Canary-Qwen 2.5B est un modèle vocal distinct de NVIDIA, et non le modèle Qwen3-ASR ci-dessus. Notre adaptateur Mac a traité l’enregistrement en blocs de 25 secondes, et la section purple burglar tombe à cheval sur une limite entre deux blocs : la sortie enregistrée contient Burpo Burger, suivi dans le bloc suivant de burglar alert.

Ce n’est pas la preuve que le modèle est mauvais avec l’accent écossais. Cela montre que cette configuration précise demande encore du travail avant qu’on s’y fie pour dicter.

NVIDIA Nemotron 3.5 ASR streaming

Le petit modèle Nemotron 3.5 ASR streaming est conçu pour traiter la parole au fil de l’eau. Nous lui avons donné le fichier enregistré : cette manche ne mesure donc pas la vitesse d’apparition des mots pendant qu’on parle, et aucun temps n’a été relevé pour lui.

Il a produit une transcription lisible de la conversation générale, mais la ligne des nombres est un bon exemple. Luke a dit : « I said 13, not 30. It costs £3.50 and I need 16 of them. Actually, make it 60. » Là où la référence relue indique « I need 16 of them », Nemotron streaming a écrit 60, puis a gardé la correction à 60 ensuite. Dans un message contenant une quantité, c’est le genre d’erreur qu’on voudrait repérer avant d’envoyer.

NVIDIA Nemotron 3.5 Transcribe

Nemotron 3.5 Transcribe est un modèle NVIDIA beaucoup plus gros. NVIDIA annonce un taux d’erreur moyen de 4,71 % sur les mots en anglais, sur neuf jeux de test publics ; c’est son benchmark publié, pas un score sur l’accent écossais. Nous avons utilisé une version Mac 4 bits en accès anticipé, donc la précision et l’implémentation diffèrent aussi. Il a traité le fichier en environ 17 secondes après chargement.

Il a bien écrit purple burglar. Mais Ecclefechan est devenu Eko Faking, Milngavie est devenu Mogai, et il a aussi écrit 60 dans la ligne de la quantité. Même le plus gros modèle laisse des mots précis à corriger.

Mistral Voxtral Mini 4B Realtime

Voxtral Mini 4B Realtime est conçu pour la transcription en temps réel, mais ici aussi il a reçu l’enregistrement sauvegardé. Notre passage en pleine précision sur le Mac a pris environ cinq minutes pour terminer ce fichier de deux minutes. Ce sont des premières exécutions, pas un benchmark de vitesse à chaud et à conditions égales, mais c’est une attente qui se remarque.

Voxtral a écrit « 13, not 30 », là où la plupart des autres sorties donnent « 30, not 30 », et il a gardé 16 avant la correction à 60. Il a quand même raté Ecclefechan et Milngavie : sa ligne n’est donc pas sans faute non plus.

Scores provisoires et temps

Le score global de transcription de chaque modèle part de 10 et perd des points pour les mots changés, oubliés ou ajoutés, par rapport à la même référence relue pour les huit. Il couvre tout l’enregistrement, y compris les bafouillages et les passages entre les épreuves. Comme cette référence a été tirée de la sortie de Voxtral, prenez ce classement comme provisoire et non comme un classement indépendant de la précision.

Les temps sont des premiers passages sur le fichier, hors chargement, avec des implémentations et des précisions différentes et sans préchauffage identique : ce n’est ni un classement de vitesse contrôlé ni un test de latence en direct. La vitesse ne fait pas partie du score : aucun temps n’a été relevé pour le petit modèle Nemotron, et ajouter des points de vitesse aurait fait entrer cette mesure manquante dans le classement.

Scores provisoires de transcription sur 10, avec les temps de premier passage cités dans la vidéo :

1. Voxtral Mini 4B Realtime (Mistral) : 9,87, environ 5 minutes
2. Nemotron 3.5 Transcribe (NVIDIA) : 8,97, environ 17 secondes après chargement
3. Canary-Qwen 2.5B (NVIDIA) : 8,93
4. Qwen3-ASR (Qwen) : 8,88, un peu plus de 5 secondes
5. Whisper large-v3 (OpenAI) : 8,88, ex æquo avec Qwen3-ASR
6. Parakeet TDT 0.6B v3 (NVIDIA) : 8,79, environ 5 secondes
7. Nemotron 3.5 ASR streaming (NVIDIA) : 8,62, pas de temps relevé
8. Whisper large-v3 Turbo (OpenAI) : 8,57

Regardez les erreurs avant de choisir

Les scores sont assez proches pour que les erreurs réelles comptent davantage. Qwen3-ASR et Whisper large-v3 ont le même score mais ne font pas les mêmes erreurs, et le score le plus haut de Voxtral n’efface pas ses cinq minutes d’attente. Ce classement est une façon provisoire de comparer la précision générale ; le bon modèle pour vous dépend de votre cas.

Avec les noms de lieux confirmés par Luke, aucune des huit sorties n’a écrit correctement Ecclefechan ni Milngavie. Sept ont retrouvé Glasgow (sous la forme Glasgow ou Glesga), et Parakeet a complètement laissé de côté le passage des lieux. C’est un résultat clair de cet enregistrement, et c’est exactement le genre de vocabulaire qu’on emploie en parlant normalement.

Testez votre propre voix

Un seul enregistrement d’une seule voix ne peut pas vous dire comment un modèle gérera la vôtre. Pour faire votre propre comparaison :

1. Enregistrez un fichier avec votre voix normale, qui contient des phrases ordinaires ainsi que les noms, lieux et quantités que vous utilisez vraiment.
2. Notez exactement ce que vous avez dit et vérifiez-le avec l’audio, pour que chaque modèle soit noté par rapport à la même référence.
3. Faites passer chaque modèle sur ce même fichier et gardez chaque transcription brute, avant qu’un chatbot ou une appli ne la nettoie.
4. Cherchez les passages manquants autant que les fautes d’orthographe : une ligne oubliée passe plus facilement inaperçue qu’un mot faux.
5. Notez la version, la précision et l’implémentation de chaque modèle, et chronométrez le chargement séparément de la transcription elle-même.
6. Utilisez les scores de ce guide comme point de départ pour savoir quoi essayer, pas comme un benchmark indépendant.

Où trouver les modèles

La page de chaque modèle est en lien sur cette page : le dépôt GitHub de Whisper d’OpenAI (large-v3 et Turbo), les fiches de modèle NVIDIA de Parakeet TDT 0.6B v3, Canary-Qwen 2.5B et Nemotron 3.5 ASR streaming ainsi que la page de recherche de Nemotron 3.5 Transcribe, la fiche de Qwen3-ASR et celle de Voxtral Mini 4B Realtime de Mistral. L’étude sur les accents britanniques qui a fait entrer Qwen3-ASR dans la liste est aussi en lien.

La vidéo a utilisé des versions Mac locales (MLX) de ces modèles, dont certaines compressées, plutôt que les versions d’origine : vérifiez donc quelle version et quelle précision vous installez avant de comparer vos résultats avec ceux-ci.

À retenir

Sur cet enregistrement avec l’accent écossais, Voxtral a obtenu le score provisoire de transcription le plus haut, 9,87 sur 10, mais il a pris environ cinq minutes, et la référence qui a servi à le noter est partie de sa propre sortie. Aucun modèle n’a écrit Ecclefechan ni Milngavie, Parakeet a sauté le passage des lieux, et plusieurs ont changé une quantité. Regardez les erreurs sur votre propre voix avant d’en choisir un.