El acento escocés frente a 8 modelos locales de voz a texto: puntuaciones, errores y tiempos

La respuesta corta: Voxtral sacó la puntuación más alta

Voxtral Mini 4B Realtime, de Mistral, obtuvo la puntuación global de transcripción más alta de esta prueba: 9,87 sobre 10. Nemotron 3.5 Transcribe, de NVIDIA, quedó segundo con 8,97 y Canary-Qwen tercero con 8,93. Qwen3-ASR y Whisper large-v3 empataron en el cuarto puesto con 8,88, Parakeet fue sexto con 8,79, el modelo pequeño Nemotron streaming séptimo con 8,62 y Whisper large-v3 Turbo octavo con 8,57.

Ese orden tiene dos matices. La puntuación es provisional: la transcripción de referencia con la que se evaluó a cada modelo partió de la propia salida de Voxtral antes de revisarse, lo que puede favorecerle. Y Voxtral fue también el más lento: unos cinco minutos en su primera pasada sobre un archivo de dos minutos. Dejando a Voxtral aparte, las puntuaciones están muy igualadas, así que los errores concretos que verás abajo te orientan mejor para elegir el modelo que te encaja.

Qué hemos probado

Son modelos de reconocimiento de voz descargables: reciben audio y generan una transcripción. Solo se probó ese paso, sin un chatbot después que reescriba la respuesta y haga que la transcripción parezca mejor de lo que era. La comparación usa las transcripciones en bruto guardadas.

Todos los modelos recibieron la misma grabación de dos minutos de Luke: su voz normal, un intento de acento inglés, habla escocesa más natural, nombres de lugares, «purple burglar», números y un rato hablando sin guion. Se traba en el fragmento con acento inglés, así que la grabación no es una prueba controlada de qué acento prefiere un modelo.

Todo se ejecutó en el mismo MacBook M5 Pro con 48 GB de RAM, con implementaciones locales para Mac de cada modelo, algunas en versiones comprimidas (Nemotron Transcribe, por ejemplo, se ejecutó en una versión de 4 bits). Son los resultados que dieron esas configuraciones concretas con esta grabación, no una afirmación de que cualquier app que use estos modelos vaya a dar lo mismo. Los acentos varían, y la salida también puede variar de una ejecución a otra.

Whisper large-v3 y Turbo (OpenAI)

Whisper large-v3 y large-v3 Turbo son dos versiones de la misma familia de modelos de OpenAI, así que la pareja también compara el modelo completo con una versión pensada para ser más rápida. En el fragmento normal, las dos salidas se entienden.

La frase de prueba era «While driving from Ecclefechan to Glesga, then meeting somebody in Milngavie.» Large-v3 escribió Ekelveken y Mogai, y Turbo Ekofekin y Mo’Gai: se parecen al sonido, pero no son los lugares. Glasgow salió como Glesga, que es como lo dijo Luke, así que cuenta como correcto.

La diferencia más clara fue purple burglar. El modelo completo escribió purple burglar; Turbo escribió purple burger y luego purple burger alarm. Luke se traba ahí, así que el audio también importa, pero demuestra que una transcripción puede parecer perfectamente razonable hasta que la comparas con lo que se dijo de verdad.

NVIDIA Parakeet TDT 0.6B v3

NVIDIA describe Parakeet TDT 0.6B v3 como un modelo de transcripción de alto rendimiento, compatible con 25 idiomas europeos. Usamos una versión MLX local en el Mac, y procesó toda la grabación en unos cinco segundos en su primera pasada, sin contar la carga.

Pero el fragmento de los nombres de lugares desapareció de su salida: pasa directamente del habla escocesa a purple burglar sin transcribir la ruta que hay entre medias. Si estuvieras dictando una dirección, podrías corregir una falta de ortografía, pero antes tendrías que darte cuenta de que falta una línea entera. Merece la pena conocer la velocidad de Parakeet; aun así, revisa bien su salida.

Qwen3-ASR (Qwen, Alibaba)

Qwen3-ASR es del equipo Qwen de Alibaba. Hay un motivo para incluirlo: un estudio sobre acentos británicos («Mind the Accent Gap», en arXiv) probó Qwen3-ASR en modo sin conexión con consultas financieras habladas con acento escocés, y tuvo la tasa de error por palabra más baja para el escocés entre las configuraciones de esa comparación. La tarea, la configuración y la métrica son distintas, así que lo convierte en un buen candidato, pero no predice esta prueba.

Aquí los nombres de lugares volvieron a salir mal, y purple burglar se convirtió en purple burger, seguido de purple burger alarm. Su primera pasada tardó poco más de cinco segundos, sin contar la carga.

NVIDIA Canary-Qwen 2.5B

A pesar del nombre, Canary-Qwen 2.5B es otro modelo de voz de NVIDIA, no el Qwen3-ASR de arriba. Nuestro adaptador para Mac procesó la grabación en fragmentos de 25 segundos, y la parte de purple burglar cae justo en el límite entre dos fragmentos: la salida guardada tiene Burpo Burger y, en el fragmento siguiente, burglar alert.

Eso no demuestra que el modelo sea malo con el acento escocés. Demuestra que esta configuración concreta necesita más trabajo antes de fiarte de ella para dictar.

NVIDIA Nemotron 3.5 ASR streaming

El modelo pequeño Nemotron 3.5 ASR streaming está pensado para procesar la voz de forma incremental. Le dimos el archivo grabado, así que esta ronda no mide lo rápido que aparecerían las palabras mientras alguien habla, y no hay un tiempo registrado para él.

Generó una transcripción legible de la conversación general, pero la línea de los números es un buen ejemplo. Luke dijo: «I said 13, not 30. It costs £3.50 and I need 16 of them. Actually, make it 60.» Donde la referencia revisada dice «I need 16 of them», Nemotron streaming escribió 60, y después mantuvo la corrección a 60. En un mensaje con una cantidad, es el tipo de error que querrías detectar antes de enviarlo.

NVIDIA Nemotron 3.5 Transcribe

Nemotron 3.5 Transcribe es un modelo de NVIDIA mucho más grande. NVIDIA publica una tasa media de error por palabra en inglés del 4,71 % en nueve conjuntos de prueba públicos; es su benchmark publicado, no una puntuación con acento escocés. Ejecutamos una versión para Mac de 4 bits en acceso anticipado, así que la precisión y la implementación también son distintas. Procesó el archivo en unos 17 segundos después de la carga.

Acertó con purple burglar. Pero Ecclefechan se convirtió en Eko Faking, Milngavie en Mogai, y también escribió 60 en la línea de la cantidad. Incluso el modelo más grande deja palabras concretas que corregir.

Mistral Voxtral Mini 4B Realtime

Voxtral Mini 4B Realtime está pensado para la transcripción en tiempo real, pero aquí también recibió la grabación guardada. Nuestra pasada en precisión completa en el Mac tardó unos cinco minutos en terminar el archivo de dos minutos. Son primeras ejecuciones, no un benchmark de velocidad en caliente y en igualdad de condiciones, pero es una espera que se nota.

Voxtral escribió «13, not 30», donde la mayoría de las otras salidas tienen «30, not 30», y mantuvo el 16 antes de la corrección a 60. Aun así falló con Ecclefechan y Milngavie, así que su fila tampoco está limpia.

Puntuaciones provisionales y tiempos

La puntuación global de transcripción de cada modelo empieza en 10 y pierde puntos por las palabras cambiadas, omitidas o añadidas, frente a la misma referencia revisada para los ocho. Cubre toda la grabación, incluidos los tropiezos y lo que se dice entre las pruebas. Como esa referencia salió de la salida de Voxtral, toma el orden como provisional y no como una clasificación independiente de precisión.

Los tiempos son primeras pasadas sobre el archivo, sin contar la carga, con implementaciones y precisiones distintas y sin un calentamiento igualado, así que no son una clasificación de velocidad controlada ni una prueba de latencia en directo. La velocidad no forma parte de la puntuación: no hay tiempo registrado para el Nemotron pequeño, y sumar puntos por velocidad habría metido esa medición que falta en la clasificación.

Puntuaciones provisionales de transcripción sobre 10, con los tiempos de primera pasada que se dan en el vídeo:

1. Voxtral Mini 4B Realtime (Mistral): 9,87, unos 5 minutos
2. Nemotron 3.5 Transcribe (NVIDIA): 8,97, unos 17 segundos después de la carga
3. Canary-Qwen 2.5B (NVIDIA): 8,93
4. Qwen3-ASR (Qwen): 8,88, poco más de 5 segundos
5. Whisper large-v3 (OpenAI): 8,88, empatado con Qwen3-ASR
6. Parakeet TDT 0.6B v3 (NVIDIA): 8,79, unos 5 segundos
7. Nemotron 3.5 ASR streaming (NVIDIA): 8,62, sin tiempo registrado
8. Whisper large-v3 Turbo (OpenAI): 8,57

Mira los errores antes de elegir

Las puntuaciones están tan cerca que los errores reales importan más. Qwen3-ASR y Whisper large-v3 sacan la misma puntuación pero no cometen los mismos errores, y la puntuación más alta de Voxtral no quita su espera de cinco minutos. El orden es una forma provisional de comparar la precisión general; qué modelo te sirve depende de tu caso.

Con los nombres de lugares que confirmó Luke, ninguna de las ocho salidas escribió bien Ecclefechan ni Milngavie. Siete acertaron con Glasgow (como Glasgow o Glesga), y Parakeet se saltó por completo el fragmento de los lugares. Es un resultado claro de esta grabación, y es justo el tipo de vocabulario que se usa al hablar con normalidad.

Prueba con tu propia voz

Una sola grabación de una sola voz no puede decirte cómo tratará un modelo la tuya. Para hacer tu propia comparación:

1. Graba un archivo con tu voz normal que incluya frases corrientes y los nombres, lugares y cantidades que usas de verdad.
2. Apunta exactamente lo que dijiste y compruébalo con el audio, para que todos los modelos se evalúen frente a la misma referencia.
3. Pasa todos los modelos por ese mismo archivo y guarda cada transcripción en bruto, antes de que un chatbot o una app la limpie.
4. Busca fragmentos que falten además de faltas de ortografía: una línea omitida pasa desapercibida más fácilmente que una palabra mal escrita.
5. Anota la versión, la precisión y la implementación de cada modelo, y mide la carga por separado de la transcripción.
6. Usa las puntuaciones de esta guía como punto de partida para saber qué probar, no como un benchmark independiente.

Dónde encontrar los modelos

La página de cada modelo está enlazada en esta página: el repositorio de Whisper de OpenAI en GitHub (large-v3 y Turbo), las fichas de modelo de NVIDIA de Parakeet TDT 0.6B v3, Canary-Qwen 2.5B y Nemotron 3.5 ASR streaming y la página de investigación de Nemotron 3.5 Transcribe, la ficha de Qwen3-ASR y la de Voxtral Mini 4B Realtime de Mistral. También está enlazado el estudio sobre acentos británicos por el que Qwen3-ASR entró en la lista.

En el vídeo se usaron versiones locales para Mac (MLX) de estos modelos, algunas comprimidas, en lugar de las versiones originales, así que comprueba qué versión y qué precisión instalas antes de comparar tus resultados con estos.

Conclusión

Con esta grabación con acento escocés, Voxtral obtuvo la puntuación provisional de transcripción más alta, 9,87 sobre 10, pero tardó unos cinco minutos, y la referencia con la que se le evaluó partió de su propia salida. Ningún modelo escribió bien Ecclefechan ni Milngavie, Parakeet se saltó el fragmento de los lugares y varios cambiaron una cantidad. Mira los errores con tu propia voz antes de elegir uno.