Cómo probamos los modelos

Zabio prueba los modelos que ofrece con sus propias preguntas de prueba y publica los resultados en zabio.ai, en las páginas de benchmarks, de modelos y de comparaciones. Donde todavía no hemos probado un modelo o un tipo de tarea, las páginas muestran también resultados agregados de publicadores públicos de benchmarks, siempre etiquetados como tales y nunca mezclados con nuestras cifras. Esta página explica cómo funcionan ambos y qué significan los números, para que cualquiera pueda comprobarlos.

Metodología versión 1.1, 27 de septiembre de 2026.

Qué probamos

Cada modelo es bueno en cosas distintas: uno escribe SQL excelente y se equivoca en matemáticas, otro al revés. Por eso probamos cada modelo por tipo de trabajo, no con una única nota general, y en cuatro niveles de dificultad: fácil, medio, difícil y frontera (problemas en los que incluso los modelos más fuertes fallan a menudo).

Los primeros resultados publicados cubren dos tipos de trabajo, matemáticas y SQL, para DeepSeek Flash y DeepSeek V4 Pro. Iremos sumando modelos y tipos de trabajo a medida que los probemos; cada resultado muestra la fecha en que se midió.

Cómo se envían las peticiones

Cada petición de prueba pasa por la API de Zabio, exactamente como la petición de un cliente, nombrando el modelo y con los ajustes que Zabio usa por defecto. Así, los resultados incluyen todo lo que ocurre entre tu código y el proveedor.

Muchos modelos pueden razonar antes de responder. Probamos cada nivel de razonamiento como una opción propia y lo mostramos junto a cada resultado:

Razonamiento desactivado: lo que Zabio usa por defecto con estos modelos.
Razonamiento bajo y razonamiento alto: el mismo modelo cuando una petición pide más razonamiento con reasoning_effort.

Las preguntas de prueba

Matemáticas: problemas de competiciones públicas: la colección MATH, con sus propios niveles de dificultad, y las competiciones AIME 2024 y 2025, tomadas de colecciones públicas con licencia MIT. El nivel más difícil usa los problemas AIME.
SQL: preguntas escritas para Zabio sobre una base de datos de prueba con datos realistas. Una pregunta se conserva solo si un modelo independiente, que no está entre los modelos probados, devuelve exactamente las mismas filas que la consulta correcta. Los modelos probados nunca escriben ni revisan preguntas.
Las preguntas que escribimos nosotros no se publican, para que no se puedan usar para entrenar modelos. Los problemas públicos pueden estar ya en los datos de entrenamiento de algunos modelos (ver Límites).
Nunca usamos peticiones de clientes como preguntas de prueba.

Cómo se califican las respuestas

SQL: la consulta del modelo se ejecuta en la base de datos de prueba. La respuesta es correcta cuando devuelve exactamente las filas que devuelve la consulta correcta.
Matemáticas: la respuesta final debe coincidir con la correcta. Una notación equivalente cuenta como correcta (por ejemplo 1/2 y 0.5); cuando difieren en la forma, un modelo pequeño comprueba si expresan el mismo valor.
Los tipos de trabajo que requieren criterio (traducción, redacción y similares) los califican modelos jueces de proveedores distintos al del modelo calificado. Solo se publican cuando los jueces coinciden con una persona en al menos el 90 por ciento de una muestra. Por eso la traducción, que ya se probó, todavía no se publica.

Una respuesta cortada antes de terminar cuenta como incorrecta: es lo que recibiría un cliente.

Qué significan los números

Número	Significado
Respuestas correctas	la proporción de preguntas de prueba respondidas bien
Rango	dónde está probablemente la proporción real, según cuántas preguntas se hicieron (rango del 90 por ciento)
Preguntas	en cuántas preguntas se basa el resultado; se necesitan al menos 25 para mostrarlo
Grupo	arriba: ninguna otra opción es probablemente mejor; cerca: no claramente peor que la de arriba; debajo: claramente peor
Coste por 1.000 tareas	lo que cuestan 1.000 peticiones así al precio de lista del proveedor, según los tokens que usó cada respuesta, razonamiento incluido
Respuestas correctas por dólar	respuestas correctas divididas por el coste
Longitud de la respuesta y razonamiento	tokens típicos de la respuesta y tokens estimados de razonamiento
Tiempo	tiempo típico hasta una respuesta completa, medido durante la prueba, no en tráfico de producción

“Probablemente mejor” significa ir por delante al menos un error estándar de la diferencia: unas cinco posibilidades entre seis de que la ventaja sea real. “Claramente peor” significa ir por detrás al menos dos: con un 98 por ciento de seguridad aproximadamente. Una página de comparación muestra un modelo por delante de otro solo cuando es probablemente mejor; si no, los muestra como iguales.

Mejor, equilibrado y barato

Para cada tipo de trabajo y dificultad, las páginas muestran tres opciones entre las probadas:

Mejor: la opción más barata que ninguna otra opción supera probablemente. Una opción más cara solo se elige cuando los resultados muestran que lo hace mejor.
Barato: la opción más barata que no es claramente peor que la de arriba.
Equilibrado: el punto medio entre las dos.

Estas elecciones describen los resultados de las pruebas propias de Zabio. El enrutamiento automático elige por una puntuación de habilidad para el tipo de trabajo (ver Modelos y enrutado) y todavía no lee estos resultados.

Con qué frecuencia probamos

Cada resultado lleva la fecha en que se midió. Probamos los modelos nuevos y volvemos a probar cuando un modelo cambia. Estamos construyendo las pruebas automáticas, con una revisión semanal de cada modelo; hasta que funcionen, los resultados se actualizan cuando hacemos una prueba nueva.

Límites

Los problemas públicos de matemáticas pueden estar en los datos de entrenamiento de algunos modelos, así que los resultados del nivel más difícil de matemáticas pueden superar la capacidad real de un modelo. Lo fiable son las diferencias entre niveles de razonamiento.
Las preguntas de SQL se conservaron solo cuando un modelo independiente podía responderlas, lo que limita la dificultad de las preguntas de SQL más difíciles.
Los tiempos se miden desde nuestro entorno de pruebas, no en tráfico de producción.
Los resultados comparan los modelos probados hasta ahora. La primera ronda cubre solo modelos de DeepSeek.
Los proveedores pueden cambiar un modelo sin aviso entre una prueba y otra.

Neutralidad y correcciones

Zabio vende acceso a estos modelos y cobra una comisión por el tráfico que gestiona, así que publicamos el método y los datos para que cualquiera pueda comprobarlos. Ningún proveedor paga por pruebas, resultados ni posiciones. Nuestras pruebas y los resultados públicos que agregamos se muestran siempre por separado, cada uno con su fuente, y nunca se combinan en una sola cifra.

Si encuentras un error, escribe a hello@zabio.ai. Las correcciones se publican como cambios con fecha en las páginas de benchmarks.

Resultados públicos que agregamos

Nuestras pruebas cubren por ahora pocos tipos de tarea y modelos. Para el resto, las páginas muestran resultados publicados por tres fuentes, renovados cada semana, con cada fila marcada como “Agregado de resultados públicos” junto a su fuente, su licencia y la fecha en que la leímos:

Epoch AI (epoch.ai/benchmarks, CC BY 4.0): benchmarks de respuesta correcta. Las ejecuciones propias de Epoch llevan error estándar; las puntuaciones que Epoch recoge de proveedores y otros rankings se marcan como tales y cuentan la mitad, porque son autodeclaradas y suelen medirse con los mejores ajustes del proveedor.
LMArena (lmarena-ai/leaderboard-dataset en Hugging Face, CC BY 4.0): puntuaciones de preferencia humana a partir de votos ciegos por pares, con rangos de confianza. La preferencia no es corrección, así que cuenta 0.6 de un benchmark de respuesta correcta.
LiveBench (livebench.ai; código bajo Apache 2.0 y MIT, resultados usados con atribución): respuestas correctas por tarea, con preguntas nuevas cada mes, así que es la fuente menos afectada por los datos de entrenamiento.

Cómo funciona la agregación:

Los nombres de modelo de cada fuente se asignan a mano al catálogo de Zabio. Un resultado medido con un ajuste de razonamiento distinto de cómo Zabio llama al modelo se marca en su fila y su peso se reduce (0.85 para un ajuste cercano, 0.7 para uno distinto).
Cada benchmark se asigna a un tipo de tarea y un nivel de dificultad. Los benchmarks que no corresponden a nada que Zabio use para enrutar se publican igualmente.
Las puntuaciones solo se comparan dentro de un mismo benchmark, nunca entre fuentes. Para dos modelos en un benchmark, la diferencia se divide por su incertidumbre, lo que da una distancia en errores estándar, limitada a tres para que ninguna fuente decida sola. Las distancias de todos los benchmarks asignados a un tipo de tarea se combinan con los pesos anteriores. Dos modelos que nunca coincidieron en un benchmark se comparan por sus puntuaciones combinadas de respuesta correcta con la mitad de peso.
La puntuación por tarea que se muestra es la media ponderada de los benchmarks de respuesta correcta, en puntos, con su error estándar. Las puntuaciones de preferencia influyen en el orden pero nunca en los puntos.
Mejor, equilibrado y barato sobre datos agregados siguen las mismas reglas que sobre nuestras pruebas. Un modelo que no puede compararse con todos los demás de una celda se muestra pero nunca se elige, para que la falta de evidencia nunca se lea como “imbatido”. Un modelo ausente de todas las fuentes aparece como tal en lugar de omitirse.
Cada lunes se vuelven a leer las fuentes y las páginas se actualizan. Una ejecución que asigna menos del 80 por ciento del catálogo, o mueve una puntuación más de 15 puntos, se retiene para que una persona la revise antes.

Donde tenemos resultados propios para un modelo y un tipo de tarea, se muestran los dos lado a lado. Nuestros resultados se marcan como “Probado por Zabio” y tienen prioridad en el enrutado.

Usar los datos

Los resultados están disponibles en un único archivo, https://zabio.ai/benchmarks.json, bajo la licencia Creative Commons Reconocimiento 4.0 (CC BY 4.0): puedes reutilizarlos citando la fuente. Cita sugerida: “Zabio, Model benchmarks, zabio.ai/benchmarks”, con la fecha de los resultados. La sección agregada de ese archivo lleva la licencia y la cita de cada fuente, que se aplican a esas filas.

Los nombres de modelos y empresas son marcas de sus titulares. Zabio usa estos modelos a través de las API de sus proveedores y no tiene relación societaria con ellos.

Cambios en este método

1.1 (27 de septiembre de 2026): se muestran resultados agregados de Epoch AI, LMArena y LiveBench junto a nuestras pruebas, etiquetados y ponderados como se describe en “Resultados públicos que agregamos”; renovación semanal.
1.0 (25 de septiembre de 2026): primera versión.