Procesamiento por lotes
Para trabajos que nadie está esperando: evaluaciones, reprocesos, clasificación, flujos de contenido. Envía un archivo y Zabio enruta cada línea como una llamada normal, a los precios por lotes de los proveedores.
El video se carga desde YouTube solo cuando pulsas reproducir.
- Cerca del 50%menos que el precio de lista, en los niveles por lotes de OpenAI, Anthropic, Google, Mistral y Together AI
- 2 min a 7 htardaron nuestros lotes de prueba en volver: minutos en OpenAI y Google, cerca de una hora con Claude Sonnet, casi 7 horas con Claude Opus; la promesa es en 24 horas
- 50.000líneas por lote, en un archivo de hasta 100 MiB
Cómo funciona
- Sube un archivo JSONL con purpose batch, en el mismo formato de la Batch API de OpenAI, así que tu código con el SDK funciona sin cambios.
- Crea el lote con completion_window 24h. Zabio revisa cada línea y aparta el costo estimado de tu saldo.
- Cada línea se clasifica y se enruta como una llamada normal, y luego se agrupa por proveedor y modelo y se envía a los servicios por lotes de los proveedores.
- Consulta el lote y descarga el archivo de resultados. Cada línea trae su custom_id y el objeto zabio, con lo que costó y lo que ahorró.
Sin archivo
- Una sola petición también puede recibir el precio por lotes: envíala a la Responses API con background: true y un zabio.deadline de 24 horas o más.
- Zabio reúne las peticiones en segundo plano de tu organización durante hasta 15 minutos, o hasta que lleguen 500, y las envía como lotes de los proveedores. Cada respuesta llega a su propio response, que consultas.
- Si el modelo no tiene nivel por lotes, la petición igual corre en segundo plano, al precio flex o estándar, y zabio.tier dice cuál la atendió.
Qué modelos
- Dentro de un lote, auto solo elige modelos cuyo proveedor tiene nivel por lotes, así que una línea con auto siempre recibe el precio por lotes.
- Los lotes conservan las funciones de enrutado de Zabio: Jev responde las líneas de clasificación y Smart Splitting hace sus pasos previos baratos antes de la respuesta por lotes.
- Una línea que nombra un modelo sin nivel por lotes detiene el lote al crearlo, antes de ejecutar o cobrar nada, salvo que el lote acepte correr esas líneas al precio normal; cada línea dice qué precio recibió.
- Hoy, los niveles por lotes de OpenAI, Anthropic, Google, Mistral y Together AI; la página de funciones por modelo muestra qué modelos lo tienen.
Cuánto cuesta
- Cada línea se cobra cuando llega su resultado, al precio por lotes del proveedor más las comisiones de siempre de Zabio: la comisión de servicio, y la tarifa fija por la elección automática del modelo una vez por línea auto.
- El ahorro se mide contra el precio por lotes de tu modelo habitual, así que el descuento por lotes sigue siendo tuyo.
- Un lote en curso nunca se corta por falta de saldo: lo que necesita se aparta cuando empieza.
Preguntas
- ¿Cómo funciona el procesamiento por lotes en Zabio?
- Sube un archivo de peticiones de chat en el mismo formato de la Batch API de OpenAI y crea un lote. Zabio enruta cada línea como una llamada normal, a los precios por lotes de los proveedores, cerca de la mitad del precio de lista en OpenAI, Anthropic, Google, Mistral y Together AI, y devuelve las respuestas en 24 horas, a menudo mucho antes. Dentro de un lote, auto solo elige modelos con nivel por lotes; una línea que nombra un modelo sin él detiene el lote antes de ejecutar o cobrar nada.
Otras funciones
Smart Splitting
Una petición, varios modelos, una factura más pequeña, decidido por ti en cada llamada. Cuando podemos ahorrar, ahorramos.
Enrutado inteligente
El modelo y el nivel de razonamiento adecuados para cada petición, elegidos con evidencia, con la razón en cada respuesta.
Jev para clasificar
Etiquetado, enrutado, moderación y sentimiento a una fracción del precio de un modelo de chat, nombrándolo o dejando que auto lo elija.
Caché
Tu historial en caché sin que hagas nada, la caché de 1 hora cuando los turnos son lentos, y nunca una parte de tu descuento de caché.
Flex
Mitad de precio si puedes esperar, con un solo campo de plazo.
Equipos y keys
Organizaciones, cuotas por miembro, keys con topes de gasto y listas de modelos, y tus propias keys de proveedor sin comisión de servicio.
Empieza gratis, paga cuando vaya en serio
Cambia dos líneas en tu código, envía el modelo auto, y cada respuesta muestra lo que costó y lo que ahorraste.