Flex
No todas las respuestas hacen falta ya. Dile a Zabio cuánto puedes esperar y usará los niveles más baratos y lentos que ofrecen los proveedores, sin que eso haga fallar nunca tu petición.
El video se carga desde YouTube solo cuando pulsas reproducir.
- Cerca del 50%de descuento en los modelos de OpenAI y Google que tienen nivel flex
- 20 vs 40micros por la misma llamada a gpt-5.4-nano, flex frente a estándar, en nuestras pruebas
- 0peticiones fallidas por usar flex: una falta de capacidad se reintenta en el nivel normal
Cómo pedirlo
- Envía zabio.deadline con una duración, como 30m, o la cabecera x-zabio-deadline.
- Con 15 minutos o más, Zabio puede usar flex donde el modelo lo tiene.
- Con auto, los candidatos se comparan a sus precios flex, así que un modelo puede ganar por ser más barato en flex.
- Sube el timeout de tu SDK a 900 segundos como mínimo, porque una llamada flex puede tardar más que el valor por defecto.
Lo que cuesta
- Pagas el precio flex en las llamadas que fueron por flex, y el precio normal cuando un proveedor no tuvo capacidad y Zabio reintentó en el nivel normal.
- Tu ahorro se mide contra el precio flex de tu referencia, así que el descuento del proveedor sigue siendo tuyo.
Para trabajos grandes: lotes
- Para miles de peticiones que pueden esperar horas, envíalas en un solo archivo con el procesamiento por lotes, a los precios por lotes de los proveedores.
Preguntas
- ¿Puedo pagar menos si no tengo prisa?
- Sí. Envía zabio.deadline con una duración de 15 minutos o más, por ejemplo "30m", y Zabio sirve la llamada en el nivel flex de OpenAI o Google cuando el modelo lo tiene, a cerca de la mitad del precio. Con auto, los candidatos se comparan a sus precios flex. Si el proveedor no tiene capacidad, Zabio reintenta en el nivel normal y cobra el precio realmente usado, así que una petición flex nunca falla por ese motivo. Tu ahorro se mide contra el precio flex de tu modelo habitual, así que nunca cuenta el descuento del proveedor como obra del enrutado. Para trabajos grandes que pueden esperar horas, el procesamiento por lotes envía un archivo entero a los precios por lotes de los proveedores.
Otras funciones
Smart Splitting
Una petición, varios modelos, una factura más pequeña, decidido por ti en cada llamada. Cuando podemos ahorrar, ahorramos.
Enrutado inteligente
El modelo y el nivel de razonamiento adecuados para cada petición, elegidos con evidencia, con la razón en cada respuesta.
Jev para clasificar
Etiquetado, enrutado, moderación y sentimiento a una fracción del precio de un modelo de chat, nombrándolo o dejando que auto lo elija.
Caché
Tu historial en caché sin que hagas nada, la caché de 1 hora cuando los turnos son lentos, y nunca una parte de tu descuento de caché.
Procesamiento por lotes
Miles de peticiones en un solo archivo a cerca de la mitad del precio, con enrutado auto en cada línea.
Equipos y keys
Organizaciones, cuotas por miembro, keys con topes de gasto y listas de modelos, y tus propias keys de proveedor sin comisión de servicio.
Empieza gratis, paga cuando vaya en serio
Cambia dos líneas en tu código, envía el modelo auto, y cada respuesta muestra lo que costó y lo que ahorraste.