Enrutado inteligente
Envía el modelo auto y Zabio decide en cada petición: qué tipo de trabajo es, qué tan difícil, qué tan arriesgado, y qué modelo y nivel de razonamiento lo harán por menos dinero. Cada respuesta te dice por qué.
El video se carga desde YouTube solo cuando pulsas reproducir.
- 0.15 spara leer una petición y nombrar el trabajo
- 61 de 61trabajos de alto riesgo detectados en nuestra prueba reservada
- Hasta 44%más barato en trabajos fáciles con los pares de esfuerzo, en nuestras pruebas
- 76% vs 46%ítems de clasificación acertados por completo con Jev, frente al pequeño modelo de chat que auto usaba antes
Cuatro formas de pedir
autoLa elección de Zabio para el trabajo. Los trabajos fáciles van al modelo más barato, los de alto riesgo al mejor, y el resto toma la ruta equilibrada. El valor por defecto adecuado para la mayoría de las apps.
auto/bestEl modelo más capaz para este trabajo. Solo se elige un modelo más caro cuando la evidencia dice que probablemente responde mejor. Para razonamiento difícil, código de producción y todo lo que leen tus clientes.
auto/balancedEl punto medio de la curva de precio y calidad para este trabajo, a medio camino entre la opción barata y la mejor.
auto/cheapEl modelo más barato que no es claramente peor que el mejor para este trabajo. Para extracción, clasificación, resúmenes y tareas en segundo plano.
Cómo se elige un modelo
1. Lee el trabajo
Un clasificador pequeño y rápido nombra la tarea (código, traducción, matemáticas, extracción, análisis y más), una dificultad del 1 al 5, el riesgo y el idioma, en unos 0.15 segundos. Nunca ve precios ni nombres de modelos.
2. Aplica tus reglas
Solo los proveedores y modelos que permites para la organización y la key, y solo modelos que pueden con la petición: imágenes, tools, salida estructurada y el contexto que necesita.
3. Elige en la curva
Para esa tarea y esa dificultad, Zabio sabe cómo puntúa cada candidato en benchmarks públicos y cuánto costaría esta llamada en él. Nunca se elige un modelo al que otro más barato iguala. La línea decide cuánto subir por la curva, y en los trabajos fáciles todas las líneas toman el modelo más barato. En los trabajos fáciles y medios, las líneas cheap y balanced además ponen el modelo en su nivel de razonamiento más bajo, para que no pagues por un razonamiento que el trabajo no necesita.
4. Cuida el riesgo
Cuando una respuesta equivocada podría causar un daño legal, médico, financiero o de seguridad, o toca un sistema en producción, cheap se comporta como balanced y balanced como best.
5. Se recupera y escala
Si un proveedor falla o se atasca, responde el siguiente modelo con la misma regla, hasta tres intentos. En las conversaciones guardadas, un modelo que ve que una tarea lo supera puede pasar el turno a uno más fuerte.
Qué más resuelve el enrutado
- Pares de esfuerzo: en trabajos fáciles y medios, las líneas cheap y balanced ponen los modelos en su nivel de razonamiento más bajo, para que no pagues por un razonamiento que el trabajo no necesita. Un reasoning_effort que fijes tú siempre manda.
- Riesgo: cuando una respuesta equivocada podría causar un daño legal, médico, financiero o de seguridad, el trabajo sube una línea.
- Cachés activas: dentro de una sesión, un modelo con la caché activa mantiene la conversación cuando es el precio honesto más barato.
- Clasificación: los trabajos de clasificación con un JSON schema estricto van a Jev siempre que es la respuesta más barata, y responde unas cinco veces más rápido que un pequeño modelo de chat.
- Respaldo: si un proveedor falla o se atasca, responde el siguiente modelo con la misma regla, hasta tres intentos.
- Plazos: con zabio.deadline de 15 minutos o más, los candidatos se comparan a sus precios flex.
Preguntas
- ¿Zabio controla el nivel de razonamiento?
- Sí. Envía reasoning_effort, de none a xhigh, y Zabio lo traduce al ajuste propio del modelo que responda, en cualquier proveedor. Con auto y sin un ajuste tuyo, las líneas cheap y balanced usan el nivel de razonamiento más bajo del modelo en los trabajos fáciles y medios, para que no pagues por un razonamiento que el trabajo no necesita. Cada respuesta indica el nivel usado en zabio.reasoning.
- ¿Puedo cambiar de modelo sin perder la conversación?
- Sí. Con la Responses API, Zabio guarda la conversación y envía todo el historial al modelo que responda el siguiente turno, de cualquier proveedor. Cuando el historial no cabe en la ventana de contexto de ese modelo, Zabio resume la parte más antigua y sigue. Con chat completions tu app envía el historial en cada llamada, así que cualquier modelo recibe el contexto completo.
- ¿Puede Zabio clasificar texto por menos de lo que cuesta un modelo de chat?
- Sí. Usa jev-1.13.0, el modelo de decisiones de TypeSafe AI, y envía un JSON schema cuyos campos sean opciones fijas, respuestas de sí o no, o puntuaciones acotadas. Zabio convierte cada campo en una de las preguntas tipadas que responde Jev y devuelve el JSON, con una probabilidad calibrada por campo en zabio.decision. Clasificar un ticket de soporte en una de cinco categorías, con un indicador de urgencia y una prioridad del 1 al 5, costó unos 0.00002 USD y tardó unos 0.2 segundos en nuestras pruebas. Con auto, Zabio usa Jev por su cuenta en esas peticiones cuando es la respuesta más barata; en nuestras pruebas acertó por completo el 76 por ciento de los ítems de clasificación, frente al 46 por ciento del pequeño modelo de chat que auto elegía antes, y respondió unas cinco veces más rápido.
Otras funciones
Smart Splitting
Una petición, varios modelos, una factura más pequeña, decidido por ti en cada llamada. Cuando podemos ahorrar, ahorramos.
Jev para clasificar
Etiquetado, enrutado, moderación y sentimiento a una fracción del precio de un modelo de chat, nombrándolo o dejando que auto lo elija.
Caché
Tu historial en caché sin que hagas nada, la caché de 1 hora cuando los turnos son lentos, y nunca una parte de tu descuento de caché.
Flex
Mitad de precio si puedes esperar, con un solo campo de plazo.
Procesamiento por lotes
Miles de peticiones en un solo archivo a cerca de la mitad del precio, con enrutado auto en cada línea.
Equipos y keys
Organizaciones, cuotas por miembro, keys con topes de gasto y listas de modelos, y tus propias keys de proveedor sin comisión de servicio.
Empieza gratis, paga cuando vaya en serio
Cambia dos líneas en tu código, envía el modelo auto, y cada respuesta muestra lo que costó y lo que ahorraste.