Caché
Los bucles de agentes y los chats largos envían el mismo historial una y otra vez. Zabio lo marca para la caché del proveedor para que lo pagues a la tarifa de caché, mantiene la caché viva cuando tus turnos son lentos y mide tu ahorro con los mismos aciertos de caché, así que el descuento es todo tuyo.
El video se carga desde YouTube solo cuando pulsas reproducir.
- 75%menos por turno en una sesión de cinco turnos con Anthropic y el historial en caché, en nuestras pruebas
- 1 horade caché elegida por ti cuando los turnos están a más de cinco minutos
- 0%de tu descuento de caché convertido en nuestra comisión
Qué se guarda en caché
- Con Anthropic, tu system prompt, tus tools y el historial de la conversación, con marcas de caché que Zabio pone por ti.
- OpenAI, DeepSeek, xAI y Mistral usan su propia caché. Zabio informa de los tokens en caché y los cobra a la tarifa de caché.
Mantener la caché activa
- Una caché de 5 minutos caduca entre turnos lentos y entonces cuesta más que no tener caché. Cuando los turnos de una sesión están a más de cinco minutos, Zabio usa la caché de 1 hora.
- Dentro de una sesión, el enrutado mantiene un modelo con la caché todavía activa cuando es el precio honesto más barato.
- Fija cache.ttl por llamada o por key para elegir tú. Un valor que fijes siempre manda.
Tu ahorro, medido con justicia
- Tu referencia se calcula con los mismos aciertos de caché que tuvo tu llamada, así que un descuento de caché nunca cuenta como ahorro del enrutado.
- Cada respuesta muestra los tokens en caché y lo que costaron.
- El panel muestra a dónde se fueron tus tokens: historial, resultados de tools, caché y razonamiento.
Preguntas
- ¿Zabio admite caché de prompts?
- Sí, activa por defecto donde el proveedor la ofrece. Para Anthropic, Zabio pone marcas de caché en tu system prompt, tus tools y el historial de la conversación, así un bucle de agente largo lee su historial desde la caché en vez de pagarlo otra vez en cada turno. OpenAI usa su caché automática. Cuando los turnos de una sesión están separados por más de cinco minutos, Zabio pasa a la caché de 1 hora para que el historial siga ahí. Los tokens en caché se cobran a la tarifa de caché del proveedor y se muestran en cada respuesta, y puedes fijar una caché de 5 minutos o de 1 hora por key o por llamada.
Otras funciones
Smart Splitting
Una petición, varios modelos, una factura más pequeña, decidido por ti en cada llamada. Cuando podemos ahorrar, ahorramos.
Enrutado inteligente
El modelo y el nivel de razonamiento adecuados para cada petición, elegidos con evidencia, con la razón en cada respuesta.
Jev para clasificar
Etiquetado, enrutado, moderación y sentimiento a una fracción del precio de un modelo de chat, nombrándolo o dejando que auto lo elija.
Flex
Mitad de precio si puedes esperar, con un solo campo de plazo.
Procesamiento por lotes
Miles de peticiones en un solo archivo a cerca de la mitad del precio, con enrutado auto en cada línea.
Equipos y keys
Organizaciones, cuotas por miembro, keys con topes de gasto y listas de modelos, y tus propias keys de proveedor sin comisión de servicio.
Empieza gratis, paga cuando vaya en serio
Cambia dos líneas en tu código, envía el modelo auto, y cada respuesta muestra lo que costó y lo que ahorraste.