Recorte de caché de Fable 5.1: reevaluar el modelo de costos del agente

El recorte de caché es un disparador de decisión

La factura de su agente cambia solo cuando se reutiliza el mismo contexto. Anthropic redujo la entrada en caché de Fable 5.1 a $0.25 por millón de tokens, una reducción del 75% respecto a la tarifa de $1.00 de Fable 5. Anthropic lanzó Fable 5.1 y Mythos 5.1 como el mismo modelo con diferentes salvaguardas; Fable 5.1 está disponible de forma general, mientras que Mythos 5.1 está limitado a usuarios verificados de ciberseguridad y ciencias de la vida. Las tarifas estándar de entrada y salida de Fable 5.1 se mantienen en $10 y $50 por millón de tokens, igual que Fable 5.

Anthropic pronostica una reducción aproximada del 25% en el gasto efectivo de Fable 5.1 para cargas de trabajo ordinarias y una reducción máxima del 45% para cargas de trabajo fuertemente agénticas. Su carga de trabajo determina en qué punto se sitúa.

La prueba de costos va primero. La puntuación reportada de Terminal-Bench 4.0 para Fable 5.1 fue 55.8%, mientras que Fable 5 obtuvo 42%. La puntuación reportada de Terminal-Bench-Science 0.1 para Fable 5.1 fue 52.6%, frente al 24.7% de Fable 5.

• Mida la proporción de aciertos de caché.
• Recalcule el costo por tarea completada a la nueva tarifa de lectura de caché.
• Migre solo las cargas de trabajo intensivas en caché; de lo contrario, reestructure los prompts o manténgase.

La proporción de aciertos de caché decide la migración

Obtenga los registros de ejecución recientes del agente que está considerando. Separe los tokens de entrada en porciones en caché y no en caché. Incluya prompts de sistema, esquemas de herramientas, contexto recuperado e historial de conversación. El resultado es un único porcentaje para cada tipo de tarea.

Registre las lecturas de caché y las escrituras de caché por separado. Una lectura es barata solo cuando se reutiliza el mismo contexto. Una escritura es un costo de configuración. Un agente que reconstruye el contexto en cada ejecución no mostrará el recorte de lectura en la factura.

Un porcentaje bajo deja el total prácticamente sin cambios. Un porcentaje alto puede alterar el presupuesto. Las tarifas de escritura de caché para Fable 5.1 se mantuvieron en $12.50 por millón de tokens para cachés de cinco minutos y $20 por millón de tokens para cachés de una hora. Una carga de trabajo que escribe mucho y lee poco sigue pagando el lado de la escritura.

La cifra decisiva es la proporción de aciertos, no la tarifa.

El costo por tarea completada es la cifra real

Use el mismo conjunto de tareas como línea base. Valore la entrada no en caché a la tarifa estándar de entrada, la entrada en caché a la nueva tarifa de lectura de caché y la salida a la tarifa estándar de salida. Añada las escrituras de caché cuando la ejecución cree o actualice contenido en caché. Divida el total entre tareas completadas, no entre llamadas a la API.

Use la distribución de tareas, no los promedios de tokens, cuando las tareas varían ampliamente. La economía de los agentes de larga duración depende de reintentos, bucles de herramientas y crecimiento del contexto. Un reinicio fallido puede consumir más escrituras de caché y tokens de entrada que una ejecución limpia.

Incluya las tareas fallidas cuando consuman tokens. Una tarea completada es la unidad por la que paga en producción. Una ejecución interrumpida sigue gastando tokens y puede elevar el costo por tarea completada incluso cuando el precio por llamada baja.

El siguiente paso sigue la cifra: un costo menor otorga a la migración un argumento de costo, un costo plano traslada la decisión a la calidad, la latencia o la fiabilidad, y un costo mayor significa que el recorte de caché no está haciendo su trabajo.

Solo las cargas de trabajo intensivas en caché justifican el cambio

Migre los flujos de trabajo donde la entrada en caché represente una gran parte del gasto y el costo recalculado por tarea completada sea menor. Mantenga el resto en el modelo actual hasta que cambie la estructura de los prompts. La lista de migración debe mostrar una diferencia de costos medida para cada flujo de trabajo.

Una carga de trabajo intensiva en caché suele tener contenido de prompt estable, esquemas de herramientas repetidos, contexto compartido extenso o muchas lecturas del mismo material recuperado. Una carga de trabajo ligera en caché cambia su prompt en cada ejecución o envía entradas pequeñas y únicas.

Para las cargas de trabajo ligeras en caché, reestructure los prompts antes de cambiar. Coloque el contenido estable primero, recorte el contexto volátil y reduzca las cargas grandes repetidas. Aumente la proporción de aciertos de caché o reduzca la entrada no en caché, y luego recalcule el costo por tarea completada de nuevo.

Para las cargas de trabajo fuertemente agénticas, pruebe la mezcla real de tareas antes de migrar. El recorte de caché rinde cuando el agente lee el mismo contexto extenso muchas veces.