Despliega agentes con capacidad verificada: comprobación Astra ARC-AGI-3

Estás decidiendo si desplegar un agente de frontera en producción. Una afirmación de capacidad necesita la ejecución que la respalda antes de lanzarlo. La brecha de Astra ARC-AGI-3 es la advertencia. La ejecución con arnés Provider Adapter de GPT-6 Astra alcanzó el 99,9 % con razonamiento alto y costó $18.817. La ejecución ARC-AGI-3 Semi-Private con arnés Standard alcanzó el 62,7 % con razonamiento máximo y costó $26.098.

El arnés cambió el número

Un arnés es el envoltorio que decide qué ve el modelo, qué puede llevar y cuánto dura la conversación. Un ejecutor es el código que invoca al modelo, gestiona las herramientas y decide cuándo detenerse. Esas decisiones pueden cambiar el resultado más que una etiqueta de modelo.

El arnés Standard de ARC Prize hace que el propio modelo elija qué notas mantener visibles durante la partida. El arnés Provider Adapter de ARC Prize transporta el estado de razonamiento opaco del modelo entre solicitudes y compacta conversaciones más largas. Un proveedor puede informar el número más alto y llamarlo así al modelo. Un operador debe preguntar qué hizo el ejecutor.

En el lanzamiento de ARC-AGI-3, todos los sistemas de frontera probados puntuaron por debajo del 1 %, y Opus 4.6 con razonamiento máximo lideró con 0,50 %. La línea base cercana a cero hace que la cuestión del arnés sea más importante. Un benchmark que empieza cerca de cero puede hacer que un salto posterior parezca dramático. Eso no hace que el salto sea menos real.

Durante una ejecución de máximo esfuerzo de ARC-AGI-3 con el adaptador de gestión de contexto de OpenAI, GPT-6 Astra superó la mediana de acciones humanas en el 96 % de los niveles completados, con un promedio de 51,7 % menos jugadas por nivel. Menos jugadas importan cuando la tarea es un flujo de trabajo largo con llamadas a herramientas. El número de acciones es un proxy del esfuerzo. En el trabajo de agentes, el esfuerzo es dinero y latencia. Un modelo que resuelve la tarea en menos jugadas también puede terminar el trabajo más rápido.

En el ranking independiente de Artificial Analysis, la puntuación de Inteligencia abstracta de GPT-6 Astra fue 61, situándolo en tercer lugar y a cinco puntos de Fable 5.1 de Anthropic. La puntuación abstracta es una medida distinta. No sustituye el resultado interactivo. Sí muestra que un eje fuerte puede coexistir con uno más débil.

La comprobación es la puerta de despliegue

Mantén esta lista en el ticket de despliegue. Cada elemento es verificable desde un registro, un manifiesto de ejecución o una nota de reauditoría repetible. La lista es corta porque los modos de fallo son cortos. La mayoría de las afirmaciones de proveedores fallan temprano. La mayoría de los incidentes de producción empiezan ahí.

• ¿Se nombra el arnés y la afirmación dice qué preserva o descarta?
• ¿Se nombra el ejecutor, incluyendo la gestión de contexto, las llamadas a herramientas y los reintentos?
• ¿Se declara el esfuerzo de razonamiento, no solo se insinúa por una etiqueta de modelo?
• ¿Se muestra el coste por ejecución, incluyendo tokens, reintentos e intentos fallidos?
• ¿Se muestra la ruta de reauditoría, con registros, semillas o una ejecución repetible?
• ¿Se hacen las comparaciones dentro del mismo arnés, no entre ejecutores distintos?
• ¿Existe una evaluación interna de cinco tareas sobre tus propios trabajos, no solo el benchmark público?

La memoria cambia la puntuación. Las herramientas pueden ocultar el comportamiento real del modelo. Una ejecución casi perfecta aún puede ser antieconómica. Un único resultado de producción no es una señal. La lista de verificación obliga al proveedor a responder directamente a esos cuatro riesgos.

Ejecutores distintos pueden cambiar la puntuación. Las comparaciones fuera de un mismo arnés deberían bloquear la afirmación. Un benchmark público es un proxy. La evaluación de cinco tareas mantiene la comprobación honesta. Tu trabajo de producción tiene sus propios modos de fallo. La selección de modelos para agentes debe terminar con tus propias tareas, no con un ranking. La verificación de benchmark se detiene en el número del proveedor. La verificación de producción empieza con tus propios trabajos.

La evaluación de cinco tareas es la última puerta

Trata la evaluación del modelo de frontera como un proceso de producción, no como una puntuación única. Pide el arnés, el ejecutor, el coste y la ruta de reauditoría. Después, ejecuta el mismo agente en tus propios trabajos.

Solicita el manifiesto de ejecución repetible antes de la demostración. Pide el registro de fallos y el desglose de costes antes de la presentación. Si el proveedor no puede nombrar el arnés, trata la afirmación como no verificada. El coste ausente hace la ejecución antieconómica. La reauditoría ausente hace el resultado anecdótico. La brecha del benchmark es real, pero la decisión de despliegue es operativa. Despliega solo cuando la afirmación sobreviva a la comprobación.