Verifica el benchmark, el coste y la matemática de flota antes de comprar un robosecretario

Una propuesta de robosecretario suele empezar con una demo. El trabajo del operador es convertir esa demo en una partida presupuestaria. Antes de desplegar una flota de agentes de uso de ordenador, verifica la puntuación pública, el precio por tarea y la matemática de flota. Un proveedor puede hacer que los tres parezcan impecables. Verifica cada uno. Las cifras deben resistir tu carga de trabajo.

La puntuación es la puerta de entrada

Una puntuación de benchmark te indica con qué frecuencia el agente completa una tarea sin intervención humana de reparación. No te dice si tus tareas están en ese conjunto. Simular anunció la disponibilidad general de su agente de uso de ordenador Sai el 23 de septiembre de 2026. En una demostración en Minecraft, Sai funcionó durante 14 horas sin intervención humana paso a paso. Durante esa sesión, completó 8 de 15 objetivos a unos $0.01 por hora. Esa demo no es una carga de trabajo de producción.

Una demo larga demuestra resistencia. No demuestra adecuación. Funcionar durante horas en un juego es útil. Tus tareas pueden ser trabajo de oficina, entrada de datos o colas de soporte. Comprueba si el benchmark incluye esas acciones.

El benchmark público separa una demo sólida de un sistema repetible. El XLANG Lab de la Universidad de Hong Kong lanzó OSWorld 2.0 en junio. En agosto de 2026, Sai obtuvo una puntuación parcial del 73,0% en el benchmark OSWorld 2.0 de 108 tareas. Si la puntuación del proveedor no está en un benchmark público, pide la lista de tareas, el entorno y la regla de puntuación.

Una puntuación parcial puede ocultar dónde falla el agente. Un agente puede completar la mayoría de los pasos y fallar al final. Otro puede fallar pronto y ahorrar coste. Solicita el resultado a nivel de paso, no solo la puntuación final.

El coste por tarea es el coste real

El coste por tarea es la cifra que tu equipo financiero usará realmente. Incluye cómputo, reintentos y intentos fallidos. El coste de Sai en OSWorld 2.0 fue de $15.70 por tarea, frente a $23.70 para Claude Opus 5 Max Thinking y $26.62 para GPT-5.6 Sol Max. La diferencia es la cuota de entrada. Si tus tareas son más largas, más ruidosas o menos estándar, el coste por tarea variará.

Obtén el coste de una tarea fallida, no solo de una completada. Un reintento puede costar más que un intento anterior. Un agente atascado puede consumir cómputo mientras espera a un humano. Tu modelo financiero necesita el peor caso, no el mejor.

La definición de tarea del proveedor importa. Una tarea puede terminar cuando el agente dice que está hecho, cuando un humano lo confirma o cuando una prueba pasa. La definición cambia el coste.

El precio de flota es un supuesto hasta que se reproduce

La matemática de flota es donde un robosecretario se convierte en un centro de coste. Simular afirmó que su SaiFleet podía ejecutar 100 ordenadores en paralelo por menos de $1 en total. Esa afirmación es fácil de citar y difícil de reproducir. Depende del tiempo inactivo, la duración de las tareas, el tamaño de la máquina y la frecuencia con la que el agente se reinicia.

Un precio paralelo asume una mezcla de tareas estable. También asume que las máquinas se mantienen ocupadas. Si tu trabajo llega en ráfagas, la flota puede quedarse inactiva. Si tus tareas fallan a menudo, la flota puede reiniciarse. Estos efectos cambian el total.

Una flota de ordenadores autónomos se comporta como un conjunto de máquinas, cada una con un tiempo de ejecución, una tasa de fallo y un coste. Antes de comprar, ejecuta la misma carga de trabajo en tu propia infraestructura. Compara el precio de flota del proveedor con tu gasto medido. Si no resiste esa ejecución, trátalo como una cifra de ventas.

Mantén un registro simple para la ejecución de prueba. Anota la hora de inicio, la hora de fin, el número de máquinas y el gasto. Ese registro es tu línea base. Te da una cifra que puedes defender en una revisión presupuestaria.

Realiza la verificación previa a la compra antes de firmar

• Comprueba que la puntuación pública del benchmark cubre tu clase de tareas.
• Comprueba que el coste por tarea incluye reintentos y fallos.
• Comprueba que el precio de flota indica el número de máquinas, el tiempo inactivo y la tasa de fallo.