Verifica Devin antes de la ruta crítica
Verifica el límite de tareas sin supervisión, la telemetría de decisiones y el cálculo de coste por tarea antes de asignar Devin a trabajo de producción.
Estás decidiendo si Devin puede asumir el trabajo de producción sin un humano en el circuito. Cognition cerró una ronda de inversión de $2 mil millones con una valoración de empresa de $48 mil millones. Antes de otorgar acceso, verifica el límite de tareas sin supervisión, la telemetría de decisiones y el cálculo de coste por tarea.
Tres pruebas deciden el acceso a producción
Mantén la lista lo suficientemente corta como para ejecutarla en una llamada con el proveedor. Cada punto debe generar un entregable, no una promesa.
- Define el límite de tareas sin supervisión antes de cualquier tarea de producción.
- Exige un registro de decisiones que muestre el disparador, la acción, la ruta de reversión y la anulación humana.
- Calcula el coste por tarea dividiendo el gasto total del agente entre las tareas completadas.
El límite es la prueba de entrada
Cognition afirmó que Devin puede investigar incidentes, clasificar vulnerabilidades de seguridad y ejecutar tareas activadas por eventos en Slack, GitHub, Linear y otros sistemas sin un chat separado por tarea.
La afirmación plantea la pregunta del operador: ¿cuáles de esas acciones pueden ejecutarse sin aprobación? El límite es la superficie de control. Sin él, el agente puede parecer productivo mientras expande su alcance.
Empieza con el entorno más pequeño que pueda romperse. Pregunta a qué ramas puede escribir, qué secretos puede leer y qué despliegues puede activar. Si la respuesta es todos, detente. Necesitas un piloto acotado. Un piloto acotado debe tener un propietario designado, un interruptor de emergencia y un responsable de reversión. El límite debe estar por escrito, no implícito en una demo. Si el proveedor no puede enunciarlo con claridad, trata esa brecha como un riesgo de producción.
Cognition identificó a Nvidia, GE Aerospace, Citigroup, Mercedes-Benz Group y Modal Labs como usuarios de Devin, con trabajos que abarcan diseño de chips, aviación, servicios financieros, ingeniería automotriz e infraestructura de IA. Una lista de clientes muestra adopción, no tu modo de fallo.
La telemetría es la prueba de auditoría
El registro de decisiones es la pista de auditoría. Si el proveedor no puede mostrarlo, el agente no es auditable. La telemetría debe permitirte responder qué pasó, por qué pasó y quién puede detenerlo.
Una transcripción de chat no es suficiente. Muestra conversación, no control. Para trabajo de producción, necesitas eventos legibles por máquina, no capturas de pantalla. Exige una exportación de muestra antes de firmar. Debe ser suficiente para probar el esquema.
El registro debe ser consultable, no solo legible. Necesitas filtrar por tarea, repositorio, entorno y resultado. Solicita el periodo de retención y el formato de exportación. Un panel de control por sí solo te hace dependiente de la disponibilidad del proveedor. Para trabajo de seguridad, exige evidencia de que la clasificación de vulnerabilidades está vinculada a una regla reproducible o a la salida de un modelo.
El cálculo de costes es la prueba de presupuesto
Los ingresos anualizados de Cognition aumentaron de $492 millones en mayo a $900 millones. Se proyecta que los ingresos anualizados de Cognition alcanzarán entre $4 mil millones y $5 mil millones para finales de 2026.
La inversión continua de más de mil millones de dólares de los inversores en Cognition indicó que algunos respaldos no esperan que la codificación con IA se consolide en un único ganador. La escala es una señal, no una prueba. Muestra que el proveedor puede seguir construyendo, no que tu carga de trabajo está a salvo.
Cognition alquila un gran clúster de servidores de Nvidia, y el gasto total en efectivo de la empresa podría alcanzar los $800 millones este año. Ese gasto no aparece en tu factura línea por línea. Tu modelo de costes aún debe contemplarlo.
Consigue el modelo de precios: por tarea, por minuto, por token o por asiento. Luego modela tu peor mes, no tu mejor demo. Incluye tiempo inactivo, reintentos, tareas fallidas y revisión humana. Un proveedor que no puede separar el cómputo de la licencia deja tu previsión de costes débil.
Obtén datos recientes de coste por tarea y divide el gasto total del agente entre las tareas completadas. Compara esa cifra con el coste de un ingeniero humano para la misma tarea. Si el agente falla, incluye el coste de revisión, reversión y rehacer.