Reglas de parada de agentes: escalar alto riesgo, muestrear bajo riesgo, aprobar rápido

En el piloto de gestión inmobiliaria de Bristol, un informe de olor a gas llegó al gerente de guardia fuera de horario en 12 segundos. El trabajo del agente es detenerse y pasar el caso a una persona. Define la misma regla de parada antes de que tu agente entre en producción: detente ante acciones de alto riesgo, baja confianza, aprobación fallida, casos límite y tareas sin resolver.

La regla es una puerta de aprobación. Le dice al agente cuándo pausar, qué enviar y quién decide. El operador recibe una decisión. El agente recibe una comprobación repetible.

Haz la regla de parada explícita

El agente de IA del piloto de gestión inmobiliaria de Bristol gestionó el 70% de las llamadas de mantenimiento entrantes sin intervención humana. El volumen rutinario no es motivo para eliminar al humano. La regla de parada decide qué llamadas son rutinarias y cuáles necesitan a una persona.

La mayoría de los fallos de agentes son fallos de control. El modelo puede responder, enrutar, redactar y reintentar. El sistema debe decidir cuándo la respuesta no es suficiente. Pon la decisión en código, no en un prompt. Ejecútala antes de la siguiente acción, después de la salida del modelo y antes del efecto secundario.

Escala con cinco desencadenantes

Cada desencadenante es una prueba. Si la respuesta es sí, el agente se detiene y pasa el caso a una persona con un registro compacto de lo ocurrido.

• Acción de alto riesgo. Detente cuando la acción pueda causar daño, exposición legal o pérdida irreversible.
• Baja confianza. Detente cuando la señal de confianza cae por debajo del umbral que definiste para esa tarea.
• Aprobación fallida. Detente cuando una aprobación previa falle, expire o devuelva una respuesta poco clara.
• Caso límite. Detente cuando la solicitud esté fuera del alcance documentado, de la política o de los modos de fallo conocidos.
• Tarea sin resolver. Detente cuando el agente haya reintentado el mismo paso sin progreso.

Los desencadenantes son el conjunto mínimo de escalación para agentes en producción: daño, incertidumbre, consentimiento roto, trabajo fuera de alcance y progreso estancado.

Define el umbral de confianza por tarea. Una llamada de mantenimiento rutinaria puede tolerar un umbral más bajo que una escalación por olor a gas. Si el umbral es demasiado alto, el agente se estanca. Si es demasiado bajo, actúa sobre suposiciones. Ajusta a partir de revisiones muestreadas de bajo riesgo, no a partir de un solo caso malo.

Muestrea acciones de bajo riesgo para detectar desviaciones. Revisa lo suficiente para comparar resultados, no todo. La muestra debe ser lo suficientemente aleatoria para evitar la selección sesgada y lo suficientemente estructurada para mostrar qué acciones están fallando. Si una acción de bajo riesgo empieza a fallar, sube su nivel.

Las aprobaciones fallidas necesitan un camino. Un tiempo de espera agotado o una respuesta poco clara no es una aprobación. El agente se pausa, preserva el estado y vuelve a escalar con el mismo paquete de evidencia más el intento fallido. No reintenta la acción y espera a un revisor diferente.

Los casos límite necesitan una salida documentada. El agente debe saber qué está fuera de alcance. Cuando se topa con uno, etiqueta el caso, adjunta la evidencia y lo enruta al responsable que puede decidir.

Las tareas sin resolver necesitan un límite de reintentos. El agente se detiene tras intentos repetidos sin progreso. La transferencia incluye lo que se intentó, lo que falló y lo que el siguiente humano debe comprobar.

La llamada por olor a gas es la prueba. El piso del inquilino de Bristol se puso a salvo en dos horas tras la escalación por olor a gas. El trabajo de la regla de parada es mover el caso al responsable humano.

Aproba por nivel de riesgo

Una regla de parada sin niveles crea una cola. Cada acción pide un humano, y el humano se convierte en el cuello de botella. Aprueba por riesgo, no por volumen.

El patrón Human-in-the-Loop de LiveKit asigna el 90% del trabajo a la IA y el 10% a humanos para juicio, empatía o firma regulatoria. La arquitectura Human-in-the-Loop de LiveKit requiere aprobación para el 100% de las acciones de alto riesgo y muestrea entre el 5% y el 20% de las acciones de bajo riesgo para revisión. Esa división mantiene a los humanos en los casos que los necesitan. La muestra es el bucle de retroalimentación que te dice cuándo una acción de bajo riesgo se ha vuelto de alto riesgo.

En la arquitectura Human-in-the-Loop de LiveKit, un paquete de evidencia completo reduce las decisiones de aprobación a 10 a 30 segundos en lugar de minutos. El paquete es la transferencia. Debe permitir al revisor decidir sin reconstruir el caso desde registros, conversaciones reproducidas o más contexto del agente. Incluye la solicitud, la acción propuesta, el nivel de riesgo, la señal de confianza, la política relevante y los últimos pasos que tomó el agente.

Construye la regla de parada antes de que el agente toque la producción. Pon los desencadenantes en código, los niveles de riesgo en el flujo de trabajo y el paquete de evidencia en la transferencia. El revisor ve la evidencia, el agente se detiene en el límite y el caso avanza.