Evita que los agentes de soporte actúen sobre capturas mal interpretadas: preprocesa, aplica umbral y verifica

El 11 de marzo de 2026, Azure SRE Agent confundió la interfaz de su portal con la aplicación Itemwise después de que un usuario publicara una captura de pantalla de un hilo de chat fallido. Durante el mismo incidente, el agente reconoció una segunda conversación de Azure SRE Agent, pero no pudo extraer el mensaje de error ni determinar la falla a partir de la captura. El agente no necesitaba primero un modelo mejor. Necesitaba una puerta de control.

Un pipeline de capturas de pantalla para agentes de soporte debe tratar cada imagen como entrada no confiable. El usuario ve un problema. El modelo ve píxeles. El ticket contiene el contexto que distingue un error real de un artefacto de interfaz. Diseña el flujo de trabajo de modo que el agente no pueda actuar hasta que la imagen supere tres verificaciones.

• Normaliza y recorta la imagen.
• Exige confianza del OCR y coincidencia de entidad.
• Verifica el error extraído contra el contexto del ticket o solicita una imagen más nítida.

Normaliza antes de que el modelo adivine

Preprocesa cada imagen antes de que llegue al modelo de visión. Redimensiona a un ancho estable. Recorta la interfaz del cliente de chat, las marcas de agua, las marcas de tiempo y los paneles no relacionados. Endereza la imagen si el usuario fotografió una pantalla. Elimina los artefactos de compresión que convierten el texto pequeño en ruido. El resultado debe ser un recorte limpio alrededor de la región del error, con la superficie de la aplicación visible y sin navegación circundante que pueda sesgar la extracción.

La preprocesación no es un paso cosmético. Un hilo de chat fallido puede incluir la herramienta de soporte, la aplicación en prueba y el marco del navegador en una sola imagen. Si el modelo ve todo eso, puede asociar el error al producto equivocado. El recorte debe preservar el texto del error, el nombre de la aplicación y suficiente interfaz circundante para confirmar la pantalla. Si el recorte elimina el error, rechaza la imagen y solicita una más nítida.

Exige confianza y coincidencia de entidad antes de que la extracción sea válida

Ejecuta reconocimiento óptico de caracteres y un modelo de visión-lenguaje sobre el recorte normalizado. Exige una confianza mínima del OCR para la cadena de error. Exige que el nombre de la aplicación o la entidad de producto extraída coincida con el ticket. Si el texto es parcial, no rellenes el vacío con un error verosímil. La salida es un registro estructurado: texto del error, puntuación de confianza, entidad coincidente y tokens no coincidentes.

El error común es dejar que el modelo redacte un diagnóstico a partir del primer pase. No permitas que el agente cree un incidente a partir de una captura no verificada. Un agente de soporte puede leer una pantalla y aun así pasar por alto el modo de falla.

Astraix incluye un Escáner de Imágenes de Problemas, un Recomendador de Base de Conocimientos, un Creador Automático de Incidentes y Auto-Routing para autoservicio de TI y gestión de incidentes. Para el envío de capturas de pantalla, Astraix se apoya en Google Gemini, un modelo de visión-lenguaje, para extraer texto de error, elementos de interfaz e indicios del estado del sistema. Para capturas difíciles, el equipo de Astraix construyó un pipeline personalizado que combina la visión de Gemini, el reconocimiento óptico de caracteres y el reconocimiento de patrones. La interpretación precisa de capturas de pantalla fue un gran desafío en la construcción de Astraix, porque las capturas son un tipo de entrada notoriamente difícil.

Verifica el error contra el ticket, no contra los píxeles

Compara el error extraído con el título del ticket, el producto, el entorno y la descripción del usuario. Detente si el error menciona un producto ausente del ticket o si el nombre de la aplicación extraído entra en conflicto con el ticket. Solicita una imagen más nítida si el texto del error es demasiado corto para identificar la falla. El resultado es un objeto de error verificado o una solicitud de aclaración, no un borrador de incidente.

La verificación es una comprobación independiente, no una instrucción en el prompt. Se puede decir al modelo que sea cuidadoso. El flujo de trabajo puede hacer imposible avanzar. Almacena el error extraído, la entidad coincidente y la razón de la discrepancia. Si la imagen pasa, el agente puede abrir un ticket, enrutarlo o sugerir una corrección. Si no pasa, el agente solicita una mejor captura de pantalla o escala a un humano.

Construye un conjunto pequeño de fallos antes de ajustar los umbrales. El benchmark Who&When Pro contiene 12.326 trayectorias fallidas de agentes etiquetadas que abarcan 26 benchmarks y 3 modalidades. No necesitas replicar su alcance. Recopila malinterpretaciones, etiqueta el punto de falla y prueba la puerta de control contra ellas.

Registra cada imagen rechazada con su puntuación de confianza, el hash del recorte y la discrepancia de contexto. Revisa los rechazos semanalmente. La revisión muestra códigos de razón, no descarte silencioso. No bloquees cada imagen ambigua. Corrige la puerta de control que los dejó pasar.