Un programa de evaluación industrial con diez plataformas de IA agéntica en tres cargas de trabajo de servicios financieros encontró que las puntuaciones basadas en demostraciones miden tanto la presentación como la capacidad real. El estudio, difundido en arXiv, fue realizado por el laboratorio de innovación de un banco global con un panel interdisciplinario.
Las plataformas evaluadas abarcaron marcos de código abierto, productos propietarios y ecosistemas de hiperescaladores. Fueron calificadas en nueve dimensiones de capacidad sobre tres flujos: riesgo de crédito de contraparte, generación aumentada por recuperación y automatización de procesos.
Tres niveles y fortalezas por carga de trabajo
Los puntajes separaron el campo en tres niveles estables bajo distintas ponderaciones y revelaron fortalezas específicas por carga de trabajo que los agregados ocultan. Sin embargo, un análisis secundario halló un alfa de Cronbach de 0,98 entre dimensiones nominalmente distintas y correlaciones de rango iguales o superiores a 0,93 con el total en ocho de nueve dimensiones.
Ese patrón, según el estudio, constituye un efecto halo: la calificación basada en demostraciones termina midiendo la presentación tanto como la capacidad. El hallazgo cuestiona la fiabilidad de los procesos de compra que se apoyan en exhibiciones de proveedores.
Protocolo en cuatro capas
A partir de esas lecciones, los autores proponen un protocolo de evaluación denominado gate-then-score, con cuatro capas: capacidad, fiabilidad de ejecución, compuertas de gobernanza y valor de negocio. También plantean métricas de fiabilidad a nivel de traza estimadas en ejecuciones repetidas, una escala de preparación para la autonomía y un protocolo de reproducibilidad.
El documento precisa qué sostiene la evidencia actual y qué debe añadir un entorno controlado para convertir la evaluación de plataformas empresariales de un juicio estructurado en una medición propiamente dicha.







Comentarios
Comparte tu opinión de manera respetuosa.
Inicia sesión para dejar un comentario.