Un fallo de evaluación infló los aciertos de cuatro agentes de IA
En una tienda simulada, un agente de IA terminó la prueba sin cambiar ningún dato. El programa que registraba el resultado marcó los datos como correctos. Cuando los leyó, el propio código de la prueba ya había escrito los cambios que se esperaban del agente.
En un minuto
Imagina que el cliente pide cambiar la dirección de entrega. El agente deja la dirección antigua. Para calcular el resultado esperado, el código de la prueba escribe la nueva dirección en ese mismo pedido. Después, el programa que registra el resultado abre el pedido y encuentra la dirección nueva. Por eso marca los datos como correctos.
Para aprobar la tarea completa, el programa también exigía que aparecieran ciertos textos en la respuesta del agente. Junjie Chen revisó los datos de 4.320 ejecuciones usando las acciones que habían realizado los agentes. Con los datos corregidos, los aprobados bajaron del 94,3 % al 65,5 %.
Qué comprobaba cada parte del programa
En la prueba, un modelo de IA hacía de cliente y otro, el agente, respondía y podía usar herramientas para consultar o cambiar los registros de la tienda. La nota la calculaba un programa con dos reglas: comprobar que los datos guardados coincidían con los esperados y buscar ciertos textos en la respuesta. Para aprobar, debían cumplirse ambas condiciones.
- Al cerrar la sesión, una función tomaba una huella de los datos que había dejado el agente. Esa huella permite comparar dos estados de la base de datos sin revisar cada registro a mano.
- La función reiniciaba esa misma base y ejecutaba los pasos que resolvían la tarea. Así obtenía una segunda huella, la de la solución. Comparaba ambas huellas correctamente, pero dejaba la base con los datos que acababa de escribir.
- El programa de Chen calificaba la ejecución por separado después del cierre. En ese momento la base ya contenía los datos que había escrito la función de evaluación. La segunda lectura podía dar por correcto un cambio que el agente había omitido.
El programa original de la prueba usaba el resultado del paso 2. El fallo afectó a las notas que registraba el programa de Chen en el paso 3.
Cómo comprobó Chen que la reparación funcionaba
Chen repitió el caso del agente que se despedía sin cambiar datos. Esta vez, al terminar la comparación del paso 2, el código dejó los datos tal como los había dejado el agente. Cuando el programa volvió a leerlos en el paso 3, encontró que faltaban los cambios y marcó esa comprobación como fallida.
Qué cambió al recalcular las notas
Chen recuperó las llamadas a herramientas de cada ejecución y las repitió sobre una base limpia. Así reconstruyó los cambios que había hecho cada agente sin volver a pedir al modelo que resolviera las tareas. Conservó la calificación original de la respuesta escrita.
4.073 de 4.320 ejecuciones
2.829 de 4.320 ejecuciones
Los dos porcentajes cuentan ejecuciones que superaron tanto la comprobación de datos como la de texto. Son repeticiones de 30 tareas de comercio con distintas configuraciones. El nuevo cálculo retiró 1.244 aprobados.
Qué pasó con la comparación entre agentes
La corrección afectó en distinta medida a los cuatro agentes. DeepSeek-V4.1-Flash tenía la cifra más alta en el registro original y pasó al tercer puesto por puntuación tras el recálculo. Los dos primeros resultados corregidos quedaron demasiado cerca para distinguir un ganador con los datos del estudio. La comparación corresponde a esas 30 tareas y a un único proveedor de acceso a los modelos.
Qué podemos aprender como usuarios
Si vas a elegir una IA por los resultados de una prueba, pide ver una ejecución completa. Por ejemplo, si el encargo era cambiar una dirección, comprueba que el registro del pedido contiene la nueva dirección antes de que se ejecute el programa que puntúa. La respuesta «Dirección cambiada» solo acredita lo que el agente comunicó.
- Pregunta qué se cuenta como éxito. Pide que distingan la respuesta que ve el usuario del cambio que se puede comprobar en el sistema.
- Prueba dos casos que puedas corregir tú. Usa una copia de los datos. En uno, realiza el cambio esperado. En el otro, deja el pedido igual y escribe una respuesta que diga que lo has cambiado. Comprueba qué nota recibe cada caso.
- Conserva lo que dejó cada ejecución. Guarda los resultados antes de corregirlos. Si después aparece un fallo en la evaluación, podrás revisar qué aprobados o comparaciones cambian.
Estas son propuestas de Freesamia para revisar una evaluación. El estudio permite explicar un fallo concreto de calificación en una prueba controlada. Su alcance se limita a la configuración analizada.
Cómo revisar una prueba de agentes
Conserva el resultado del agente antes de calcular su nota.
1. Especifica qué evidencia hace falta
Identifica qué debe quedar escrito, guardado o ejecutado para considerar la tarea resuelta. Registra por separado el estado inicial, las acciones observadas, el estado final y el mensaje del agente.
2. Prepara la solución en una copia aparte
Conserva una copia del estado final antes de puntuar. Calcula la solución esperada en otro entorno de prueba. Compara el estado antes y después de calificar para detectar cambios causados por el evaluador.
3. Comprueba que el evaluador distingue un éxito de un fallo
Prueba una ejecución correcta y otra que solo afirme haber terminado. Califica dos veces la misma ejecución y comprueba si cambian la nota o los datos guardados. Si solo tienes el mensaje final, indica qué efecto queda sin verificar.
4. Corrige las notas con evidencia conservada
Si cambia la calificación, conserva ambas versiones e identifica las ejecuciones afectadas. Si reconstruyes los resultados, indica qué acciones repetiste y qué parte de la evidencia mantuviste. Distingue ese recálculo de volver a pedir al modelo que resuelva la tarea.
Ejemplos
El agente dice «He cambiado la dirección» y el pedido conserva la anterior. Registra el mensaje y marca como fallida la comprobación del cambio.
La nueva dirección aparece cuando el corrector prepara la solución. Revisa la copia previa a la evaluación. Si falta y no puedes reconstruirla con el registro de acciones, marca ese resultado como incierto.