Anotación de trayectorias de agentes: ¿quién evalúa a la IA que trabaja sola?
Un agente de IA reservó el vuelo equivocado. No porque alucinara un destino — el correo electrónico de confirmación final era perfecto. En algún punto de los 47 pasos entre «resérvame un vuelo para mi reunión en Ginebra» y la página de pago, consultó el calendario con un formato de fecha incorrecto, obtuvo cero resultados en silencio, supuso que la reunión era la semana siguiente y razonó impecablemente a partir de ahí. Cada paso posterior era localmente correcto. Pero la trayectoria era globalmente errónea.
Este es EL problema de calidad de la era de los agentes: la respuesta final es solo el último paso de una larga ejecución, y evaluarla no le dice casi nada. La disciplina que resuelve esto se llama agent trajectory annotation (anotación de trayectorias de agentes) —el etiquetado humano del rastro de ejecución completo de un agente— y su producto se denomina agentic AI evaluation data (datos de evaluación de IA agentica): los conjuntos de datos que hacen que los agentes autónomos sean medibles, depurables y entrenables.
💡 Durante años en Innovatiana, nuestros servicios de RLHF consistían en juzgar la respuesta de un modelo. La IA agentica cambia la unidad de juicio: ya no es una respuesta, sino una trayectoria —una secuencia de pensamientos, llamadas a herramientas, observaciones y decisiones. Las habilidades se transfieren; el oficio es nuevo. Esta guía lo mapea.
Anatomía de una trayectoria (y de su fallo)
Una trayectoria, también llamada rastro, es el registro completo de la ejecución de un agente. Simplificado, nuestro fallo de reserva se ve así:
[usuario] Resérvame un vuelo para mi reunión en Ginebra
[pensamiento] Necesito la fecha de la reunión. Consulto el calendario.
[llamada_herramienta] calendar.search(query="Ginebra", date="14/08/2026")
[salida] { results: [] } ← la API espera fechas ISO
[pensamiento] No hay reunión esta semana. Debe de ser la semana que viene.
[llamada_herramienta] flights.search(dest="GVA", date="2026-08-21") ← premisa falsa
[...] 41 pasos adicionales, localmente correctos
[final] ✓ ¡Reservado! Ginebra, 21 de agosto. ← seguro de sí mismo, y equivocado
🧐 Una evaluación basada en el resultado («¿el agente reservó un vuelo a Ginebra?») califica esta ejecución como un éxito. Solo una revisión humana paso a paso detecta el fallo real: un argumento de herramienta mal formado en el paso 3 y una inferencia injustificada en el paso 5.
En realidad, anotar es depurar (si hacemos una analogía con el desarrollo de software). Y, al agregarse en miles de trazas, estas anotaciones se convierten en los datos de evaluación y entrenamiento que evitan que este tipo de errores se repita.
Qué cubre la anotación de trayectorias de agentes
Anotar una traza implica emitir un juicio en tres niveles distintos, una estructura que ya es estándar en la literatura y en las plataformas de evaluación de agentes:
Nivel 1 — El resultado (end-to-end)
¿La ejecución cumplió con el objetivo real del usuario? Totalmente, parcialmente o nada; y ¿se comprendió correctamente el objetivo en sí? Esto se parece al trabajo clásico de preferencias RLHF, con un matiz: el anotador debe juzgar en función de la «intención» del usuario, no de la reformulación que haga el agente.
Nivel 2 — La trayectoria (el camino)
¿Fue el camino sólido y eficiente? Se etiqueta: la calidad del plan (¿era sensata la descomposición inicial?), la adherencia al plan (¿lo siguió el agente o lo revisó con criterio?), la eficiencia de los pasos (bucles, llamadas redundantes, desperdicio de tokens) y el comportamiento de recuperación (¿qué hizo el agente tras un error: reintentar, adaptarse o alucinar sobre él?).
Nivel 3 — El paso (la decisión)
Cada acción individual recibe sus propias etiquetas: la elección correcta de la herramienta (¿es la herramienta adecuada para la subtarea?), la precisión de los argumentos (nuestro error de formato de fecha reside aquí), el anclaje (¿este paso del razonamiento se deriva de observaciones reales o de algo que el agente inventó?) y el uso de la información (¿el agente leyó el resultado de la herramienta que recibió o lo ignoró?).
💡 Las etiquetas de seguridad y cumplimiento (intentos de acciones peligrosas, permisos excedidos, gestión inadecuada de datos sensibles) y las etiquetas de atribución de errores: qué paso falló primero y de qué categoría de error se trata. La atribución de errores es la etiqueta más valiosa y exigente de la taxonomía: requiere leer todo el registro, formar una teoría causal y localizar el defecto inicial, exactamente igual que en una revisión de código...
Cuatro conjuntos de datos derivados de este trabajo
La anotación de trayectorias no es un fin en sí mismo. Genera cuatro activos de datos distintos:
1. Los conjuntos de referencia (golden sets) de evaluación. Registros seleccionados con etiquetas verificadas, utilizados como puntos de referencia de regresión: cada nueva versión del agente se prueba frente a ellos. Las capas de anotación de registros de las herramientas de observabilidad (LangSmith y equivalentes) existen precisamente para construirlos, pero las etiquetas que contienen son juicios humanos, no resultados de herramientas.
2. Los datos de calibración para LLM-as-a-judgeLa mayoría de los equipos califican sus trazas automáticamente con un modelo juez. Los jueces se desvían, sobrecompensan la verbosidad y pasan por alto fallos específicos del dominio; por tanto, deben calibrarse frente a una verdad fundamental anotada por humanos y recalibrarse a medida que el agente evoluciona. El consenso en la investigación: revisión humana periódica combinada con juicio automatizado, no uno reemplazando al otro.
3. Datos de entrenamiento de modelos de recompensa de proceso (PRM). La frontera del entrenamiento de agentes: modelos de recompensa que califican cada paso, no solo el resultado. Trabajos recientes (p. ej., AgentPRM, WWW 2026) generan etiquetas por paso de forma semiautomática mediante estimación por diferencia temporal, pero el enfoque sigue dependiendo de criterios de éxito definidos por humanos y etiquetas semilla verificadas por humanos, ya que, a diferencia de una prueba matemática, la acción de un agente no tiene una corrección evidente sin juicio.
4. Corpus de ajuste fino derivados de trayectorias reparadas. Los fallos anotados se convierten en supervisión: la traza hasta el paso fallido, más la continuación corregida. Estos datos de «reparación de trayectoria» se encuentran entre los materiales de ajuste fino más valiosos que puede poseer un equipo de agentes.
Qué hace a un buen anotador de trayectorias
No es microtareas ni calificación de contenido convencional. El perfil se acerca más al de un ingeniero de QA combinado con un especialista en RLHF:
- Lectura técnica fluida: las trazas contienen llamadas a herramientas JSON, errores de API, seguimientos de pila y documentos recuperados; el anotador debe leerlos de forma nativa
- Contexto empresarial: juzgar si la corrección de un agente de código es correcta, o si el control de cumplimiento de un agente financiero es suficiente, requiere personas que conozcan el dominio; los anotadores genéricos producen etiquetas genéricas (falsas)
- Disciplina causal: saber distinguir el primer paso defectuoso de sus síntomas posteriores y resistir el sesgo retrospectivo al conocer el resultado
- Cultura de calibración: los juicios por paso son subjetivos en el margen; se necesitan trazas «gold», seguimiento del acuerdo entre anotadores y rondas de arbitraje; la misma maquinaria que cualquier programa de etiquetado serio, aplicada a un objeto nuevo
💡 Un patrón que vemos constantemente: equipos que invierten en los prompts de su juez y nada en la referencia humana que el juez debería aproximar. Un juez LLM sin calibrar es solo una opinión a gran escala. Cincuenta trazas anotadas rigurosamente valen más que cinco mil ejecuciones autocalificadas, porque solo las primeras te dicen qué significan realmente esos cinco mil puntajes.
Un protocolo concreto: anotar 1 000 trazas
Cómo es un sistema de producción, en resumen:
1. El esquema primero. Define la taxonomía de etiquetas a partir de tus modos de fallo (basándote en los tres niveles anteriores), con reglas de decisión por escrito y de 10 a 20 trazas de ejemplo completamente anotadas.
2. Muestreo deliberado. No anotes trazas al azar: estratifica por resultado (éxitos Y fallos), por tipo de tarea, por longitud de la traza y sobremuestrea los puntajes del juez con baja confianza; ahí es donde reside la información.
3. Anotación en dos pasadas. Primera pasada: etiquetas de pasos y resultados; segunda pasada por un anotador senior para la atribución de errores. Los desacuerdos pasan a arbitraje y las resoluciones alimentan las reglas de decisión.
4. Medir el acuerdo por familia de etiquetas. La precisión en la elección de herramientas converge rápido; las etiquetas de calidad de razonamiento, no. Hazles seguimiento por separado con diferentes umbrales de acuerdo.
5. Cerrar el ciclo. Entrega el conjunto etiquetado en tres formatos: benchmark de regresión, datos de calibración del juez y semilla para el PRM o el ajuste fino (fine-tuning). Un esfuerzo de anotación, tres productos.
Referencias para leer (y citar sin reparos)
- AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress — Xi et al., WWW 2026. La referencia sobre el etiquetado de recompensas por pasos para agentes, incluyendo por qué las acciones de los agentes no tienen una corrección evidente.
- Modelado de recompensas agente — Peng et al., 2025. Combinación de preferencias humanas y señales de corrección verificables.
- La literatura sobre agentes como jueces — You et al., 2026 y sucesores. Evaluadores autónomos con acceso a herramientas, y sus límites de calibración.
- RM-R1: Modelado de recompensas como razonamiento — Chen et al., 2025 (arXiv:2505.02387). Por qué los juicios de recompensa se benefician de un razonamiento explícito, con implicaciones para las instrucciones de anotación.
- Estudios sobre evaluación mediante rúbricas — literatura de arXiv 2026 sobre criterios estructurados de evaluación de LLM; directamente aplicable a la redacción de reglas de decisión para anotación.
🔍 Este campo de investigación evoluciona cada mes; los artículos anteriores son puntos de referencia, no un mapa completo. Sus anexos —taxonomías de etiquetas, estadísticas de concordancia, prompts de anotación— son las partes operativamente útiles.
En conclusión
Los agentes fallan a mitad de los procesos, no al final. Los equipos que entregan agentes fiables son aquellos que saben ver ese "medio", y verlo es una disciplina de etiquetado (o anotación) humana, ¡se diga lo que se diga!
🤖 Es la evolución natural de lo que Innovatiana siempre ha hecho en RLHF y evaluación: anotadores profesionales internos con formación técnica y sectorial, jefes de proyecto dedicados, seguimiento de acuerdos y trazabilidad completa; nunca crowdsourcing anónimo. Si su agente trabaja solo, asegurémonos de que alguien cualificado lo evalúe: https://www.innovatiana.com/es/contacto
