Cómo evaluar agentes de IA
Una visión general de la evaluación de agentes de IA y LLM con anotación humana, a nivel de trayectoria, paso, span y comparación, y qué herramienta de Potato encaja en cada caso.
Evaluar un agente de IA significa juzgar no solo su respuesta final, sino el camino que recorrió: el razonamiento, las llamadas a herramientas y las acciones a lo largo del proceso. La anotación humana sigue siendo el estándar de referencia para esto, porque muchos fallos de los agentes (un paso plausible pero incorrecto, una acción insegura) solo una persona los detecta de forma fiable. Potato es una herramienta de código abierto para la anotación humana de trayectorias de agentes LLM, con una vista creada a medida para cada nivel de evaluación.
Aquí un agente de IA es un sistema impulsado por un LLM que ejecuta acciones en varios pasos (llamando a herramientas, navegando o escribiendo código) para completar una tarea. Consulta la visión general de la evaluación de agentes y la referencia de Anotación agéntica.
¿Cuáles son los niveles de evaluación de agentes de IA?
Elige el nivel que corresponda a la pregunta que te haces:
- Nivel de trayectoria: juzga la ejecución completa. ¿Tuvo éxito? ¿Fue eficiente y segura? Consulta Anotar trayectorias de agentes.
- Nivel de paso: juzga cada acción. ¿Fue correcta esta llamada a herramienta? ¿Era necesario este paso? Estos son los datos detrás de los modelos de recompensa de proceso.
- Nivel de span: resalta problemas concretos dentro de las salidas, como una afirmación alucinada o una instrucción insegura. Consulta Detectar alucinaciones.
- Nivel de comparación: juzga dos agentes o dos ejecuciones cara a cara. Consulta Comparación de modelos por pares.
- Nivel de equipo: para sistemas multiagente, atribuye un fallo al agente, el paso y el traspaso responsables. Consulta Cómo evaluar sistemas multiagente.
¿Qué formatos de trazas de agentes admite Potato?
Potato lee trazas de agentes en 13 formatos, incluidas las llamadas a herramientas de OpenAI y Anthropic, ReAct, LangChain, LangFuse, WebArena, SWE-bench, MCP y OpenTelemetry, y las renderiza en vistas ajustadas al tipo de agente:
- Vista de traza de agente para trazas de razonamiento y herramientas.
- Vista de agente web con capturas de pantalla y superposiciones de acciones; consulta Evaluación de agentes web.
- Vista de traza de programación con diffs y salida de terminal; consulta Evaluación de agentes de programación.
- Vista de agente en vivo para observar y guiar a un agente en tiempo real; consulta Evaluación de agentes en vivo.
- Vistas de agentes multimodales para agentes de uso del ordenador, de voz y de vídeo; consulta Evaluación de agentes de uso del ordenador y multimodales.
¿Qué método de evaluación de agentes debería elegir?
| Tu pregunta | Enfoque |
|---|---|
| "¿El agente completó la tarea?" | Etiqueta de éxito de la trayectoria |
| "¿Dónde se equivocó exactamente?" | Taxonomía de errores a nivel de paso |
| "¿Qué versión es mejor?" | Comparación por pares |
| "¿Qué tan bueno es en varios ejes?" | Evaluación por rúbrica |
| "¿Es fiel la respuesta basada en el contexto recuperado?" | Evaluación RAG |
| "¿Qué agente del equipo causó el fallo?" | Atribución multiagente |
| "¿El agente de uso del ordenador hizo clic en lo correcto?" | Revisión de trayectoria de GUI |