Skip to content

Evaluación de agentes en vivo

Cómo evaluar un agente de IA en tiempo real: pausar, enviar instrucciones, tomar el control, revertir y ramificar, usando la vista de agente en vivo de Potato.

La mayoría de las evaluaciones de agentes revisan una traza grabada. La evaluación en vivo observa al agente mientras se ejecuta en tiempo real y deja que una persona intervenga: pausarlo, enviarle instrucciones, tomar el control o revertir para probar otro camino. Para la evaluación de agentes con intervención humana en tu propio servidor, Potato es una herramienta de código abierto que captura cosas que una grabación no puede: dónde habría intervenido una persona y cómo es una mejor orientación.

Para la referencia de la función, consulta Evaluación de agentes en vivo y Agente de programación en vivo.

¿Qué aporta la evaluación de agentes en vivo?

  • Pausar y reanudar: detén al agente a mitad de la tarea para inspeccionar su estado.
  • Enviar instrucciones: oriéntalo con indicaciones y observa cómo se adapta.
  • Tomar el control: condúcelo manualmente y luego devuelve el control. Los puntos de traspaso son etiquetas valiosas.
  • Revertir y ramificar: vuelve a un paso anterior y prueba una alternativa, comparando caminos desde el mismo estado.

Esto produce datos intervencionales, contrafactuales sobre qué ayuda, no solo etiquetas observacionales.

¿Cómo configuro la evaluación de agentes en vivo en Potato?

El modo en vivo conecta Potato con un agente en ejecución a través de un endpoint (un proxy compatible con OpenAI, un endpoint HTTP personalizado o un backend de agente de programación). El anotador interactúa mediante la vista de agente en vivo.

yaml
live_agent:
  endpoint_type: anthropic_vision   # or coding_agent, openai_proxy, ...
  ai_config:
    model: claude-sonnet-4-20250514
    api_key: ${ANTHROPIC_API_KEY}
  max_steps: 30
  allow_takeover: true
  allow_instructions: true

¿Cuándo debería usar la evaluación de agentes en vivo?

  • Crear directrices: observar en vivo revela los modos de fallo que conviene codificar en una taxonomía para el etiquetado por lotes posterior.
  • Tareas interactivas: asistentes de chat y agentes que usan herramientas, donde lo que juzgas es la interacción, no solo la transcripción.
  • Pruebas de estrés: sondear cómo se recupera un agente tras un empujón o un desvío forzado.

La evaluación en vivo requiere más dedicación y tiene menor rendimiento que revisar trazas grabadas, así que es mejor para una muestra acotada o para diseñar la tarea por lotes. Para volumen, pasa a la anotación de trayectorias sobre ejecuciones grabadas.

Lecturas adicionales