Integración de LLMs para Sugerencias Inteligentes de Anotación

La anotación asistida por IA puede mejorar drásticamente tanto la velocidad como la calidad. Esta guía cubre la integración de OpenAI, Claude, Gemini y modelos locales para proporcionar sugerencias inteligentes a tus anotadores.

Qué Permite la Integración de LLMs

• Sugerencias de pre-anotación: La IA proporciona etiquetas iniciales para revisión
• Resaltado de palabras clave: Resaltar automáticamente términos relevantes
• Pistas de calidad: Señalar posibles errores de anotación
• Generación de explicaciones: Ayudar a los anotadores a comprender casos difíciles

Integración Básica con OpenAI

annotation_task_name: "AI-Assisted Sentiment Analysis"
 
# AI configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
 
# ... rest of config
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]

Proveedores Soportados

OpenAI

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4  # or gpt-4o, gpt-3.5-turbo
    api_key: ${OPENAI_API_KEY}
    temperature: 0.3
    max_tokens: 500

Anthropic Claude

ai_support:
  enabled: true
  endpoint_type: anthropic
 
  ai_config:
    model: claude-3-sonnet-20240229
    api_key: ${ANTHROPIC_API_KEY}
    temperature: 0.3
    max_tokens: 500

Google Gemini

ai_support:
  enabled: true
  endpoint_type: google
 
  ai_config:
    model: gemini-1.5-pro
    api_key: ${GOOGLE_API_KEY}

Modelos Locales (Ollama)

ai_support:
  enabled: true
  endpoint_type: ollama
 
  ai_config:
    model: llama2  # or mistral, mixtral, etc.
    base_url: http://localhost:11434

Función: Sugerencias de Etiquetas

Los modelos de IA pueden sugerir etiquetas para la consideración del anotador:

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    label_suggestions:
      enabled: true
      show_confidence: true
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [News, Opinion, Satire, Other]

Función: Resaltado de Palabras Clave

Resaltar automáticamente términos importantes:

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    keyword_highlighting:
      enabled: true

Función: Pistas Inteligentes

Proporcionar orientación contextual a los anotadores:

ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
 
  features:
    hints:
      enabled: true

Las pistas aparecen como orientación contextual sin revelar la respuesta, ayudando a los anotadores a reflexionar sobre casos difíciles.

Configuración Completa de Asistencia por IA

annotation_task_name: "AI-Assisted NER Annotation"
 
# AI Configuration
ai_support:
  enabled: true
  endpoint_type: openai
 
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2
    max_tokens: 500
 
  features:
    hints:
      enabled: true
    keyword_highlighting:
      enabled: true
    label_suggestions:
      enabled: true
      show_confidence: true
 
  cache_config:
    disk_cache:
      enabled: true
      path: "ai_cache/cache.json"
    prefetch:
      warm_up_page_count: 50
      on_next: 5
      on_prev: 2
 
data_files:
  - data/texts.json
 
item_properties:
  id_key: id
  text_key: content
 
annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Label named entities (AI suggestions provided)"
    labels:
      - name: PERSON
        color: "#FF6B6B"
      - name: ORG
        color: "#4ECDC4"
      - name: LOC
        color: "#45B7D1"
      - name: DATE
        color: "#96CEB4"
 
output_annotation_dir: "annotation_output/"
output_annotation_format: "json"

Trabajo con Sugerencias de IA

Cuando el soporte de IA está habilitado, los anotadores ven sugerencias junto a la interfaz de anotación. Pueden aceptar, modificar o ignorar las recomendaciones de la IA. La anotación final siempre refleja la decisión del anotador, asegurando la supervisión humana.

Las respuestas de la IA se almacenan en caché automáticamente cuando el almacenamiento en caché está habilitado, por lo que la misma instancia no activará múltiples llamadas a la API.

Prompts Personalizados

Potato incluye prompts predeterminados para cada tipo de anotación, almacenados en potato/ai/prompt/. Puedes personalizarlos editando los archivos de prompts:

Los prompts soportan sustitución de variables con {text}, {labels} y {description}.

Consejos para la Anotación Asistida por IA

1. Comenzar conservadoramente: Revisar todas las sugerencias inicialmente
2. Monitorear tasas de aceptación: Tasas bajas indican problemas con los prompts
3. Iterar en los prompts: Refinar basándose en errores comunes
4. Mantener supervisión humana: La IA asiste, los humanos deciden
5. Rastrear etiquetas de IA vs humanas: Medir la precisión de la IA a lo largo del tiempo

Nuevo en v2.2: Resaltado de Opciones

Potato 2.2 añade una nueva función de IA llamada Resaltado de Opciones que analiza el contenido para resaltar las opciones más probablemente correctas para tareas de anotación discretas (radio, multiselect, likert). Las opciones top-k se resaltan con un indicador de estrella mientras que las opciones menos probables se atenúan, manteniendo todas las opciones completamente clicables.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Lee la documentación completa de Resaltado de Opciones →

Próximos Pasos

• Habilita aprendizaje activo para priorizar elementos inciertos
• Configura control de calidad con métricas de IA
• Aprende sobre modelos locales para privacidad
• Explora el resaltado de opciones para anotación guiada

Documentación completa de IA en /docs/features/ai-support.