Skip to content

Aprendizaje activo para la anotación

Qué es el aprendizaje activo, cuándo conviene y las estrategias de consulta que admite Potato (incertidumbre, diversidad, BADGE, BALD) para etiquetar menos elementos con la misma calidad de modelo.

El aprendizaje activo elige qué elementos anotar a continuación, de modo que un modelo alcance la misma precisión con muchas menos etiquetas. En lugar de etiquetar al azar, etiquetas los elementos que el modelo encuentra más informativos. Cuando el etiquetado es el cuello de botella, es de las técnicas que más rinden.

Para una introducción, consulta aprendizaje activo. Para la referencia de la función, consulta Aprendizaje activo.

El ciclo

  1. Etiqueta un pequeño conjunto inicial.
  2. Entrena un modelo rápido con lo que tienes.
  3. Puntúa el conjunto sin etiquetar y elige los elementos más informativos.
  4. Anótalos, añádelos y vuelve a entrenar. Repite.

La recompensa es la eficiencia de los datos: el modelo invierte tu presupuesto de anotación allí donde más aprende.

Estrategias de consulta que admite Potato

  • Muestreo por incertidumbre: elige los elementos sobre los que el modelo tiene menos confianza (cerca de la frontera de decisión). La opción por defecto más sencilla y, a menudo, eficaz.
  • Muestreo por diversidad: elige elementos distintos entre sí, para no malgastar presupuesto en casos casi duplicados.
  • BADGE: combina incertidumbre y diversidad mediante incrustaciones de gradiente.
  • BALD: estrategia bayesiana que selecciona los elementos que se espera que reduzcan más la incertidumbre del modelo.
  • Híbrida: mezcla varias estrategias.
yaml
active_learning:
  enabled: true
  schema_names: [sentiment]
  query_strategy: uncertainty   # or diversity, badge, bald, hybrid
  min_instances_for_training: 20

Cuándo ayuda el aprendizaje activo y cuándo no

Ayuda cuando las etiquetas son caras, el conjunto es grande y se puede entrenar un modelo útil con un seed pequeño. Ayuda menos cuando:

  • La tarea es tan fácil que el etiquetado al azar ya se satura enseguida.
  • Necesitas un conjunto de prueba reservado sin sesgo: mantén los datos de evaluación con muestreo aleatorio, porque los datos seleccionados por aprendizaje activo están sesgados a propósito.
  • Las etiquetas son baratas en relación con el esfuerzo de ingeniería.

Lecturas adicionales