Herramientas de anotación de texto comparadas: PLN de código abierto y de pago

Una herramienta de anotación de texto muestra documentos a los anotadores y registra lo que marcan: una etiqueta para todo el texto, fragmentos resaltados como entidades nombradas y vínculos entre fragmentos. Potato, INCEpTION, doccano y la Community Edition de Label Studio se pueden alojar gratis, y todas manejan reconocimiento de entidades nombradas y relaciones. Donde más se diferencian es en los proyectos con muchos anotadores. Potato los recluta en Prolific o en un grupo de participantes de SONA, los forma y los filtra antes de la tarea real, y calcula un acuerdo sobre spans corregido por azar entre todos ellos, sin plan de pago. INCEpTION va por delante en la vinculación con bases de conocimiento, y Prodigy en entrenar un modelo de spaCy mientras se anota. brat y Argilla ya no añaden funciones.

La mayoría de las tareas de texto tienen una de tres formas. La clasificación de textos da una etiqueta al documento entero. El reconocimiento de entidades nombradas y otras tareas de tramos marcan fragmentos del texto. La extracción de relaciones y la resolución de correferencia vinculan tramos entre sí. Todas las herramientas de esta página manejan tramos, y es al vincularlos donde más se diferencian.

Esta página trata solo el texto. Herramientas de anotación con IA, comparadas cubre todos los tipos de datos en una sola página.

¿Qué herramientas de anotación de texto vale la pena comparar?

Funciones lado a lado

En la anotación en sí, las cinco herramientas mantenidas están a la par:

No lo están a la hora de llevar un estudio con muchos anotadores:

Un guion significa que no encontramos nada al respecto en la documentación, la página de precios o el repositorio de la herramienta en septiembre de 2026. Si alguna celda está mal, avísanos.

Dónde va Potato por delante en texto

El estudio alrededor de las etiquetas. Buena parte de la anotación de texto es investigación con trabajadores de crowdsourcing: sentimiento, postura, lenguaje ofensivo, la calidad de las respuestas de un modelo. Los participantes llegan desde Prolific o SONA y se van con un código de finalización o con créditos. Antes de la tarea real dan su consentimiento, responden preguntas de cribado o demográficas y practican con ítems con retroalimentación hasta aprobar. Después, los ítems de referencia y las comprobaciones de atención se mezclan con los reales. Potato monta todo esto desde su configuración YAML, y su integración con Prolific reasigna los ítems que los participantes abandonaron y puede pausar el estudio cuando el servidor está ocupado. Las demás herramientas de esta página dan por hecho que los anotadores ya forman parte de tu equipo. Consulta Cómo realizar un estudio de crowdsourcing, las fases de entrenamiento y Estándares de referencia y comprobaciones de atención.

Un acuerdo sobre spans que se puede publicar. El F1 por pares que calcula Prodigy compara a dos anotadores cada vez y no corrige por azar. El α sobre etiquetas por carácter y la γ de Potato puntúan dónde empieza y termina cada span además de su etiqueta, corrigen por azar y consideran a todos los anotadores a la vez. INCEpTION ofrece el propio α de unitización de Krippendorff, como una matriz de pares de anotadores.

Quién escribió la respuesta. Si una respuesta de texto libre se pegó en lugar de teclearse, puede que el anotador no la escribiera. El registro de pulsaciones de Potato guarda cómo se produjo cada respuesta, y los avisos del proceso de escritura marcan las respuestas que llegaron sobre todo pegadas, con umbrales que puedes leer y cambiar.

Acuerdo en etiquetas de texto

Dos anotadores que marcan la misma entidad rara vez coinciden en sus límites exactos, y una métrica que compara etiquetas token a token cuenta cada diferencia de límite como un desacuerdo sobre la etiqueta. Cómo puntúa una herramienta el acuerdo sobre tramos importa tanto como que lo informe.

• Potato informa κ a nivel de token sobre etiquetas BIO, F1 de tramos con coincidencia exacta y parcial, el α de Krippendorff sobre etiquetas por carácter y una γ simplificada de Mathet et al. (2015). Las dos últimas puntúan dónde empieza y termina un tramo además de cómo se llamó. Consulta medir el acuerdo en tramos.
• INCEpTION calcula la κ de Cohen, la κ de Fleiss y el α de Krippendorff, incluida su forma de unitización, mostrados como una matriz de pares de anotadores, y tiene una interfaz de curación para resolver desacuerdos.
• Prodigy informa, con la receta metric.iaa.doc, del porcentaje de acuerdo, el α de Krippendorff y el AC2 de Gwet para etiquetas de documento, y con metric.iaa.span, del F1 por pares para spans. Su receta review se encarga de la adjudicación.
• Label Studio reserva el acuerdo para sus planes de pago. Las métricas que figuran para su edición Enterprise son coincidencia exacta, diferencia numérica, IoU y solapamiento de tramos.
• doccano no tiene métricas de acuerdo.

Para el caso general, consulta El acuerdo entre anotadores, explicado.

Las herramientas en detalle

INCEpTION

INCEpTION, de la TU Darmstadt, sucedió a WebAnno y es la comparación más cercana para el trabajo lingüístico. Tiene capas de relación, capas de cadena para la correferencia, anotación a nivel de documento y rasgos de concepto que vinculan una anotación con una entrada de una base de conocimiento como Wikidata o DBpedia. En la vinculación con bases de conocimiento va por delante de Potato. Sus recomendadores sugieren anotaciones, con aprendizaje activo integrado. Es una aplicación Java y cuesta más desplegarla que las demás herramientas de esta página. El sistema se describe en Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy, de Explosion, está construida en torno a la anotación con un modelo en el bucle y se integra con spaCy más estrechamente que cualquier otra herramienta de esta página. Cubre clasificación, tramos, relaciones con su receta rel.manual y correferencia con coref.manual, y llega a los LLM mediante spacy-llm. Las tareas se definen en recetas de Python. Es la única herramienta de pago de esta página.

Label Studio

El soporte de texto de Label Studio es una parte de una herramienta que también maneja imágenes, audio, vídeo y series temporales. Su etiqueta Relations vincula regiones etiquetadas. La Community Edition es gratuita y de código abierto. El acuerdo, la revisión contra datos de referencia y los paneles de calidad están en los planes de pago, empezando por Starter a 99 $ al mes.

doccano

doccano es la más rápida de configurar para texto. Sus tipos de proyecto son clasificación de documentos, etiquetado de secuencias, secuencia a secuencia, detección de intenciones con relleno de slots y voz a texto. Los proyectos de etiquetado de secuencias pueden permitir tramos solapados y relaciones. No tiene anotación de correferencia ni de eventos, ni métricas de acuerdo.

brat

Muchos corpus de PLN se construyeron en brat, y su formato standoff cubre entidades, eventos n-arios, relaciones binarias, conjuntos de equivalencia, atributos y normalizaciones. La última versión es la v1.3, de noviembre de 2012, y el último commit en master es de octubre de 2021. Su servidor independiente importa el módulo cgi de Python, que se eliminó en Python 3.13, así que no arranca en un Python actual sin un parche. Leer un corpus de brat sigue valiendo la pena. Empezar un proyecto nuevo en brat es más difícil de justificar.

Argilla

Argilla se centra en datos de retroalimentación y preferencias para modelos de lenguaje y se integra con Hugging Face Datasets. Admite clasificación de textos, clasificación de tokens y evaluación de texto generado. Su repositorio indica ahora que los autores originales han pasado a otros proyectos y que habrá correcciones de errores y parches, pero no funciones nuevas.

Sistemas de investigación

Varios sistemas de anotación se han publicado como demostraciones de sistemas de ACL. Thresh configura tareas de evaluación de texto de grano fino en YAML, para resumen, simplificación y traducción automática. GATE Teamware 2 se ocupa de la clasificación de documentos con formación de anotadores y control de calidad.

Comprobado en la documentación, la página de precios y el repositorio de cada proyecto en agosto y septiembre de 2026.

Mover un corpus entre herramientas

Desde la versión 2.9, Potato importa standoff de brat, JSONL de doccano, archivos db-out de Prodigy y CoNLL, así que un proyecto empezado en cualquiera de ellas puede continuar en Potato. Las etiquetas existentes llegan como preanotaciones. Las relaciones y los eventos de brat aparecen en los avisos de la importación y no se importan. Consulta Importar un proyecto.

En sentido contrario, Potato exporta CoNLL-2003, CoNLL-U, datasets de Hugging Face, JSONL, CSV y Parquet. Consulta Exportar anotaciones para ML.

Una tarea de entidades y relaciones en Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link traza vínculos con tipo entre tramos del esquema entities, y allowed_source_labels impide que un anotador vincule tipos de entidad equivocados. Extracción de relaciones y eventos trata los eventos y las relaciones n-arias, y Resolución de correferencia trata las cadenas.

Lo que Potato no hace con texto

• Su vinculación con bases de conocimiento es más sencilla que la de INCEpTION.
• No actualiza un modelo de spaCy mientras los anotadores trabajan, como pueden hacer las recetas de Prodigy.
• No tiene exportador de spaCy. Convierte desde CoNLL o JSONL.
• Al importar desde brat se omiten las relaciones y los eventos.

Preguntas frecuentes

¿Qué herramienta de anotación de texto debería usar?

Para un único proyecto de NER o de clasificación, doccano es la que menos trabajo da. Para anotación lingüística que vincula entidades con una base de conocimiento, INCEpTION es la más completa. Para un estudio con varios anotadores por ítem, trabajadores de crowdsourcing y una cifra de acuerdo que informar, Potato incluye todo eso sin plan de pago.

¿Qué herramienta de anotación de texto conviene para un estudio académico?

Si el estudio recluta anotadores, los filtra y los forma, y tiene que informar del acuerdo, Potato cubre cada uno de esos pasos en su versión gratuita. INCEpTION encaja mejor cuando la propia anotación es estructura lingüística compleja, como vincular entidades a una base de conocimiento. Prodigy conviene a un equipo pequeño que quiera entrenar un modelo de spaCy mientras anota.

¿Qué herramientas de anotación de texto funcionan con Prolific o Amazon Mechanical Turk?

Potato integra Prolific, junto con SONA y otros paneles. Mechanical Turk cerró el 30 de septiembre de 2026, así que ya ninguna herramienta puede reclutar allí. Potato lee el ID del participante desde la URL, muestra un código de finalización o lo redirige al terminar la tarea, y puede gestionar un estudio de Prolific a través de la API de Prolific. INCEpTION tiene enlaces de invitación experimentales para anotadores invitados, que se pueden compartir con trabajadores de crowdsourcing, pero no documenta la gestión de códigos de finalización. Prodigy, Label Studio y doccano no documentan ninguna integración de crowdsourcing.

¿Hay una alternativa de código abierto a Prodigy?

Potato, INCEpTION y doccano son gratuitas y de código abierto. Potato se configura en YAML donde Prodigy usa recetas de Python, e importa los archivos db-out de Prodigy, así que las anotaciones ya recogidas en Prodigy se conservan.

¿Qué herramientas de anotación de texto informan del acuerdo entre anotadores?

Potato e INCEpTION lo hacen en sus versiones gratuitas, y la licencia de Prodigy incluye sus recetas metric.iaa. Label Studio reserva el acuerdo para sus planes de pago, y doccano no tiene. En tareas de spans, comprueba si la medida tiene en cuenta los límites y el azar. El α de unitización de Krippendorff y la γ hacen ambas cosas, y también el α sobre etiquetas por carácter, que es lo que Potato informa junto a una γ simplificada. El F1 por pares no corrige por azar.

¿Se sigue manteniendo brat?

No. Su última versión fue la v1.3, en noviembre de 2012, y su servidor independiente no arranca en Python 3.13 sin un parche. Desde la versión 2.9, Potato importa corpus de brat y conserva las entidades existentes como preanotaciones.

¿Puedo anotar correferencia con una herramienta gratuita?

Sí. INCEpTION tiene capas de cadena para la correferencia, y Potato tiene un esquema coreference que agrupa menciones en cadenas. doccano no admite correferencia.

Lecturas adicionales

• Herramientas de anotación con IA, comparadas, todos los tipos de datos en una página
• Herramientas de anotación de audio comparadas
• Herramientas de anotación de imágenes comparadas
• Herramientas de anotación de vídeo comparadas
• Herramientas de evaluación de agentes de IA comparadas
• Herramientas de evaluación de modelos del mundo y episodios de robots comparadas
• Cómo realizar un estudio de crowdsourcing
• Anotación de tramos
• Reconocimiento de entidades nombradas