Herramientas de anotación de texto comparadas: PLN de código abierto y de pago

Name: Potato
Author: Potato

Compara Potato, INCEpTION, Prodigy, Label Studio, doccano, brat y Argilla para NER, relaciones, correferencia y clasificación: licencias, precios y métricas de acuerdo.

Una herramienta de anotación de texto muestra documentos a los anotadores y registra lo que marcan: una etiqueta para todo el texto, tramos resaltados como las entidades nombradas y vínculos entre tramos. Potato, INCEpTION, doccano y la Community Edition de Label Studio se pueden alojar gratis en servidores propios, y todas manejan reconocimiento de entidades nombradas y relaciones. Se diferencian en la correferencia, en la vinculación con bases de conocimiento y en si miden el acuerdo entre anotadores sin un plan de pago. Prodigy es la opción de pago. brat y Argilla ya no añaden funciones.

La mayoría de las tareas de texto tienen una de tres formas. La clasificación de textos da una etiqueta al documento entero. El reconocimiento de entidades nombradas y otras tareas de tramos marcan fragmentos del texto. La extracción de relaciones y la resolución de correferencia vinculan tramos entre sí. Todas las herramientas de esta página manejan tramos, y es al vincularlos donde más se diferencian.

Esta página trata solo el texto. Herramientas de anotación con IA, comparadas cubre todos los tipos de datos en una sola página.

¿Qué herramientas de anotación de texto vale la pena comparar?

Herramienta	Licencia	Precio	Adecuada para
Potato	GPL-3.0	Gratis	Estudios con varios anotadores por ítem, en los que hay que informar del acuerdo
INCEpTION	Apache-2.0	Gratis	Anotación lingüística con vinculación a bases de conocimiento
Prodigy	Propietaria	390 $, o 490 $ por puesto con un mínimo de cinco puestos	Usuarios de spaCy que quieren anotación programable con un modelo en el bucle
Label Studio	Apache-2.0 (Community Edition)	Gratis; el plan Starter cuesta 99 $ al mes más 49 $ por usuario adicional	Equipos que anotan texto junto con imágenes, audio o vídeo
doccano	MIT	Gratis	Poner en marcha rápido un proyecto de NER o de clasificación
brat	MIT	Gratis	Leer o ampliar un corpus ya anotado en brat
Argilla	Apache-2.0	Gratis	Datos de retroalimentación y preferencias en el ecosistema de Hugging Face

Funciones lado a lado

	Potato	INCEpTION	Prodigy	Label Studio	doccano
Clasificación de documentos	Sí	Sí	Sí	Sí	Sí
Tramos (NER)	Sí	Sí	Sí	Sí	Sí
Relaciones entre tramos	Sí (`span_link`)	Sí	Sí	Sí (etiqueta `Relations`)	Sí, como opción del proyecto
Métricas de acuerdo	Sí, gratis	Sí, gratis	Sí, en el producto de pago	Solo en planes de pago	No
Sugerencias de modelos o LLM	13 tipos de endpoint	Recomendadores, más soporte experimental de LLM	spacy-llm	Backend de ML	Autoetiquetado mediante una API externa
Autoalojable	Sí	Sí	Sí	Sí	Sí

Acuerdo en etiquetas de texto

Dos anotadores que marcan la misma entidad rara vez coinciden en sus límites exactos, y una métrica que compara etiquetas token a token cuenta cada diferencia de límite como un desacuerdo sobre la etiqueta. Cómo puntúa una herramienta el acuerdo sobre tramos importa tanto como que lo informe.

Potato informa κ a nivel de token sobre etiquetas BIO, F1 de tramos con coincidencia exacta y parcial, el α de Krippendorff en su forma de unitización y γ de Mathet et al. (2015). Las dos últimas puntúan dónde empieza y termina un tramo además de cómo se llamó. Consulta medir el acuerdo en tramos.
INCEpTION calcula la κ de Cohen, la κ de Fleiss y el α de Krippendorff, y tiene una interfaz de curación para resolver desacuerdos.
Prodigy incluye el α de Krippendorff y el AC2 de Gwet, y una receta review para la adjudicación.
Label Studio reserva el acuerdo para sus planes de pago. Las métricas que figuran para su edición Enterprise son coincidencia exacta, diferencia numérica, IoU y solapamiento de tramos.
doccano no tiene métricas de acuerdo.

Para el caso general, consulta El acuerdo entre anotadores, explicado.

Las herramientas en detalle

INCEpTION

INCEpTION, de la TU Darmstadt, sucedió a WebAnno y es la comparación más cercana para el trabajo lingüístico. Tiene capas de relación, capas de cadena para la correferencia, anotación a nivel de documento y rasgos de concepto que vinculan una anotación con una entrada de una base de conocimiento como Wikidata o DBpedia. En la vinculación con bases de conocimiento va por delante de Potato. Sus recomendadores sugieren anotaciones, con aprendizaje activo integrado. Es una aplicación Java y cuesta más desplegarla que las demás herramientas de esta página. El sistema se describe en Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy, de Explosion, está construida en torno a la anotación con un modelo en el bucle y se integra con spaCy más estrechamente que cualquier otra herramienta de esta página. Cubre clasificación, tramos, relaciones con su receta rel.manual y correferencia con coref.manual, y llega a los LLM mediante spacy-llm. Las tareas se definen en recetas de Python. Es la única herramienta de pago de esta página.

Label Studio

El soporte de texto de Label Studio es una parte de una herramienta que también maneja imágenes, audio, vídeo y series temporales. Su etiqueta Relations vincula regiones etiquetadas. La Community Edition es gratuita y de código abierto. El acuerdo, la revisión contra datos de referencia y los paneles de calidad están en los planes de pago, empezando por Starter a 99 $ al mes.

doccano

doccano es la más rápida de configurar para texto. Sus tipos de proyecto son clasificación de documentos, etiquetado de secuencias, secuencia a secuencia, detección de intenciones con relleno de slots y voz a texto. Los proyectos de etiquetado de secuencias pueden permitir tramos solapados y relaciones. No tiene anotación de correferencia ni de eventos, ni métricas de acuerdo.

brat

Muchos corpus de PLN se construyeron en brat, y su formato standoff cubre entidades, eventos n-arios, relaciones binarias, conjuntos de equivalencia, atributos y normalizaciones. La última versión es la v1.3, de noviembre de 2012, y el último commit en master es de octubre de 2021. Su servidor independiente importa el módulo cgi de Python, que se eliminó en Python 3.13, así que no arranca en un Python actual sin un parche. Leer un corpus de brat sigue valiendo la pena. Empezar un proyecto nuevo en brat es más difícil de justificar.

Argilla

Argilla se centra en datos de retroalimentación y preferencias para modelos de lenguaje y se integra con Hugging Face Datasets. Admite clasificación de textos, clasificación de tokens y evaluación de texto generado. Su repositorio indica ahora que los autores originales han pasado a otros proyectos y que habrá correcciones de errores y parches, pero no funciones nuevas.

Sistemas de investigación

Varios sistemas de anotación se han publicado como demostraciones de sistemas de ACL. Thresh configura tareas de evaluación de texto de grano fino en YAML, para resumen, simplificación y traducción automática. GATE Teamware 2 se ocupa de la clasificación de documentos con formación de anotadores y control de calidad.

Comprobado en la documentación, la página de precios y el repositorio de cada proyecto en agosto y septiembre de 2026.

Mover un corpus entre herramientas

Desde la versión 2.9, Potato importa standoff de brat, JSONL de doccano, archivos db-out de Prodigy y CoNLL, así que un proyecto empezado en cualquiera de ellas puede continuar en Potato. Las etiquetas existentes llegan como preanotaciones. Las relaciones y los eventos de brat aparecen en los avisos de la importación y no se importan. Consulta Importar un proyecto.

En sentido contrario, Potato exporta CoNLL-2003, CoNLL-U, datasets de Hugging Face, JSONL, CSV y Parquet. Consulta Exportar anotaciones para ML.

Una tarea de entidades y relaciones en Potato

yaml

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link traza vínculos con tipo entre tramos del esquema entities, y allowed_source_labels impide que un anotador vincule tipos de entidad equivocados. Extracción de relaciones y eventos trata los eventos y las relaciones n-arias, y Resolución de correferencia trata las cadenas.

Lo que Potato no hace con texto

Su vinculación con bases de conocimiento es más sencilla que la de INCEpTION.
No actualiza un modelo de spaCy mientras los anotadores trabajan, como pueden hacer las recetas de Prodigy.
No tiene exportador de spaCy. Convierte desde CoNLL o JSONL.
Al importar desde brat se omiten las relaciones y los eventos.

Preguntas frecuentes

¿Cuál es la mejor herramienta gratuita de anotación de texto?

Para un único proyecto de NER o de clasificación, doccano es la que menos trabajo da. Para anotación lingüística que vincula entidades con una base de conocimiento, INCEpTION es la más completa. Para un estudio con varios anotadores por ítem, trabajadores de crowdsourcing y una cifra de acuerdo que informar, Potato incluye todo eso sin plan de pago.

¿Hay una alternativa de código abierto a Prodigy?

Potato, INCEpTION y doccano son gratuitas y de código abierto. Potato se configura en YAML donde Prodigy usa recetas de Python, e importa los archivos db-out de Prodigy, así que las anotaciones ya recogidas en Prodigy se conservan.

¿Qué herramientas de anotación de texto informan del acuerdo entre anotadores?

Potato e INCEpTION lo hacen en sus versiones gratuitas, y Prodigy en su producto de pago. Label Studio reserva el acuerdo para sus planes de pago, y doccano no tiene ninguno. En las tareas de tramos, comprueba si la métrica tiene en cuenta los desacuerdos de límites, como hacen el α de unitización de Krippendorff y γ.

¿Se sigue manteniendo brat?

No. Su última versión fue la v1.3, en noviembre de 2012, y su servidor independiente no arranca en Python 3.13 sin un parche. Desde la versión 2.9, Potato importa corpus de brat y conserva las entidades existentes como preanotaciones.

¿Puedo anotar correferencia con una herramienta gratuita?

Sí. INCEpTION tiene capas de cadena para la correferencia, y Potato tiene un esquema coreference que agrupa menciones en cadenas. doccano no admite correferencia.