Skip to content

Modo artigo (Paper Mode)

Transforme um projeto de anotação em um relatório de conjunto de dados em LaTeX compilável com um único comando. Distribuições de rótulos, estatísticas de concordância com as citações corretas, tabelas de anotadores, tempos e limitações.

Novo na v2.7.0

Todo artigo sobre um conjunto de dados termina do mesmo jeito: reconstruir contagens de anotadores, estatísticas de concordância, distribuições de rótulos e tempos a partir de arquivos de saída espalhados e depois formatá-los à mão em LaTeX. O modo artigo faz isso com um único comando.

bash
python -m potato.paper config.yaml -o paper_export

Um comando transforma o projeto em um relatório de conjunto de dados em LaTeX compilável, com seção de métodos e tudo.

A saída funciona inteiramente offline. Sem LLM, sem servidor, sem rede.

text
paper_export/
├── paper.tex        # compilable standalone; every section cut-paste-able
├── paper.bib        # citations for every metric used (+ Potato)
├── tables/*.csv     # each table as CSV, for your own styling
└── summary.json     # every computed number, machine-readable

O paper.tex compila como está, e cada parágrafo e cada tabela ficam entre marcadores, para que você leve seções inteiras direto para um manuscrito:

latex
%% === BLOCK: paragraph-annotation-methods ===
Annotators spent a median of 42 seconds per item (12.3 person-hours in total).
Inter-annotator agreement for \emph{politeness}, measured by Krippendorff's
$\alpha$ (nominal) \citep{krippendorff2004content} over the 214
multiply-annotated units, was $\alpha = 0.712$ (tentative agreement). ...
%% === END BLOCK: paragraph-annotation-methods ===

O que ele gera

BlocoConteúdo
paragraph-dataset-descriptionContagens de itens, esquemas, rótulos, totais de anotadores e de rótulos, prontos para uma seção de Dados
paragraph-annotation-methodsTempos, α de Krippendorff por esquema, κ de Cohen médio par a par, tudo com citação
table-distribution-<scheme>Uma tabela booktabs com a distribuição de rótulos de cada esquema, com totais
table-annotatorsItens, rótulos e mediana de segundos por item de cada anotador
table-agreementα, κ médio e interpretação por esquema em relação aos limiares 0.667 e 0.8 de Krippendorff
paragraph-limitationsRessalvas com números reais: unidades com uma única anotação, esquemas com α baixo, grupos pequenos de anotadores

Opções da CLI

FlagPadrãoDescrição
-o, --output-dirpaper_exportOnde escrever o relatório
--no-anonymizedesativadoMantém os nomes de usuário reais; por padrão, os anotadores viram A1..An

Notas de método

  • O modo artigo lê {output_annotation_dir}/<user>/user_state.json diretamente, resolvido em relação ao arquivo de configuração, então funciona em projetos arquivados sem precisar subir um servidor.
  • O α de Krippendorff (nominal) é calculado com simpledorff, a mesma implementação usada pelo painel do administrador, sobre as unidades com duas ou mais anotações. O κ de Cohen par a par é calculado para cada par de anotadores com dois ou mais itens em comum.
  • Esquemas categóricos (radio, likert, multiselect, select, bws) recebem distribuições e concordância. Na concordância de multiselect, cada caixa (item, rótulo) é tratada como uma unidade codificada em binário. Esquemas span e textbox são listados como não cobertos.
  • Os tempos vêm dos logs comportamentais, usando total_time_ms e recorrendo aos intervalos entre timestamps de interação, ignorando lacunas maiores que uma hora.

Leitura adicional