Skip to content

논문 모드

주석 프로젝트를 명령 한 번으로 컴파일 가능한 LaTeX 데이터셋 리포트로 바꿉니다. 라벨 분포, 올바른 인용이 붙은 일치도 통계, 어노테이터 표, 소요 시간, 한계까지 포함합니다.

v2.7.0의 새 기능

데이터셋 논문의 마무리는 늘 똑같습니다. 여기저기 흩어진 출력 파일에서 어노테이터 수, 일치도 통계, 라벨 분포, 소요 시간을 다시 짜맞춘 다음 손으로 LaTeX 서식을 입히는 일입니다. 논문 모드는 이를 명령 한 번으로 처리합니다.

bash
python -m potato.paper config.yaml -o paper_export

명령 한 번으로 프로젝트가 컴파일 가능한 LaTeX 데이터셋 리포트로 바뀝니다 — 방법 절까지 전부 포함해서.

출력은 완전히 오프라인에서 만들어집니다. LLM도, 서버도, 네트워크도 필요 없습니다.

text
paper_export/
├── paper.tex        # compilable standalone; every section cut-paste-able
├── paper.bib        # citations for every metric used (+ Potato)
├── tables/*.csv     # each table as CSV, for your own styling
└── summary.json     # every computed number, machine-readable

paper.tex는 그대로 컴파일되며, 모든 단락과 표가 마커 사이에 놓여 있어 원고에 절 단위로 바로 옮겨 넣을 수 있습니다.

latex
%% === BLOCK: paragraph-annotation-methods ===
Annotators spent a median of 42 seconds per item (12.3 person-hours in total).
Inter-annotator agreement for \emph{politeness}, measured by Krippendorff's
$\alpha$ (nominal) \citep{krippendorff2004content} over the 214
multiply-annotated units, was $\alpha = 0.712$ (tentative agreement). ...
%% === END BLOCK: paragraph-annotation-methods ===

생성되는 내용

블록내용
paragraph-dataset-description항목 수, 스킴, 라벨, 어노테이터 및 라벨 총계. 데이터 절에 바로 쓸 수 있습니다
paragraph-annotation-methods소요 시간, 스킴별 Krippendorff α, 쌍별 Cohen κ의 평균이며 모두 인용이 붙습니다
table-distribution-<scheme>스킴별 booktabs 라벨 분포 표이며 합계가 포함됩니다
table-annotators어노테이터별 항목 수, 라벨 수, 항목당 중앙값 초
table-agreement스킴별 α와 κ 평균, 그리고 Krippendorff의 0.667 및 0.8 임계값에 견준 해석
paragraph-limitations실제 수치를 곁들인 유의 사항. 단일 주석 단위, α가 낮은 스킴, 어노테이터 풀이 작은 경우

CLI 옵션

플래그기본값설명
-o, --output-dirpaper_export리포트를 쓸 위치
--no-anonymize꺼짐실제 사용자명을 유지합니다. 기본적으로 어노테이터는 A1..An이 됩니다

방법 관련 참고 사항

  • 논문 모드는 구성 파일을 기준으로 경로를 해석해 {output_annotation_dir}/<user>/user_state.json을 직접 읽습니다. 그래서 서버를 띄우지 않고도 보관된 프로젝트에서 동작합니다.
  • Krippendorff α(명목형)는 관리자 대시보드와 같은 구현인 simpledorff로 주석이 둘 이상 달린 단위에 대해 계산합니다. 쌍별 Cohen κ는 공유 항목이 둘 이상인 어노테이터 쌍마다 계산합니다.
  • 범주형 스킴(radio, likert, multiselect, select, bws)은 분포와 일치도를 얻습니다. multiselect 일치도는 (항목, 라벨) 체크박스 하나하나를 이진 부호화된 단위로 취급합니다. span과 textbox 스킴은 다루지 않는 것으로 표시됩니다.
  • 소요 시간은 행동 로그에서 가져오며, total_time_ms를 사용하고 없으면 상호작용 타임스탬프 구간으로 대체하되 한 시간이 넘는 공백은 무시합니다.

추가 자료