Skip to content

가이드

도구에 구애받지 않는 주석 실무 해설: 스킴 설계, 주석자 간 일치도, 크라우드소싱, 에이전트 평가. 실제 예제 포함.

이 문서들은 레퍼런스가 아니라 해설입니다. 각 문서는 특정 도구에 국한되지 않는 주석 실무 질문에 먼저 답하고, 그다음 Potato를 실제 예제로 사용합니다.

몇 개의 묶음으로 나뉩니다. 첫 묶음은 데이터에 라벨을 붙이기 전에 내리는 결정을 다룹니다. 무엇을 주석할지, 가이드라인을 어떻게 쓸지, 데이터가 어떤 형태여야 하는지입니다. 더 큰 묶음은 개별 주석 종류를 다루며, 개체명과 상호참조부터 오디오, 비디오, 이미지 분할, 3D 포인트 클라우드까지 이어집니다. 세 번째는 측정입니다. 일치도, 조정, 표본 크기, 그리고 주석자들의 의견이 갈릴 때의 대처입니다. 나머지는 LLM과 에이전트 출력 평가, 그리고 유급 주석자를 쓰는 연구 운영을 다룹니다.

주석이 처음이라면 데이터 어노테이션이란?부터, 이미 주석이 있고 품질을 보고해야 한다면 주석자 간 일치도 설명부터 시작하세요.