AI 자동 레이블링 비교: Label Studio, CVAT, Labelbox, Prodigy, Argilla, Potato
주석 도구 여섯 개를 모델과 LLM 레이블이 프로젝트에 들어오는 방식, 사람이 이를 검토하는 방식, 기계 레이블 오류율에 관해 보고하는 내용 기준으로 비교합니다.
여기서 비교하는 도구 여섯 개는 모두 모델 레이블을 가져오거나 생성해서 사람에게 검토를 맡길 수 있으므로, 이 비교는 각 도구가 유지하는 레이블에 관해 무엇을 측정하는지에 초점을 맞춥니다. 2026년 10월에 우리가 읽은 문서에서, 이 도구들은 정답 데이터 대비 또는 주석자 간의 정확도, 정밀도, 재현율, 일치도를 점추정값으로 보고하며, 기계 레이블 품질에 대한 구간이나 오류 상한을 설명하는 도구는 없습니다.
여기서 자동 레이블링이란 모델이 탐지기든 분류기든 작업을 프롬프트로 받은 LLM이든, 사람보다 먼저 또는 사람 대신 항목에 모델의 레이블을 붙이는 모든 기능을 뜻합니다. 이 비교에 나오는 모든 도구에는 어떤 형태로든 이 기능이 있으며, 도구를 고르기 전에 물어볼 만한 세 가지 질문에서 서로 다릅니다.
- 기계 레이블이 프로젝트에 어떻게 들어오는가. 예측으로 가져오는지, 연결된 모델이 생성하는지, 도구 안의 LLM 프롬프트가 만들어 내는지.
- 사람이 이를 어떻게 검토하는가. 그리고 레이블을 다는 동안 모델의 답을 보는가.
- 도구가 기계 레이블이 얼마나 자주 틀리는지에 관해, 어떤 기준에 대해, 어떤 불확실성과 함께 보고하는가.
아래 각 절은 2026년 10월 기준 해당 도구의 자체 문서에서 가져왔으며, 인용한 곳에는 링크를 달았습니다. 문서에서 무언가를 찾지 못했을 때는 그렇다고 밝힙니다. 기능이 문서화되지 않은 채로 존재할 수도 있기 때문입니다.
Label Studio
Label Studio는 모델을 웹 서버로 감싸는 SDK인 ML 백엔드를 통해 모델을 연결하고, 예측을 model_version과 score가 붙은 predictions 키 아래로 가져옵니다. 가져온 예측은 수정할 수 없으며, 점수는 예측 전체에 적용됩니다. Enterprise와 Starter Cloud 에디션에는 LLM 프롬프트로 예측을 생성하고 점수를 매기는 Prompts가 추가되며, ML 페이지는 "LLM 지원 자동 레이블링 및 모델 평가"를 위한 Enterprise 기능을 설명합니다.
검토는 Enterprise 워크플로입니다. 품질 가이드는 "주석 검토 워크플로는 Label Studio Enterprise Edition에서만 사용할 수 있다"고 밝히며, 수락, 거부, 수정 후 수락 동작과 모델 신뢰도순으로 작업을 정렬하는 옵션이 있습니다. 검토 샘플링 설정은 확률적 비율로 적용되며, 불확실성 샘플링은 신뢰도가 가장 낮은 예측을 먼저 사람에게 보냅니다.
품질 측면에서 Label Studio Enterprise는 주석과 모델 예측을 정답 데이터와 비교해 "0과 1 사이의 정확도 점수를 계산"하며, 일치도 행렬에 모델 버전을 포함할 수 있습니다. Prompts는 정답 데이터 대비 전체 정확도와 F1, 평가한 작업 수, 추론 비용을 각각 점수 하나로 보고합니다. Prompts 개요는 "프롬프트 평가에 쓸 데이터가 많을수록 결과를 더 확신할 수 있다"고 덧붙이지만, 구간은 제시하지 않습니다.
CVAT
CVAT의 자동 주석은 탐지 모델이나 재식별 모델로 데이터에 사전 주석을 달며, 신뢰도 임계값은 선택 사항입니다. 어떤 모델을 쓸 수 있는지는 에디션에 따라 다릅니다. AI 모델 표에는 Community 에디션용 Nuclio 함수와, CVAT Online 및 Enterprise용 Hugging Face와 Roboflow의 서드파티 모델 및 네이티브 AI 에이전트 함수가 나와 있습니다.
사람의 검토를 위해 CVAT에는 문제를 보고하는 검토 모드와 검증 단계가 있고, 합의(consensus) 기능은 여러 주석자의 작업을 01 일치도 점수와 함께 하나의 결과로 병합합니다. CVAT Online과 Enterprise용으로 표시된 CVAT의 정답 데이터 및 허니팟 품질 관리는 주석 작업을 정답 데이터 작업과 비교해 정확도, 정밀도, 재현율을 보고합니다. 문서는 이 방법을 작은 일부로 전체 데이터셋의 품질을 추정하는 통계적 방법으로 설명하며, "일반적으로 데이터의 515%면 충분하다"고 말합니다. 품질 보고서는 작업 안의 모든 잡(job)을 정답 데이터 잡과 비교하므로, 자동 주석 결과는 그 잡에 포함된 내용의 일부로서만 채점되며, 우리는 기계 주석과 사람 주석을 분리하는 보고서를 찾지 못했습니다.
Labelbox
Labelbox는 사전 레이블을 가져오며, 이를 사람이 검토하도록 "Labelbox 프로젝트로 프로그래밍 방식으로 가져온 제안 주석"이라고 설명합니다. Foundry 기능은 모델로 레이블을 생성하며, "레이블을 제안하기 전에 모델이 얼마나 확신해야 하는지 알려 주는" 신뢰도 임계값이 있습니다. Foundry는 Educational 구독을 제외한 모든 요금제에서 쓸 수 있습니다.
Foundry 예측 사용 가이드는 예측을 사람에게 보내는 두 가지 방법을 제안합니다. 하나는 0.75 미만을 모두 검토로 보내는 식으로 신뢰도에 따라 거르는 방법입니다. 다른 하나는 "검토를 위해 예측의 무작위 표본"을 보내는 방법으로, 이는 "체계적인 문제를 발견하고 전체 정확도 지표를 계산하는 데 도움이 된다"고 합니다. Labelbox의 모델 지표는 예측과 정답 데이터로부터 0에서 1까지의 임계값에서 정밀도, 재현율, F1, IoU, 혼동 행렬을 계산합니다. 지원 중단 페이지는 Model experiments 기능을 7월 15일부로 더 이상 쓸 수 없다고 하면서 연도는 밝히지 않으며, 지표 가이드는 여전히 사용자 정의 지표를 Experiment 유형으로 보내라고 안내하므로, 모델 실행 지표를 지금도 자신의 워크스페이스에서 쓸 수 있는지 확인하세요.
Prodigy
Prodigy는 루프 안의 모델을 중심으로 만들어졌습니다. ner.correct 같은 레시피는 사람이 고칠 수 있도록 spaCy 모델의 예측을 보여 주고, ner.teach와 textcat.teach는 모델이 가장 확신하지 못하는 예시를 우선하며, ner.model-annotate는 모델의 레이블을 마치 주석자가 단 것처럼 기록합니다. spacy-llm 기반 LLM 레시피는 같은 수정 워크플로를 위한 레이블을 만들어 내며, 문서는 "LLM 주석은 틀릴 수 있다. 주석을 선별하려면 여전히 루프 안에 있어야 한다"고 경고합니다.
review 레시피는 주석자 간 충돌을 하나의 최종 주석으로 해소하고, metric.iaa.* 레시피는 주석자 간 백분율 일치도, Krippendorff의 alpha, Gwet의 AC2를 보고합니다. 문서는 모델의 model-annotate 레이블을 그 일치도 수치에 포함할지에 대해서는 말하지 않습니다. 프롬프트나 모델을 비교할 때는 ab.llm.tournament가 사람에게 출력 쌍을 판단하게 하고 Glicko 평점 체계로 조합의 순위를 매깁니다. Prodigy 가격 페이지에는 설치 프로그램, 웹 애플리케이션, 플러그인이 동일한 Personal 라이선스와 Company 라이선스가 나와 있으며, OpenID Connect를 쓰는 SSO는 Company 라이선스에만 추가됩니다.
Argilla
Argilla는 모델 출력을 레코드에 제안(suggestion)으로 붙이며, 각 제안에는 점수, 제안을 만든 에이전트, 그리고 model 또는 human 유형이 있습니다. 주석 화면에서 제안은 반짝이 아이콘이 표시된 미리 채운 응답으로 나타나며, 데이터셋에 신뢰도 점수가 있으면 함께 표시됩니다. Argilla 1.x에는 응답과 제안을 비교해 정확도, F1, Krippendorff의 alpha 같은 지표를 보고하는 metrics 모듈이 있었습니다. Argilla 2.x 문서에서는 일치도나 모델 지표 보고 기능을 찾지 못했습니다. LLM 판정을 포함한 합성 데이터와 AI 피드백은 별도의 distilabel 라이브러리에 있습니다.
Potato
Potato는 ai_support를 통해 LLM과 비전 모델을 연결하며, 버전 2.9부터 모델이 처음 답한 내용(pre_annotation_seeds)을 주석자가 저장한 내용(final_annotation) 옆에 기록하므로 수락률을 자신의 데이터에서 얻을 수 있습니다. icl_labeling은 주석자들이 이미 일치한 주석을 예시로 LLM에 주고, 나머지에 레이블을 달게 한 뒤, 그 레이블의 표본을 블라인드 검증을 위해 다시 사람에게 보내며, 정확도를 스키마별로 추적합니다.
모델이나 LLM 판정자의 경우, Potato의 판정자 보정(judge calibration)은 모델의 레이블을 주석자가 볼 수 없는 곳에 두고, 블라인드 사람 레이블링을 위해 무작위 또는 층화 표본을 뽑으며, 사람 골드 레이블 대비 정확도, 사람-모델, 모델-모델, 사람-사람 쌍에 대한 Cohen의 kappa, Krippendorff의 alpha, 그리고 기대 보정 오차와 Brier 점수로 나타낸 보정 정도를 보고합니다. LLM 판정자 일치도에서 설명하듯, 모델의 kappa를 사람 주석자들 사이의 kappa와 비교하면 모델이 또 한 명의 주석자만큼 잘하는지 알 수 있습니다. 솔로 모드에서는 전문가 한 명이 LLM과 나란히 레이블을 달고, 둘의 일치도가 임계값을 넘으면 나머지 코퍼스를 LLM에 넘깁니다. 다른 도구들처럼 이 기능들도 점추정값을 보고하며, 오류율의 구간은 마지막 절에서 설명하듯 도구 밖에서 계산해야 합니다.
세 가지 질문으로 본 도구 여섯 개
표는 2026년 10월 기준 각 프로젝트가 게시한 문서를 바탕으로 도구 여섯 개를 세 가지 질문에 따라 비교합니다.
| 도구 | 기계 레이블이 들어오는 방식 | 기계 레이블에 대한 사람의 검토 | 기계 레이블에 대해 보고하는 품질 |
|---|---|---|---|
| Label Studio | ML 백엔드, 가져온 예측, Prompts(Enterprise, Starter Cloud) | Enterprise의 검토 워크플로 | 정답 데이터 대비 정확도, 모델을 포함한 일치도 행렬(Enterprise) |
| CVAT | 탐지기를 이용한 자동 주석, 에디션에 따른 서드파티 및 에이전트 모델 | 검토 모드, 검증 단계, 합의 | 주석 잡에 대한 정답 데이터 품질 보고서(Online, Enterprise) |
| Labelbox | 사전 레이블 가져오기, Foundry | 신뢰도 필터, 검토로 보내는 무작위 표본 | 모델 실행에서 얻는 정밀도, 재현율, F1, IoU |
| Prodigy | spaCy 및 LLM 레시피, model-annotate | 수정 레시피, review | 주석자 간 일치도 |
| Argilla | 점수가 붙은 제안 | 미리 채운 응답 | 2.x 문서에서 찾지 못함 |
| Potato | ai_support, icl_labeling, 솔로 모드, 판정자 보정 | 검증 표본, 블라인드 판정자 보정 표본 | 블라인드 표본 대비 kappa, alpha, ECE, Brier 점수 |
어떤 도구에서든 기계 레이블 확인하기
어떤 도구를 쓰든, 근거를 댈 수 있는 수치는 같은 세 단계에서 나옵니다. 사람이 확인할 항목은 신뢰도가 낮은 쪽에서가 아니라 무작위로 뽑으세요. 가장 어려운 항목의 표본은 나머지 항목의 오류율에 대해 아무것도 말해 주지 않기 때문입니다. 사람이 모델의 답을 보지 않은 채 그 표본에 레이블을 달게 하세요. 보이는 제안은 답을 그쪽으로 끌어당기기 때문입니다. 그런 다음 Wilson 구간 같은 이항 비율 신뢰구간을 써서 표본의 오류율을 신뢰구간과 함께 보고하세요. 그래야 독자가 확인한 레이블 200개가 여러분의 주장을 뒷받침하는지 볼 수 있습니다.
Labelbox의 무작위 표본 라우팅, CVAT의 무작위로 고른 정답 데이터 프레임(Online 및 Enterprise), 층화도 가능한 Potato의 판정자 보정 표본은 이미 무작위로 뽑습니다. 다른 도구에서는 항목 ID의 무작위 부분집합을 내보내, 예측을 숨긴 별도의 작업으로 배정하고, 구간은 도구 밖에서 계산하세요.
더 읽어보기
- 더 폭넓은 기능 비교를 다루는 주석 도구 비교
- 사람이 제안을 검토할 때의 자동화 편향을 다루는 LLM 사전 주석
- 판정자를 사람들끼리의 일치도와 비교하는 방법을 다루는 LLM 판정자 일치도