오픈소스 주석 도구 비교

유일한 최고의 주석 도구란 없습니다. 올바른 선택은 다루는 모달리티, 예산, 에이전트/LLM 평가가 필요한지 여부, 그리고 얼마나 많은 설정 작업을 감내할 수 있는지에 따라 달라집니다. 이 가이드는 주요 오픈소스 선택지를 공정하게 비교해, 프로젝트에 맞는 것을 고를 수 있도록 합니다.

어떤 오픈소스 주석 도구를 비교해야 하나요?

(세부 사항은 시간이 지나며 바뀝니다. 현재의 라이선스와 기능은 각 프로젝트에서 확인합니다.)

라이선스 열이 가리는 것이 있습니다. 무료 플랜에 실제로 무엇이 들어 있는지입니다. Label Studio 커뮤니티 버전에는 어노테이터 간 일치도 지표가 아예 없고, 정답 데이터 표시와 품질 대시보드는 사용자당 월 99달러부터입니다. Prodigy에는 무료 플랜이 없습니다. CVAT는 품질 관리 화면을 유료로 명시합니다. 모달리티 범위가 아니라 품질 관리로 고른다면, 마케팅 페이지가 아니라 무료 버전을 비교하세요. 열한 개 도구의 기능 매트릭스를 각 제품 문서와 대조해 정리해 두었습니다.

주석 도구를 어떻게 선택하나요?

• 무엇에 주석을 다는가? 텍스트 전용 NER이라면 Doccano나 brat이 단순합니다. 텍스트/이미지/오디오/비디오가 섞여 있다면 Potato와 Label Studio가 그 범위를 폭넓게 다룹니다.
• 에이전트나 LLM 평가가 필요한가? 바로 여기서 Potato가 남다릅니다. 다양한 형식의 에이전트 추적을 읽어 들이고, 궤적, 프로세스 보상, 웹 에이전트, 코딩 에이전트, 멀티 에이전트 팀, 컴퓨터 사용/멀티모달 평가를 위한 전용 도구를 갖추고 있습니다. 대부분의 범용 도구에는 이것이 없습니다.
• 예산. Potato, Label Studio(코어), Doccano, brat, Argilla는 무료이며 오픈소스입니다. Prodigy와 일부 Label Studio 등급은 유료입니다.
• 설정 부담. Potato는 YAML 파일로 설정하며 코드가 필요 없습니다. Prodigy는 코드 우선이고, 나머지는 그 중간에 있습니다.
• 생태계. Prodigy는 spaCy와, Argilla는 Hugging Face와 결합됩니다. Potato는 CoNLL, spaCy, Hugging Face, COCO/YOLO를 포함한 여러 ML 형식으로 내보냅니다.

Potato는 언제 적합한 주석 도구인가요?

Potato는 학술 NLP에서 출발했으며(EMNLP 2022와 HCOMP 2024에서 발표되었습니다), 연구 워크플로 전체를 위해 만들어졌습니다. 다양한 작업 유형, 곧바로 쓸 수 있는 품질 관리와 일치도 지표, 크라우드소싱 연동, 그리고 최근에는 충실한 AI 에이전트 평가 도구 모음을 갖추고 있습니다. 작업이 여러 모달리티에 걸쳐 있거나 LLM과 에이전트 평가를 포함한다면, 살펴볼 가치가 있습니다.

호스팅형 상업 제품으로 단일 텍스트 작업만 필요하거나, spaCy 또는 Hugging Face 안에서 모든 것이 완결된다면, 다른 도구 중 하나가 더 잘 맞을 수 있습니다. 작업에 맞는 도구를 선택합니다.

자주 묻는 질문

Potato는 Label Studio의 무료 대안인가요?

그렇습니다. Potato는 무료이며 오픈소스이고, 단일 YAML 설정에서 코드 없이 텍스트, 이미지, 오디오, 비디오, 그리고 에이전트/LLM 평가까지 다룹니다. Label Studio는 일부 통합에서는 더 폭넓지만 팀을 유료 등급으로 유도합니다. 반면 Potato는 무료이며 자체 호스팅 방식을 유지하므로, 학술 연구와 재현 가능한 연구 작업에 적합합니다.

Potato는 Prodigy의 무료 오픈소스 대안인가요?

그렇습니다. Prodigy는 spaCy와 긴밀하게 결합된, 훌륭한 유료의 코드 우선 도구입니다. Potato는 무료이고 코드 없이 YAML로 설정하며, spaCy, CoNLL, Hugging Face 형식으로 내보냅니다. 상업용 라이선스 없이 능동 학습을 사용하고 싶다면, Potato가 오픈소스 선택지입니다.

언어학적 주석에서 Potato는 INCEpTION과 어떻게 비교되나요?

INCEpTION은 본격적인 언어학적 주석과 지식 베이스 링크에 강력하지만 배포가 더 무겁습니다. Potato는 시작하기가 더 간단해 YAML 파일 하나와 명령 하나면 되며, INCEpTION의 본격적인 언어학적 기능이 필요 없는 스팬, 관계, 분류 작업에서는 대체로 더 빠릅니다.

Labelbox나 Scale AI 같은 상업 플랫폼 대신 Potato를 사용하는 이유는 무엇인가요?

Labelbox와 Scale은 매니지드 플랫폼과 라벨링 인력을 판매하며, 그 둘을 함께 구매하는 기업에 적합합니다. 자체 어노테이터를 데려오고 데이터를 자사 서버에 두어야 하는 연구 팀에게는, Potato가 무료이며 자체 호스팅 방식인 대안이며, 어노테이터 간 일치도 지표가 내장되어 있습니다.

AI 에이전트 궤적을 주석하기에 가장 좋은 오픈소스 도구는 무엇인가요?

바로 여기서 Potato가 범용 주석 도구 가운데 남다릅니다. 13가지 형식으로 에이전트 트레이스를 읽어 들이고, 궤적, 스텝 수준, 웹 에이전트, 코딩 에이전트 평가를 위한 전용 화면을 갖추고 있습니다. 또한 클릭 가능한 상호작용 그래프에서 멀티 에이전트 팀을 주석하고, 컴퓨터 사용 및 음성 에이전트 같은 멀티모달 에이전트도 주석합니다. 오픈소스든 상업용이든 대부분의 도구는 에이전트 실행을 전혀 주석하지 못합니다.

Potato가 관찰 가능성 도구나 라벨링 플랫폼이 할 수 없는 무엇을 평가할 수 있나요?

에이전트 어노테이션의 두 가지 범주로, Potato와 흔히 비교되는 도구들(LangSmith, Langfuse, Labelbox, Scale AI, Label Studio, Argilla, Braintrust)에서는 어느 것도 구성 가능한 자체 호스팅 기능으로 제공되지 않습니다. 2026년 6월 기준으로 각 도구의 문서를 확인한 결과입니다.

• 멀티 에이전트 팀 구조. 어노테이터가 편집할 수 있는 상호작용 그래프(임계 경로 표시, 잘못된 핸드오프 플래그), 책임 에이전트 / 결정적 단계 / 이유의 삼중항으로 표현되는 교차 에이전트 실패 귀인, 일급 객체로서의 핸드오프 리뷰, 에이전트별·팀별 스코어카드, 도구 경합 타임라인, 창발적 동작 태깅. 다른 곳에서 가장 비슷한 것은 Langfuse의 "Agent Graphs"이지만, 이는 어노테이션 화면이 아니라 읽기 전용 디버깅 뷰입니다.
• 멀티모달 에이전트. 클릭 그라운딩 마커가 있는 컴퓨터 사용 궤적, 끼어들기(barge-in) 점수화가 있는 풀 듀플렉스 음성 타임라인, 모델이 예측한 구간에 대한 실시간 IoU가 있는 비디오 시간적 그라운딩. Scale AI는 GUI 그라운딩과 음성 평가를 수행하지만 관리형 데이터셋 작업으로 제공하며, 그 음성 아레나는 풀 듀플렉스가 아니라 턴 기반입니다.

관찰 가능성 도구들(LangSmith, Langfuse, Braintrust)은 span 수준의 점수와 코멘트를 붙이는데, 이는 실제 단계별 어노테이션이지만 이러한 에이전트 구조 화면은 아닙니다. 라벨링 플랫폼들(Labelbox, Scale)은 에이전트 평가 데이터 제품을 제공하지만, 자체 호스팅하고 YAML로 구성하는 도구가 아니라 유료 클라우드 또는 관리형 서비스입니다. 역량은 빠르게 바뀌므로 이는 2026년 6월 시점의 스냅숏을 반영하며, 전체 비교 글에 확인한 버전들이 정리되어 있습니다.

더 읽어보기

• Potato를 선택하는 이유
• 데이터 주석이란 무엇인가?
• AI 에이전트를 평가하는 방법