Potato를 선택하는 이유

셀프 호스팅, 무료: LangSmith, Galileo, Encord, Labelbox는 셀프 호스팅 자체를 엔터프라이즈 계약 뒤에 둡니다. 온프레미스 설치는 영업과 협의하는 추가 옵션이지 내려받을 수 있는 버전이 아닙니다.

모든 기능, 유료 플랜 없음: Label Studio 무료 버전에는 일치도 지표가 아예 없고, 월 99달러 호스팅 Starter 플랜에도 없습니다. 일치도, 벤치마크, LLM 사전 라벨링은 엔터프라이즈 기능이며 가격은 문의해야 합니다. CVAT는 허니팟과 정답 데이터 작업은 무료로 주지만 품질 리포트는 유료 팀에만 제공합니다.

말뭉치와 에이전트 트레이스를 한 도구로: 여기 있는 에이전트 평가 플랫폼은 모두 트레이스에 묶여 있습니다. 말뭉치에 감성 라벨을 달거나, 개체명 구간을 표시하거나, 설문을 돌릴 수 있는 것은 하나도 없습니다.

라벨을 붙일 수 있는 멀티에이전트 그래프: 에이전트 상호작용 그래프를 그리는 도구는 여럿 있지만 모두 읽기 전용 디버깅 화면입니다. Potato에서는 에이전트와 그들 사이의 인계 자체가 사람이 라벨을 붙이는 대상입니다.

사람이 라벨링한 실패 귀인: Galileo는 인계 실패를 LLM으로 추론하고, Labelbox는 궤적의 각 단계를 평가합니다. 둘 다 그 추론을 검증할 사람 기준 정답을 수집하지는 않습니다.

우연 보정 일치도 (κ, α): 다른 도구들은 일치도를 겹침 비율, IoU, 다수결로 계산합니다. Prodigy는 Krippendorff α와 Gwet AC2를 제공하지만 무료 플랜이 없습니다. Langfuse의 Cohen κ는 사람 한 명과 심판 하나를 비교하는 것이지, 어노테이터 집단 사이의 일치도가 아닙니다.

SFT, DPO, 과정 보상 내보내기: 일부 지원은 SFT 형식의 JSONL만 있고 선호 쌍이나 과정 보상 형식은 없다는 뜻입니다.

기하 주석에 대한 우연 보정 일치도: 이 표에서 가장 강한 주장입니다. CVAT의 합의 엔진과 V7의 합의 단계는 모두 클래스별 임계값에 대한 원시 IoU로 주석자를 비교하고, Label Studio Enterprise의 지표 목록은 정확 일치·수치 차이·IoU·구간 중첩입니다. 어느 것도 우연을 보정하지 않습니다. 크고 중앙에 놓인 물체가 대부분인 말뭉치에서는 누가 주석하든 평균 IoU가 약 0.95로 나옵니다.

사건이 일어난 시점에 대한 일치도: 시간 IoU와 경계 일치도를 단일 임계값이 아니라 매칭 허용 오차의 스윕으로 보고합니다. 0.25초에서의 일치도와 2초에서의 일치도는 같은 데이터에 대한 서로 다른 주장입니다.

그리기 텔레메트리(수락 지연, 수정 횟수): 도형당 소요 시간, 스트로크 동역학, 수정 횟수, AI 제안 수락까지의 지연. 주석자가 사전 라벨을 그대로 승인하면 일치도가 오히려 올라가므로, 검토와 무조건 승인을 가르는 신호는 시간뿐입니다. 좌표는 전혀 기록하지 않습니다.

3D 포인트 클라우드와 직육면체: CVAT도 지원하며, Segments.ai·Kognic·Supervisely 같은 3D 전문 도구는 Potato에 없는 포인트 클라우드 시퀀스와 트랙 전파까지 제공합니다. Potato가 더하는 것은 주석자 간의 정확한 회전 3D IoU입니다.

외부 요청 없이 동작: 14개 템플릿 전체에서 스타일시트·스크립트·글꼴·아이콘을 설치본에서 제공하며, 62개 요청 중 외부 0건으로 실측했습니다. 모델은 한 번만 옮기면 됩니다. '부분'은 자체 호스팅은 되지만 렌더링된 페이지가 여전히 서드파티 자원을 가져온다는 뜻입니다.

관리형 어노테이션 인력: 없습니다. 직접 어노테이터를 데려오거나 Prolific으로 모집해야 합니다. 다음 달까지 5만 건을 라벨링해야 하는데 인력이 없다면, 그것을 파는 곳은 Labelbox, Encord, Scale이지 우리가 아닙니다.

호스팅 제공, 운영 불필요: Potato는 셀프 호스팅만 지원합니다. 어떤 팀에는 그것이 바로 핵심이고, 어떤 팀에는 실제 비용입니다.