Potato를 선택하는 이유

셀프 호스팅, 무료: LangSmith, Galileo, Encord는 셀프 호스팅 자체를 엔터프라이즈 계약 뒤에 둡니다. Labelbox에는 문서화된 셀프 호스팅 버전이 없습니다.

모든 기능, 유료 플랜 없음: Label Studio 무료 버전에는 일치도 지표가 아예 없습니다. 정답 데이터, 대시보드, LLM 사전 라벨링은 사용자당 월 99달러부터 시작합니다. CVAT는 품질 관리 UI를 유료 기능으로 명시합니다. Supervisely는 합의 분석을 월 199유로 플랜에 두었습니다.

말뭉치와 에이전트 트레이스를 한 도구로: 여기 있는 에이전트 평가 플랫폼은 모두 트레이스에 묶여 있습니다. 말뭉치에 감성 라벨을 달거나, 개체명 구간을 표시하거나, 설문을 돌릴 수 있는 것은 하나도 없습니다.

라벨을 붙일 수 있는 멀티에이전트 그래프: 에이전트 상호작용 그래프를 그리는 도구는 여럿 있지만 모두 읽기 전용 디버깅 화면입니다. Potato에서는 에이전트와 그들 사이의 인계 자체가 사람이 라벨을 붙이는 대상입니다.

사람이 라벨링한 실패 귀인: Galileo는 인계 실패를 LLM으로 추론하고, Labelbox는 궤적의 각 단계를 평가합니다. 둘 다 그 추론을 검증할 사람 기준 정답을 수집하지는 않습니다.

우연 보정 일치도 (κ, α): 다른 도구들은 일치도를 겹침 비율, IoU, 다수결로 계산합니다. Prodigy는 Krippendorff α와 Gwet AC2를 제공하지만 무료 플랜이 없습니다. Langfuse의 Cohen κ는 사람 한 명과 심판 하나를 비교하는 것이지, 어노테이터 집단 사이의 일치도가 아닙니다.

SFT, DPO, 과정 보상 내보내기: 일부 지원은 SFT 형식의 JSONL만 있고 선호 쌍이나 과정 보상 형식은 없다는 뜻입니다.

관리형 어노테이션 인력: 없습니다. 직접 어노테이터를 데려오거나 Prolific으로 모집해야 합니다. 다음 달까지 5만 건을 라벨링해야 하는데 인력이 없다면, 그것을 파는 곳은 Labelbox, Encord, Scale이지 우리가 아닙니다.

호스팅 제공, 운영 불필요: Potato는 셀프 호스팅만 지원합니다. 어떤 팀에는 그것이 바로 핵심이고, 어떤 팀에는 실제 비용입니다.