Name: Potato
Author: Potato

potato-skill은 사람이 데이터에 라벨을 붙이도록 하기 위한 에이전트 스킬입니다. Claude Code에 연구를 설명하면 작업을 설계하고, 자체 어노테이션 인터페이스를 갖춘 Potato 작업으로 만들어 실행하고, 필요한 형식으로 라벨을 내보냅니다. 무료 오픈 소스이며 명령 두 줄로 설치합니다.

text

/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

다른 에이전트를 포함한 설정 방법은 코딩 에이전트로 빠른 시작 페이지에 있습니다.

코딩 에이전트와 일회용 라벨링 도구

항목 수백 개에 라벨을 붙이려 할 때 흔히 쓰는 방법은 Claude Code, Codex, Cursor에게 간단한 어노테이션 도구를 만들게 하는 것입니다. 항목을 하나씩 보여 주고 답을 CSV에 저장하는 Streamlit이나 Flask 페이지입니다. 한 사람이 오후 한나절 동안 라벨을 붙일 분량이라면 이것으로 충분합니다. 하지만 연구에 다음 중 하나라도 필요해지면 어려워집니다.

누가 무엇에 라벨을 붙였는지 알 수 있도록 어노테이터별 로그인
항목당 어노테이터 3명, 그리고 각 항목을 알맞은 사람에게 보여 주는 배정
지침, 연습 라운드, 주의력 확인
어노테이터 간 일치도
Prolific 완료 코드, 또는 MTurk를 통한 지급
다음 스크립트가 기대하는 형식으로 내보내기
다음 달에도 똑같이 돌아가는 두 번째 연구

모두 누군가 작성하고 테스트하고 디버깅해야 하는 기능이고, 그 도구는 연구 하나만을 위한 것입니다. Potato에는 이 모든 기능이 이미 있습니다. potato-skill을 쓰면 에이전트는 연구 설계에 힘을 쏟고, 작업은 Potato 위에 만듭니다.

결과물은 다른 사람도 쓸 수 있습니다. 직접 만든 라벨링 앱은 대개 저장소 하나의 데이터셋 하나에 묶여 있습니다. Potato 작업은 설정과 데이터가 든 폴더라서 Potato만 있으면 누구나 시작할 수 있고, 쇼케이스에는 이런 작업이 400개 넘게 있으며 대부분 발표된 논문에서 가져온 것입니다.

스킬이 내리는 설계 결정

라벨이 필요한 내용에 대한 설명을 받으면 potato-skill은 YAML을 쓰기 전에 설계부터 합니다. 어노테이터에게 무엇을 어떤 척도로 물을지, 항목마다 어노테이터가 몇 명 필요한지, 어떻게 교육하고 확인할지를 정합니다. 그다음 Potato에 작업을 만들어 시작하고, 어노테이터처럼 한 번 끝까지 진행해 본 뒤, 다음 단계가 필요로 하는 형식으로 결과를 내보냅니다.

이미 진행 중인 연구도 다룹니다. 진행 상황과 일치도를 확인하고, 어노테이터가 작업을 시작한 뒤에 작업을 변경할 수 있습니다.

데이터는 텍스트, 이미지, 오디오, 비디오, 대화, AI 에이전트 트레이스 중 무엇이든 됩니다. 어노테이터는 크라우드워커, 학생, 분야 전문가 누구든 됩니다.

만들 수 있는 여섯 가지 연구

Prolific 크라우드워커의 입장(stance) 라벨

한 연구팀이 소셜 미디어 게시물 2,000개에 대해 어떤 정책에 대한 입장을 Prolific 크라우드워커에게 라벨링하게 하려 합니다. potato-skill은 라벨과 지침 초안을 쓰고, 짧은 연습 라운드와 주의력 확인을 넣고, 게시물마다 세 사람이 라벨을 붙이게 하고, Prolific 완료 코드를 설정하고, 라벨이 모이면 일치도를 보고합니다. 크라우드소싱 가이드와 어노테이터 간 일치도 측정을 참고하세요.

챗봇 응답 두 개 비교

한 ML 팀이 같은 프롬프트에 대한 두 챗봇의 응답을 사람들이 비교해 더 도움이 되는 쪽을 고르고 이유를 적게 하려 합니다. 스킬은 선호 척도와 자유 서술 이유 칸이 있는 나란히 비교 화면을 만들고, 판단 결과를 분석용으로 내보냅니다. 쌍대 모델 비교와 RLHF 선호 데이터를 참고하세요.

에이전트 트레이스에서 실패한 단계 표시

한 연구실이 전문가에게 여러 단계로 된 AI 에이전트 트레이스를 읽고 에이전트가 잘못된 단계를 표시하게 하려 합니다. 각 트레이스는 한 단계씩 펼쳐지고, 작업은 표시된 단계와 어노테이터의 설명을 기록합니다. 에이전트 궤적 어노테이션을 참고하세요.

CVAT 바운딩 박스 프로젝트 이어 가기

한 컴퓨터 비전 그룹이 절반쯤 끝난 CVAT 프로젝트를 가지고 있고, 새 이미지에 바운딩 박스를 더 그리려 합니다. 스킬은 기존 박스를 가져오고, 같은 라벨로 그리기 작업을 설정하고, 전체를 COCO 형식으로 다시 내보냅니다. 바운딩 박스 일치도 측정을 참고하세요.

두 명의 코더와 코드북

한 사회과학자가 개방형 설문 응답용 코드북을 가지고 있고, 두 코더가 이를 독립적으로 적용한 뒤 의견이 갈린 사례를 정리하게 하려 합니다. 코드북이 그대로 코딩 인터페이스가 되고, 두 코더 모두에게 모든 응답이 배정되며, 판정 단계가 불일치를 처리합니다. 판정과 불일치를 참고하세요.

일치도가 낮아 보이는 연구

일주일째 진행 중인 연구에서 연구자가 일치도가 낮아 보인다고 생각합니다. 스킬은 어노테이터별 진행 상황과 질문별 일치도를 보고하고, 어노테이터가 아직 작업 중일 때 해도 안전한 수정과 이미 모은 데이터를 망가뜨릴 수정을 구분해 알려 줍니다.

Potato 레지스트리에 대한 테스트

potato-skill의 CI는 지침에 이름이 나오는 모든 어노테이션 유형, 설정 키, 샘플 설정이 Potato에 실제로 있는지 확인합니다. 샘플 YAML은 Potato 자체 검증기를 통과해야 하고, 예제는 실제 Potato 서버를 띄웁니다. 참고 자료 중 세 개는 Potato 레지스트리에서 생성되므로, 에이전트가 읽는 어노테이션 유형과 키는 서버가 실제로 적용하는 것과 같습니다.

참고 자료는 davidjurgens.github.io/potato-skill에 공개되어 있어, 설치하기 전에 스킬이 에이전트에게 무엇을 알려 주는지 읽어 볼 수 있습니다.

다른 코딩 에이전트

skills CLI로 Codex, Cursor 등 다른 에이전트에 potato-skill을 설치할 수 있습니다.

bash

npx skills add davidjurgens/potato-skill --agent codex cursor

이렇게 하면 스킬이 .agents/skills/potato-skill/에 복사됩니다. Codex와 Cursor는 저장소 루트의 AGENTS.md 파일도 읽을 수 있습니다. 어떤 에이전트를 쓰든, 스킬의 보조 스크립트가 Potato를 임포트하고 potato 명령을 호출하므로 에이전트가 명령을 실행하는 곳에 Potato가 설치되어 있어야 합니다(pip install potato-annotation).

자주 묻는 질문

Potato를 먼저 알아야 하나요?

아니요. 연구를 평범한 말로 설명하면 됩니다. Potato는 에이전트가 실행되는 컴퓨터에 설치되어 있어야 합니다. 어노테이터가 작업을 보기 전에 브라우저로 열어 직접 몇 개 라벨을 붙여 보세요.

코딩 에이전트에게 맞춤형 어노테이션 도구를 만들게 하는 편이 나을까요?

한 사람이 한 번 라벨을 붙이는 항목 수백 개라면 작은 스크립트로 충분할 수 있습니다. 연구에 항목당 여러 어노테이터, 교육, 주의력 확인, 일치도, 크라우드소싱 플랫폼이 필요해지면 그 하나하나를 만들고 테스트해야 합니다. potato-skill은 이것들을 이미 갖춘 Potato 위에 만들고, 만들어진 작업은 다시 실행하고 공유할 수 있습니다.

만들어진 것을 수정할 수 있나요?

네. 결과물은 평범한 Potato 작업입니다. 빠른 시작과 설정 기초를 참고해 직접 바꾸거나, 에이전트에게 바꿔 달라고 하면 됩니다.

Codex나 Cursor에서도 되나요?

skills CLI로 둘 다에 설치할 수 있고, 둘 다 저장소의 AGENTS.md를 읽을 수 있습니다. 스킬 자체는 Claude Code용으로 작성되었습니다.

비용은 얼마인가요?

없습니다. Potato는 무료 오픈 소스이고, potato-skill은 GPL-3.0-or-later로 배포됩니다. 비용은 이미 쓰고 있는 코딩 에이전트와, 어노테이터를 모집한다면 그 보수뿐입니다.

Potato는 무엇인가요?

Potato는 미시간 대학교의 오픈 소스 어노테이션 도구로, ACL 2026 시스템 데모 논문에 소개되어 있습니다. 텍스트, 이미지, 오디오, 비디오, 대화, 에이전트 트레이스에 걸쳐 61가지 어노테이션 유형을 지원합니다.

potato-skill: Claude Code로 사람이 하는 어노테이션 연구 만들기