potato-skill: 코딩 에이전트로 빠른 시작

Potato 프로젝트를 시작하는 방법은 두 가지입니다. 빠른 시작을 따라 작업을 직접 작성하거나, 연구 내용을 코딩 에이전트에게 설명하고 potato-skill이 설계하고 구축하도록 맡길 수 있습니다. 이 페이지는 두 번째 방법을 다룹니다. 어느 방법이든 결과는 같습니다. 실행하고, 수정하고, 공유할 수 있는 Potato 주석 작업입니다.

스킬이 내리는 설계 결정

potato-skill은 에이전트 스킬입니다. 요청에 필요할 때 코딩 에이전트가 불러오는 지침과 보조 스크립트의 묶음입니다. 라벨 세트부터 내보낸 데이터까지 연구의 설계와 구축을 모두 다룹니다.

• 주석자에게 무엇을 묻고 어떤 척도를 쓸지
• 항목마다 주석자가 몇 명 필요한지
• 주석자를 어떻게 교육하고 작업을 어떻게 점검할지
• 주석자가 보는 인터페이스
• 작업을 시작하고 주석자처럼 한 번 진행해 보기
• 다음 단계에 필요한 형식으로 결과 내보내기

이미 진행 중인 연구도 다룹니다. 진행 상황과 일치도를 보고하고, 주석자가 작업을 시작한 뒤에도 안전하게 할 수 있는 변경이 무엇인지 알려 줍니다.

구축된 작업은 Potato에서 실행되므로 Potato가 이미 갖춘 기능을 그대로 씁니다. 주석자별 로그인, 항목당 여러 명의 주석자, 일치도 통계, Prolific 및 MTurk 연동, 그리고 후속 도구가 읽을 수 있는 형식으로의 내보내기입니다.

준비 사항

스킬의 보조 스크립트가 Potato를 가져와 potato 명령을 호출하므로, 에이전트가 명령을 실행하는 환경에 Potato가 설치되어 있어야 합니다.

pip install potato-annotation

코딩 에이전트도 필요합니다. 이 스킬은 Claude Code용으로 작성되었으며, 다른 에이전트는 다음 섹션에서 다룹니다.

스킬 설치

Claude Code에서:

/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

Codex, Cursor 및 기타 에이전트에서는 skills CLI로 프로젝트에 설치합니다.

npx skills add davidjurgens/potato-skill --agent codex cursor

--agent codex cursor를 지정하면 스킬이 .agents/skills/potato-skill/에 복사됩니다. Codex와 Cursor는 potato-skill 저장소 루트에 있는 AGENTS.md 파일도 읽을 수 있습니다.

연구 설명하기

무엇에 라벨을 붙여야 하는지, 누가 라벨을 붙이는지, 라벨을 어디에 쓰는지 말해 주세요. Potato의 주석 유형이나 설정 형식을 알 필요는 없습니다. 요청은 이 정도로 짧아도 됩니다.

트윗 200개에 대해 주석자 3명이 각각 5점 척도로 감정 라벨을 붙이게 하고 싶어. 동의 페이지와 주의력 확인 문항 2개를 넣어 줘. 구축해서 시작해 줘.

스킬이 질문 문구, 척도, 항목 배정 방식, 주석자 점검 방식을 정합니다. 그런 다음 에이전트가 작업을 구축하고 시작한 뒤, 주석자처럼 한 번 진행해 보고 넘겨줍니다. 다른 사람을 초대하기 전에 브라우저에서 열어 몇 개 항목에 직접 라벨을 붙여 보세요.

만들어지는 작업

Potato 작업, 즉 작업의 설정, 데이터, 안내문이 담긴 프로젝트 폴더입니다. 빠른 시작의 내용이 모두 그대로 적용됩니다. potato start config.yaml로 시작하고, 직접 편집하고, 주석자를 추가하고, 라벨을 내보낼 수 있습니다.

결과가 Potato 작업 폴더이므로 다른 사람도 사용할 수 있습니다. 동료가 새 데이터로 같은 연구를 실행할 수도 있고, 내년에 다시 실행할 수도 있으며, 그 작업을 사용한 논문과 함께 공개할 수도 있습니다. 쇼케이스는 이런 방식으로 공유된 작업을 발표된 논문에서 모은 것입니다.

기존 설계와 주석

• 발표된 설계. 스킬은 발표된 논문에서 가져온 440개의 주석 설계 중 하나에서 시작할 수 있으며, 라벨 세트, 질문 문구, 안내문을 함께 가져옵니다. 쇼케이스에서 둘러볼 수 있습니다.
• 다른 도구의 주석. Label Studio, CVAT, COCO의 기존 주석을 가져올 수 있으므로, 중간까지 진행된 프로젝트를 Potato에서 이어 갈 수 있습니다.
• 진행 중인 연구. 주석자별 진행 상황과 질문별 일치도를 보고하고, 연구 도중에 안전한 수정과 이미 수집된 데이터를 망가뜨리는 수정을 구분해 알려 줍니다.

Potato 레지스트리 기반 테스트

스킬의 CI는 지침에 등장하는 모든 주석 유형, 설정 키, 샘플 설정이 Potato에 실제로 존재하는지 확인합니다. 샘플 YAML은 Potato의 검증기를 거치고, 예제 작업은 실제 Potato 서버를 띄웁니다. 참조 문서 중 세 개는 Potato 자체 레지스트리에서 생성되므로, 에이전트가 읽는 유형과 키는 서버가 실제로 적용하는 것과 같습니다.

참조 자료는 davidjurgens.github.io/potato-skill에 공개되어 있어 설치하지 않고도 읽을 수 있습니다. Anthropic은 스킬을 설치하기 전에 검토할 것을 권장합니다.

두 가지 방법 비교

언제든지 방법을 바꿀 수 있습니다. 직접 작성한 작업을 에이전트가 수정할 수도 있고, 에이전트가 구축한 작업을 직접 편집할 수도 있습니다.

다음 단계

• 빠른 시작: 작업을 직접 작성하는 방법
• 구성 기초
• Prolific과 MTurk에서 크라우드소싱하기
• 주석자 간 일치도 측정
• 코딩 에이전트가 검증할 수 있는 설정
• GitHub의 potato-skill