Potato 팀의 소식, 튜토리얼, 업데이트입니다.
Potato 2.9 imports brat, doccano, Prodigy, CoNLL, and REFI-QDA projects, transcribes and diarizes audio locally, and records where each image shape came from.
주석자 간 평균 IoU는 전형적인 검출 코퍼스에서 0.95 안팎으로 나옵니다. 이미지를 한 번도 보지 않은 주석자에게도 그렇습니다. 우연 일치를 보정한 대안이 어떤 모습인지, 그리고 IoU 거리 위의 Krippendorff's 알파가 왜 작동하지 않는지 설명합니다.
Potato 2.8은 컴퓨터 비전, 기가픽셀 딥 줌, 3D 포인트 클라우드, 깊이 맵, 로봇 에피소드, 생성 영상 평가, VLM 그라운딩을 더하고, 그 모두에 대해 우연 일치를 보정한 일치도를 보고합니다.
Get notified about new tutorials, releases, and community highlights.
주석 팀은 이미 노밍 세션을 하고 있고, 어노테이터가 어떻게 생각하는지 알고 싶어 합니다. 멀티플레이어 룸은 실시간 일치도 미터로 캘리브레이션 회의를 측정하고, Think-Aloud 모드는 소리 내어 말한 추론을 로컬에서 LLM 없이 기록합니다.
골드 스탠더드는 만드는 비용이 크고, 시간이 지나면 새어 나가며, 심어 둘 생각을 한 항목만 검사합니다. 동료 예측 채점과 반사실 경계 프로브라는 두 가지 대안은 심어 둔 항목 하나 없이 부주의한 어노테이터와 망가진 지침을 잡아냅니다.
Potato 2.0에 관한 논문이 ACL 2026 시스템 데모 부문에 실렸습니다. 논문 내용과 Potato 인용 방법을 정리했습니다.
Potato에서 음성, 비디오, 문서 에이전트에 대한 휴먼 평가 안내: 듀얼 트랙 타임라인에서 턴테이킹 점수 매기기, 실시간 IoU로 비디오 이벤트 그라운딩하기, 음성 오류 태깅하기, 그리고 표 구조 표시하기.
어노테이션 파이프라인은 불일치를 지우도록 만들어져 있지만, 주관적 과제에서는 그 불일치가 곧 데이터입니다. 진짜 레이블 변이와 오류를 구별하고, Potato에서 이를 지키는 방법을 안내합니다.
모든 항목을 이중 라벨링하면 비용이 많이 들고, 모든 항목을 단일 라벨링하면 품질을 알 길이 없습니다. Potato 2.6은 대부분의 항목에 어노테이터 한 명을, 층화 표본에는 세 명을 배정하게 해 주며, 적응형 부스트와 자동 판정 라우팅을 지원합니다.
LLM으로 모델 출력을 채점하는 일은 쉽다. 그 결과를 믿어도 되는지 아는 것이 어려운 부분이다. Potato 2.6의 블라인드 휴먼 보정을 따라가 본다. k-샘플 투표, Cohen 및 Fleiss kappa, 그리고 기대 보정 오차.
Potato 2.6에 도입될 질적 데이터 분석 작업 공간인 QDA 모드를 살펴봅니다. 살아 있는 코드북, 인비보 코딩, 분석 메모, 케이스, 그리고 전체 코퍼스에 대한 전문 검색을 제공합니다.
어노테이션 프로젝트에서 어노테이터 수와 중복도를 정하는 방법: 객관적 작업과 주관적 작업을 위한 경험 법칙, 커버리지와 중복도의 트레이드오프, 그리고 Potato에서 이를 설정하는 방법을 다룹니다.
검색 증강 생성을 평가하는 실용적인 가이드입니다. 검색 관련성과 답변 충실성을 별도로 채점하고, Potato의 스팬 어노테이션으로 근거 없는 주장을 표시합니다.
Potato의 trajectory_eval 스키마를 사용해 계층적 오류 분류 체계, 심각도 점수, 에이전트 트레이스 전반의 누적 점수 추적으로 단계별 오류 위치를 파악합니다.
Potato에서 인라인 diff 코멘트, 파일 수준 품질 평가, 코딩 에이전트 출력에 대한 승인 또는 거부 판정을 갖춘 GitHub PR 스타일 코드 리뷰 어노테이션을 설정하세요.
Potato에서 AI 에이전트 출력의 인간 평가를 설정하는 방법을 트레이스 가져오기부터 트레이스 수준과 단계별 스키마 설계를 거쳐 내보낸 결과의 분석까지 다룹니다.
Potato 솔로 모드 단계별 튜토리얼. 먼저 시드 세트를 직접 레이블링하고, 나머지는 LLM에 맡긴 뒤, 정확도 점검으로 언제 멈출지 정합니다.
이 단계별 가이드로 Label Studio에서 Potato로 마이그레이션하면서 프로젝트 설정, 주석 스키마, 내보낸 데이터를 변환하고 일반적인 주석 유형을 모두 다룹니다.
URL 직접 로그인, 완료 코드, 주의력 검사, API를 통한 제출 모니터링으로 Prolific에서 Potato 어노테이션 연구를 진행합니다.
Potato에서 객체 탐지 작업을 만듭니다. 레이블 세 개짜리 시작 구성부터 주행 영상용 프로덕션 구성까지 진행한 뒤 COCO나 YOLO로 내보냅니다.
Potato 주석을 HuggingFace Datasets 형식으로 변환합니다. JSON 내보내기 구조, 데이터셋 카드 생성, Hub 업로드, transformers 학습과의 연동을 다룹니다.
라디오 버튼, 툴팁, 키보드 단축키를 갖춘 완전한 감성 분류 작업을 구축하여 효율적으로 레이블을 지정합니다.
독성 탐지, 혐오 발언 분류, 민감 콘텐츠 라벨링을 위해 Potato를 설정하되 어노테이터의 웰빙을 염두에 두는 방법을 알아봅니다.
음성, 음악, 박수 또는 환경 소음과 같은 특정 소리를 타임스탬프 구간으로 탐지하는 주석 작업을 설정합니다.
pip install부터 YAML 설정, 샘플 데이터, 첫 라벨링 인스턴스까지, 5분 만에 첫 Potato 어노테이션 프로젝트를 구축하고 서버를 실행해 봅니다.
파형 시각화, 30초 미리듣기 재생, 계층형 장르 레이블 트리, 쌍대 선호 비교를 갖춘 음악 어노테이션 작업을 Potato에서 만드는 방법을 설명합니다.
nginx와 TLS 뒤에서 Docker 또는 VM으로 Potato를 프로덕션에서 운영하는 방법과, Potato 서버를 여러 워커가 아닌 단일 프로세스로 실행하는 이유를 설명합니다.