Potato 팀의 소식, 튜토리얼, 업데이트입니다.
An LLM judge is only as trustworthy as the human labels you validated it against. Put a person's chain of thought next to a model's on the same item, and check your judge against labels that carry their own confidence intervals.
누가 어노테이션하느냐가 중요할 때, 검증된 설문지는 즉석에서 만든 질문을 이깁니다. Potato에 내장된 55개 설문 도구를 둘러보고 각각이 언제 연구에 자리를 얻는지 살펴봅니다.
문서가 없는 어노테이션 데이터셋은 신뢰하기 어렵고 오용되기 쉽습니다. 데이터 스테이트먼트와 데이터시트, 배포 체크리스트, 그리고 Potato가 그 대부분을 대신 기록해 주는 방법을 안내합니다.
Get notified about new tutorials, releases, and community highlights.
Potato 2.6 출시: 정성적 코딩을 위한 QDA 모드, LLM-as-judge 보정 및 정렬 워크플로, SFT와 DPO 학습 데이터를 생성하는 궤적 편집, 3배 빨라진 부팅, 그리고 GPL-3.0-or-later로의 재라이선스.
2.6.x 라인은 Potato를 완전하고 무료인 에이전트 평가 플랫폼으로 만듭니다. OpenTelemetry, LangGraph, CrewAI, AutoGen에서의 트레이스 수집, 클릭 가능한 상호작용 그래프를 통한 멀티 에이전트 팀 어노테이션, GUI·음성·비디오를 위한 멀티모달 에이전트 스키마, 그리고 모델 아레나, CI 게이팅, 큐레이션까지 제공합니다.
대부분의 에이전트 평가는 점수에서 멈춘다. Potato 2.6의 trajectory_edit 스키마는 어노테이터가 잘못된 단계를 평가하는 대신 다시 작성하도록 하고, 각 수정을 지도 미세조정 타깃과 DPO 선호 쌍으로 내보낸다.
Annotating an agent's multi-step trace is harder than labeling a tweet. A guide to designing the taxonomy, measuring step-level agreement, and adjudicating disagreement, with a Potato config.
How to write an annotation codebook an LLM can actually follow, validate its labels against human coders, and keep a person in the loop, with a worked Potato config.
정확한 단어를 강조하고 무엇이 잘못되었는지 MQM 방식으로 라벨링하여, Potato의 스팬 어노테이션으로 모델의 환각과 사실 오류를 잡아냅니다.
Ollama, Anthropic API 또는 Claude Agent SDK로 실시간 코딩 에이전트 관찰을 설정하는 튜토리얼입니다. 일시정지, 롤백, 분기, 궤적 내보내기를 포함합니다.
Potato에서 세 가지 모드로 쌍대 에이전트 비교를 설정합니다: 이진 선호, 연속 척도, 정당화가 필수인 차원별 다기준 판단.
Potato 2.4.0은 웹 에이전트 트레이스 검토, 실시간 라이브 에이전트 평가, LLM 채팅 사이드바, HuggingFace Hub 내보내기, 웹훅, SSO/OAuth, 그리고 다섯 가지 능동 학습 전략을 제공합니다.
Potato 2.3.0은 12개의 트레이스 형식 변환기를 갖춘 에이전트 어노테이션, 인간-LLM 협업 레이블링을 위한 Solo Mode, Best-Worst Scaling, SSO/OAuth, Parquet 내보내기, 그리고 15개의 데모 프로젝트를 도입합니다.
Potato 2.1.0은 인스턴스 표시 시스템, 이미지 및 비디오 어노테이션을 위한 비주얼 AI 지원, 스팬 연결, 다중 필드 스팬, 레이아웃 커스터마이징을 제공합니다.
YOLO, Ollama, OpenAI, Claude를 사용해 이미지와 동영상 작업에 AI 기반 객체 탐지, 사전 어노테이션, 분류를 설정합니다.
Potato에서 이미지 세그멘테이션 작업용 폴리곤 그리기 도구를 설정하고, 복잡한 형태와 겹치는 영역, 다중 클래스 폴리곤, COCO 형식 내보내기에 대한 팁을 알아봅니다.
Potato의 능동 학습과 불확실성 샘플링, BADGE, BALD 전략으로 가장 유익한 미라벨 예시를 우선순위화하여 어노테이션 작업을 최대 50%까지 줄입니다.
Potato에서 AI 기반 키워드 강조를 구성하여 중요한 용어로 어노테이터의 주의를 이끌어 보세요. OpenAI, Claude, 사용자 정의 키워드 목록 구성을 다룹니다.
Amazon Mechanical Turk에서 Potato 어노테이션 작업을 실행하는 방법, HIT 구성, 자격 테스트, 승인 및 거부 워크플로, 보너스 지급, 품질 모니터링을 다룹니다.
대화형 오디오 파형, 타임스탬프 마커, 화자 레이블 지정, 주석자 간 일치도 측정 기능을 갖춘 화자 식별 작업을 Potato에서 구축합니다.
프레임 단위 탐색, 타임스탬프 마커, 시간 기반 이벤트 레이블링, radio 또는 span 스키마를 활용한 구간별 분류 기능으로 Potato에서 영상 주석을 설정합니다.
썸네일 미리보기, 줌 컨트롤, 다중 라벨 체크박스 스키마, 키보드 단축키를 활용해 Potato에서 높은 처리량의 시각 주석을 위한 이미지 분류를 설정합니다.
OpenAI, Claude 또는 Gemini를 Potato와 통합하여 지능형 라벨 힌트, 사전 주석 제안, 키워드 강조를 제공함으로써 주석자의 처리량을 높입니다.