블로그

더 나은 코딩 에이전트를 학습하기 위한 프로세스 보상 데이터 수집 방법

Potato를 사용해 PRM 학습을 위한 단계별 보상 신호를 수집하는 단계별 가이드. 첫-오류 모드, 단계별 어노테이션, 학습 파이프라인으로의 내보내기를 다룹니다.

Mar 26, 202610 min read

관찰, 일시정지, 되감기: Potato의 실시간 코딩 에이전트 관찰

Ollama, Anthropic API 또는 Claude Agent SDK로 실시간 코딩 에이전트 관찰을 설정하는 튜토리얼입니다. 일시정지, 롤백, 분기, 궤적 내보내기를 포함합니다.

Mar 25, 202610 min read

Guides12 min read

AI 에이전트를 나란히 비교하기: 이진, 척도, 다차원 모드

Potato에서 세 가지 모드로 쌍대 에이전트 비교를 설정합니다: 이진 선호, 연속 척도, 정당화가 필수인 차원별 다기준 판단.

Mar 24, 2026

Guides13 min read

단계별 오류 위치 파악: 트래젝토리 평가로 에이전트가 실패하는 지점 찾기

Potato의 trajectory_eval 스키마를 사용해 계층적 오류 분류 체계, 심각도 점수, 에이전트 트레이스 전반의 누적 점수 추적으로 단계별 오류 위치를 파악합니다.

Mar 23, 2026

Tutorials11 min read

AI 코딩 에이전트를 위한 GitHub PR 스타일 코드 리뷰

Potato에서 인라인 diff 코멘트, 파일 수준 품질 평가, 코딩 에이전트 출력에 대한 승인 또는 거부 판정을 갖춘 GitHub PR 스타일 코드 리뷰 어노테이션을 설정하세요.

Mar 22, 2026

Guides11 min read

에이전트 평가를 위한 Potato vs LangSmith 및 Langfuse: 실전 비교

트레이스 렌더링, 어노테이션, 코딩 에이전트 지원, 실시간 관찰, 가격, 자체 호스팅 측면에서 AI 에이전트 평가를 위한 Potato를 LangSmith 및 Langfuse와 비교합니다.

Mar 21, 2026

Stay updated

Get notified about new tutorials, releases, and community highlights.

Potato에서 MT-Bench 스타일의 루브릭 평가로 AI 에이전트 평가하기

맞춤 기준, 구성 가능한 평가 척도, 차원별 가중치를 갖춘 다기준 루브릭 평가를 Potato의 rubric_eval로 설정하여 AI 에이전트를 체계적으로 평가합니다.

Mar 20, 202615 min read

Release

Potato 2.4.0: 웹 에이전트 어노테이션, 실시간 평가, HuggingFace 통합

Potato 2.4.0은 웹 에이전트 트레이스 검토, 실시간 라이브 에이전트 평가, LLM 채팅 사이드바, HuggingFace Hub 내보내기, 웹훅, SSO/OAuth, 그리고 다섯 가지 능동 학습 전략을 제공합니다.

Mar 17, 20264 min read

Announcements9 min read

Potato 2.3: 에이전트 어노테이션, Solo Mode, 그리고 인간 평가의 미래

Potato 2.3.0은 12개의 트레이스 형식 변환기를 갖춘 에이전트 어노테이션, 인간-LLM 협업 레이블링을 위한 Solo Mode, Best-Worst Scaling, SSO/OAuth, Parquet 내보내기, 그리고 15개의 데모 프로젝트를 도입합니다.

Mar 9, 2026

Guides9 min read

AI 에이전트 평가: 에이전트 트레이스의 인간 어노테이션 완벽 가이드

Potato의 에이전틱 어노테이션 기능을 사용해 AI 에이전트 출력의 인간 평가를 설정하는 방법을 트레이스 가져오기부터 어노테이션 스키마 설계까지 배워보세요.

Mar 8, 2026

Tutorials10 min read

솔로 모드: 한 명의 어노테이터가 10,000개의 예시를 레이블링하는 방법

Potato의 솔로 모드를 사용하여 사람-LLM 협업으로 대규모 데이터셋을 효율적으로 레이블링하고 어노테이션 비용을 최대 90%까지 줄이는 단계별 튜토리얼.

Mar 7, 2026

Guides9 min read

웹 브라우징 에이전트 어노테이션: WebArena 트레이스에서 인간 평가까지

Potato의 웹 에이전트 트레이스 표시 기능으로 자율 웹 브라우징 에이전트를 평가하는 방법을, 단계별 스크린샷, SVG 오버레이, 단계별 어노테이션 스키마와 함께 알아봅니다.

Mar 6, 2026

Potato 2.2: 이벤트, 엔터티 연결, 내보내기, 55개 설문 도구

Potato 2.2.0은 9개의 새로운 어노테이션 스키마, 플러그형 내보내기 시스템, MACE 역량 추정, 검증된 55개 설문 도구, 원격 데이터 소스를 추가합니다.

Feb 20, 20264 min read

Potato 2.1: 인스턴스 표시, 비주얼 AI, 스팬 연결

Potato 2.1.0은 인스턴스 표시 시스템, 이미지 및 비디오 어노테이션을 위한 비주얼 AI 지원, 스팬 연결, 다중 필드 스팬, 레이아웃 커스터마이징을 제공합니다.

Feb 14, 20266 min read

Guides9 min read

비주얼 AI로 이미지 및 동영상 어노테이션 속도 높이기

YOLO, Ollama, OpenAI, Claude를 사용해 이미지와 동영상 작업에 AI 기반 객체 탐지, 사전 어노테이션, 분류를 설정합니다.

Feb 14, 2026

Guides8 min read

Label Studio에서 Potato로 마이그레이션하기

이 단계별 가이드로 Label Studio에서 Potato로 마이그레이션하면서 프로젝트 설정, 주석 스키마, 내보낸 데이터를 변환하고 일반적인 주석 유형을 모두 다룹니다.

Jan 20, 2026

Prolific에서 어노테이션 연구 진행하기

Potato를 Prolific과 통합하여 크라우드소싱 어노테이션, 완료 URL 설정, 참가자 ID 추적, 주의력 검사, 결제 구성, 품질 필터링을 구성하는 방법을 다룹니다.

Jan 20, 2026

법률 문서 주석 모범 사례

스팬 라벨링, 개체 추출, 프라이버시를 우선하는 자체 호스팅 배포로 Potato에서 계약서, 법원 제출 서류, 규제 텍스트 등 법률 문서에 주석을 답니다.

Jan 18, 2026

Potato로 의료 영상 어노테이션하기

Potato에서 의료 영상을 어노테이션하는 모범 사례, DICOM 표시, 영상의학 판독문 라벨링, 이상반응 추출, IRB 준수 자체 호스팅 배포를 다룹니다.

Jan 18, 20264 min read

세그멘테이션 작업을 위한 폴리곤 어노테이션

Potato에서 이미지 세그멘테이션 작업용 폴리곤 그리기 도구를 설정하고, 복잡한 형태와 겹치는 영역, 다중 클래스 폴리곤, COCO 형식 내보내기에 대한 팁을 알아봅니다.

Jan 18, 20264 min read

Guides3 min read

능동 학습: 더 힘들게가 아니라 더 똑똑하게 어노테이션하기

Potato의 능동 학습과 불확실성 샘플링, BADGE, BALD 전략으로 가장 유익한 미라벨 예시를 우선순위화하여 어노테이션 작업을 최대 50%까지 줄입니다.

Tutorials4 min read

객체 탐지를 위한 바운딩 박스 그리기

Potato에서 컴퓨터 비전을 위한 바운딩 박스 어노테이션을 설정하고, 레이블 색상, 최소 박스 크기, 다중 클래스 지원, 검증 규칙, COCO/YOLO 내보내기를 구성합니다.

주석을 Hugging Face Datasets로 내보내기

Potato 주석을 HuggingFace Datasets 형식으로 변환합니다. JSON 내보내기 구조, 데이터셋 카드 생성, Hub 업로드, transformers 학습과의 연동을 다룹니다.

Tutorials7 min read

이미지 비교 및 선호도 작업

Potato에서 선호도 순위, A/B 테스트, 시각 품질 평가를 위한 나란히 보기 이미지 비교 작업을 무작위 순서와 쌍별 점수와 함께 구축합니다.

Potato 2.0 출시: AI 기반 어노테이션

Potato 2.0은 OpenAI 및 Claude를 활용한 AI 기반 사전 어노테이션, 오디오 및 비디오 멀티미디어 지원, 능동 학습, 바운딩 박스 어노테이션, 그리고 새롭게 디자인된 UI를 제공합니다.

Jan 15, 20263 min read

자동 키워드 강조

Potato에서 AI 기반 키워드 강조를 구성하여 중요한 용어로 어노테이터의 주의를 이끌어 보세요. OpenAI, Claude, 사용자 정의 키워드 목록 구성을 다룹니다.

Jan 15, 20263 min read

Amazon Mechanical Turk에 배포하기

Amazon Mechanical Turk에서 Potato 어노테이션 작업을 실행하는 방법, HIT 구성, 자격 테스트, 승인 및 거부 워크플로, 보너스 지급, 품질 모니터링을 다룹니다.

감성 분석 작업 만들기

라디오 버튼, 툴팁, 키보드 단축키를 갖춘 완전한 감성 분류 작업을 구축하여 효율적으로 레이블을 지정합니다.

콘텐츠 모더레이션 어노테이션 설정

독성 탐지, 혐오 발언 분류, 민감 콘텐츠 라벨링을 위해 Potato를 설정하되 어노테이터의 웰빙을 염두에 두는 방법을 알아봅니다.

Jan 12, 2026

Guides5 min read

Potato의 커스텀 HTML 템플릿

HTML 템플릿, CSS 스타일링, JavaScript를 사용해 Potato에서 커스텀 어노테이션 인터페이스를 만드는 방법, 좌우 분할 레이아웃, 커스텀 위젯, 임베드된 미디어 표시까지 다룹니다.

Jan 12, 2026

발음 평가 어노테이션

오디오 재생, 파형 시각화, Likert 평가 척도, 녹음별 자유 텍스트 피드백 필드를 갖춘 발음 품질 어노테이션 작업을 Potato로 구축합니다.

Jan 12, 20266 min read

화자 분리 주석

대화형 오디오 파형, 타임스탬프 마커, 화자 레이블 지정, 주석자 간 일치도 측정 기능을 갖춘 화자 식별 작업을 Potato에서 구축합니다.

Jan 12, 20264 min read

Tutorials3 min read

프레임 단위 컨트롤을 활용한 영상 주석

프레임 단위 탐색, 타임스탬프 마커, 시간 기반 이벤트 레이블링, radio 또는 span 스키마를 활용한 구간별 분류 기능으로 Potato에서 영상 주석을 설정합니다.

Jan 12, 2026

오디오 이벤트 탐지 및 태깅

음성, 음악, 박수 또는 환경 소음과 같은 특정 소리를 타임스탬프 구간으로 탐지하는 주석 작업을 설정합니다.

Jan 10, 2026

Tutorials2 min read

5분 만에 Potato 시작하기

pip install부터 YAML 설정, 샘플 데이터, 첫 라벨링 인스턴스까지, 5분 만에 첫 Potato 어노테이션 프로젝트를 구축하고 서버를 실행해 봅니다.

Jan 10, 2026

어노테이터 간 일치도 측정하기

Potato 어노테이션 프로젝트를 위해 Cohen의 카파, Fleiss의 카파, Krippendorff의 알파를 Python 코드 예제와 해석 지침과 함께 계산하고 해석해 보세요.

Jan 10, 2026

EMNLP 2022에서 소개된 Potato

Potato에 관한 논문이 EMNLP 2022에 채택되었습니다. 이 도구의 배경이 된 연구와 연구에서 인용하는 방법을 알아보십시오.

Jan 10, 20262 min read

크라우드소싱 어노테이션을 위한 품질 관리

어노테이션 프로젝트에서 어노테이션 품질을 보장하기 위한 모범 사례로, Potato와 함께 그리고 그 너머에서 구현할 수 있는 실용적인 전략을 포함합니다.

Jan 10, 20267 min read

Tutorials4 min read

Potato로 이미지 분류하기

썸네일 미리보기, 줌 컨트롤, 다중 라벨 체크박스 스키마, 키보드 단축키를 활용해 Potato에서 높은 처리량의 시각 주석을 위한 이미지 분류를 설정합니다.

스마트 주석 힌트를 위한 LLM 통합

OpenAI, Claude 또는 Gemini를 Potato와 통합하여 지능형 라벨 힌트, 사전 주석 제안, 키워드 강조를 제공함으로써 주석자의 처리량을 높입니다.

음악 장르 분류 어노테이션

파형 시각화, 30초 미리듣기 재생, 계층형 장르 레이블 트리, 쌍대 선호 비교를 갖춘 음악 어노테이션 작업을 Potato에서 만드는 방법을 설명합니다.

서버에 Potato 배포하기

Docker, nginx, SSL과 AWS, GCP, Azure를 포함한 클라우드 플랫폼으로 Potato를 프로덕션에 배포합니다. systemd 서비스 구성과 확장 팁을 포함합니다.

다중 객체 추적 어노테이션

다중 객체 추적 어노테이션 개념과 Potato의 비디오 어노테이션 기능이 기본 추적 워크플로를 어떻게 지원할 수 있는지에 대한 개요입니다.

Jan 6, 20263 min read

음성에서 감정 분류하기

인터랙티브 파형 표시, 재생 속도 조절, 리커트 척도, 구성 가능한 감정 라벨 세트를 갖춘 오디오 감정 분류 작업을 Potato에서 만듭니다.

Jan 5, 20266 min read

Tutorials4 min read

첫 NER 어노테이션 작업 구축하기

Potato에서 개체명 인식 작업을 구축하는 단계별 가이드. 스팬 어노테이션 구성, 라벨 색상, 겹치는 스팬, 키보드 단축키, CoNLL 내보내기를 다룹니다.

Jan 5, 2026

Potato 데이터 형식 이해하기

Potato의 JSON 및 JSONL 데이터 형식을 깊이 들여다보고, 텍스트, 이미지, 오디오, 비디오, 멀티모달 어노테이션을 위한 인스턴스를 실제 구성 예시와 함께 구조화합니다.

Jan 5, 2026