Skip to content

블로그

Potato 팀의 소식, 튜토리얼, 업데이트입니다.

GuidesSep 9, 2026

일치도로는 형식적 승인을 잡아낼 수 없다

주석자가 읽지 않고 모델의 사전 라벨을 수용하면 주석자 간 일치도는 올라갑니다. 주석에서 계산되는 모든 품질 지표가 좋아집니다. 남는 신호는 소요 시간뿐입니다.

Potato Team4 min read
일치도로는 형식적 승인을 잡아낼 수 없다
Guides4 min read

부분 성공은 실재하는 결과다: 로봇 에피소드에 주석 달기

Guides3 min read

브라우저 탭에서 돌아가는 분할을 내놓기까지

Guides4 min read

원시 IoU는 일치도가 아니다

Announcements7 min read

Potato 2.8: 무엇이든 주석하고, 그다음 측정하기

Announcements

작성 과정 읽기: 자유 텍스트 어노테이션을 위한 키스트로크 로깅

이제 Potato는 어노테이터가 무엇을 입력했는지는 기록하지 않으면서 자유 텍스트 답변을 어떻게 만들어 냈는지를 기록하고, 멈춤과 수정과 붙여넣기를 직접 쓰지 않고 붙여넣은 응답을 가려낼 감사 가능한 플래그로 바꿉니다.

Aug 6, 20268 min read
Tutorials

ASR 전사본 주석하기: 실제 사례 하나

Whisper 출력이 담긴 폴더에서 라벨이 붙은 화자 발화 차례까지 전 과정을 따라갑니다. 주석 단위 고르기, 화자 분리 처리하기, 설정 작성하기, 작업 돌리기, 그리고 시간 정렬을 유지한 채 내보내기까지 다룹니다.

Jul 31, 20266 min read
Guides5 min read

심사자를 심사하기: 사람과 모델의 추론을 나란히

Announcements5 min read

Potato 2.7.1: 전사본은 이미 있습니다

Guides5 min read

캘리브레이션 회의 계측하기

Guides6 min read

골드 라벨 없는 품질 관리

Stay updated

Get notified about new tutorials, releases, and community highlights.

Guides

오차 막대가 붙은 라벨: 주석을 위한 문항반응이론

다수결은 어노테이터가 알려 준 것의 대부분을 버립니다. 문항반응이론은 모든 라벨에 사후확률과 신뢰구간을 붙이고, 어노테이터 능력과 항목 난이도를 추정하며, 망가진 코드북 항목을 찾아냅니다. 골드 라벨도 LLM도 없이 말입니다.

Jul 16, 20265 min read
Announcements

Potato 2.7: 라벨이 만들어지는 과정을 측정하다

Potato 2.7은 오차 막대가 붙은 라벨, 라이브 노밍 룸, 반사실 경계 프로브, 동료 예측 채점, 로컬 음성 근거, 명령 한 번으로 만드는 데이터셋 리포트, 모바일 주석을 더했습니다. 어느 것도 LLM이 필요 없습니다. 여기에 멀티 에이전트와 멀티모달 에이전트 평가까지 붙었습니다.

Jul 13, 20265 min read
Guides5 min read

어노테이션 연구를 위한 검증된 설문 도구: 성격, 정서, 웰빙, 인구통계

Guides5 min read

어노테이션 데이터셋 문서화하기: 데이터 스테이트먼트, 데이터시트, 그리고 문서 없는 데이터가 나쁘게 늙는 이유

Announcements3 min read

Potato 2.0, ACL 2026에서 발표

Guides4 min read

음성 및 비디오 에이전트 평가

Guides

컴퓨터 사용 에이전트 평가, 단계별로

Potato에서 컴퓨터 사용 및 GUI 에이전트에 대한 휴먼 평가 안내: 각 동작 판정하기, 스크린샷에서 클릭 그라운딩 확인하기, 그리고 도구 호출을 하나씩 검토하기.

Jun 23, 20263 min read
Guides

멀티 에이전트 실패 디버깅: 단계별 안내

Potato로 멀티 에이전트 LLM 시스템이 왜 실패했는지 찾는 방법: 상호작용 그래프, 실패 귀인, 핸드오프 검토, 에이전트별 스코어카드, 도구 경합 타임라인, 그리고 창발 행동 태깅.

Jun 22, 20265 min read
Announcements5 min read

Potato 2.6: 정성적 데이터 분석과 에이전트 평가가 만나다

Announcements4 min read

Potato 2.6.2: 완전한 오픈소스 에이전트 평가 제품군

Guides6 min read

불일치는 잡음이 아니라 신호다: 어노테이터 불일치를 해소하지 말고 지켜야 할 때

Guides4 min read

완전한 중복을 넘어서: 대규모 데이터셋을 위한 적응형 어노테이터 커버리지

Guides

루프 닫기: 에이전트 오류와 평가자 불일치를 사람에게 되돌려보내기

에이전트 평가에서 사람의 검토 시간은 가장 희소한 자원입니다. Potato 2.6은 신호 기반 분류(triage) 큐와 평가자-사람 정렬을 결합해, 가장 나쁜 트레이스가 먼저 사람에게 도달하고 LLM 평가자가 계속 좋아지도록 합니다.

Jun 11, 20265 min read
Guides

어노테이터 인구통계 정보를 책임감 있게 수집하기: 누가 레이블링하는지가 왜 중요하며, 어떻게 무리 없이 물어볼 것인가

어노테이터의 정체성은 레이블에 영향을 주므로 인구통계 정보는 수집할 가치가 있지만, 동의와 신중함, 그리고 이유가 있을 때에만 그렇습니다. 무엇을 묻고 무엇을 그냥 두어야 하는지, 그리고 Potato에서 이를 어떻게 처리하는지에 대한 안내입니다.

Jun 11, 20267 min read
Guides5 min read

평가에서 학습 데이터로: SFT와 DPO를 위한 궤적 편집

Guides5 min read

에이전트 궤적에 신뢰할 수 있는 라벨을 얻는 법

Guides6 min read

LLM 심판을 믿을 수 있을까? LLM-as-Judge를 사람과 대조해 보정하기

Guides6 min read

Potato에 질적 코딩 도입하기: 코드북, 메모, 인비보 코드

Guides

LLM 주석자 대 사람: 라벨링을 자동화할 때와 하지 말아야 할 때

LLM에게 데이터 주석을 맡겨도 되는지 판단하는 법, 모델 주석자가 실패하는 지점, 그리고 Potato에서 자동화와 사람의 검증을 결합하는 방법을 다룬 실무 가이드.

May 25, 20264 min read
Guides

2026년 오픈 소스 어노테이션 도구 선택하기

오픈 소스 데이터 어노테이션 도구를 고르는 방법, 어떤 질문이 실제로 선택지를 좁혀 주는지, 그리고 Label Studio, Prodigy, Doccano, brat, Argilla 사이에서 Potato가 어디에 자리하는지를 솔직하게 살펴봅니다.

May 20, 20262 min read
Guides6 min read

AI 주석자를 위한 코드북: 코딩 스킴을 신뢰할 수 있는 LLM 라벨러로 바꾸기

Guides2 min read

스팬 어노테이션으로 환각 찾아내기

Guides2 min read

실제로 몇 명의 어노테이터가 필요할까요?

Guides2 min read

사람의 어노테이션으로 RAG 시스템 평가하기

Announcements

코딩 에이전트 어노테이션 발표: Claude Code, Aider, SWE-Agent 트레이스를 평가하세요

이제 Potato는 diff 렌더링, 터미널 출력 표시, 프로세스 보상 스키마를 갖춘 코딩 에이전트 어노테이션을 지원합니다. Claude Code, Aider, SWE-Agent의 트레이스를 가져오세요.

Mar 27, 20268 min read
Guides

더 나은 코딩 에이전트를 학습하기 위한 프로세스 보상 데이터 수집 방법

Potato를 사용해 PRM 학습을 위한 단계별 보상 신호를 수집하는 단계별 가이드. 첫-오류 모드, 단계별 어노테이션, 학습 파이프라인으로의 내보내기를 다룹니다.

Mar 26, 20269 min read
Tutorials10 min read

관찰, 일시정지, 되감기: Potato의 실시간 코딩 에이전트 관찰

Guides12 min read

AI 에이전트를 나란히 비교하기: 이진, 척도, 다차원 모드

Guides13 min read

단계별 오류 위치 파악: 트래젝토리 평가로 에이전트가 실패하는 지점 찾기

Tutorials10 min read

AI 코딩 에이전트를 위한 GitHub PR 스타일 코드 리뷰

Guides

에이전트 평가를 위한 Potato vs LangSmith 및 Langfuse: 실전 비교

에이전트 평가를 위해 Potato를 LangSmith, Langfuse, Labelbox, Scale AI와 비교합니다: 트레이스 렌더링, 단계별 및 멀티 에이전트 어노테이션, 멀티모달 에이전트 리뷰, 코딩 에이전트, 실시간 관찰, 가격, 자체 호스팅.

Mar 21, 202613 min read
Tutorials

Potato에서 MT-Bench 스타일의 루브릭 평가로 AI 에이전트 평가하기

맞춤 기준, 구성 가능한 평가 척도, 차원별 가중치를 갖춘 다기준 루브릭 평가를 Potato의 rubric_eval로 설정하여 AI 에이전트를 체계적으로 평가합니다.

Mar 20, 202613 min read
Release4 min read

Potato 2.4.0: 웹 에이전트 어노테이션, 실시간 평가, HuggingFace 통합

Announcements9 min read

Potato 2.3: 에이전트 어노테이션, Solo Mode, 그리고 인간 평가의 미래

Guides9 min read

AI 에이전트 평가: 에이전트 트레이스의 인간 어노테이션 완벽 가이드

Tutorials10 min read

솔로 모드: 한 명의 어노테이터가 10,000개의 예시를 레이블링하는 방법

Guides

웹 브라우징 에이전트 어노테이션: WebArena 트레이스에서 인간 평가까지

Potato의 웹 에이전트 트레이스 표시 기능으로 자율 웹 브라우징 에이전트를 평가하는 방법을, 단계별 스크린샷, SVG 오버레이, 단계별 어노테이션 스키마와 함께 알아봅니다.

Mar 6, 20269 min read
Announcements

Potato 2.2: 이벤트, 엔터티 연결, 내보내기, 55개 설문 도구

Potato 2.2.0은 9개의 새로운 어노테이션 스키마, 플러그형 내보내기 시스템, MACE 역량 추정, 검증된 55개 설문 도구, 원격 데이터 소스를 추가합니다.

Feb 20, 20264 min read
Announcements6 min read

Potato 2.1: 인스턴스 표시, 비주얼 AI, 스팬 연결

Guides8 min read

비주얼 AI로 이미지 및 동영상 어노테이션 속도 높이기

Guides8 min read

Label Studio에서 Potato로 마이그레이션하기

Guides4 min read

Prolific에서 어노테이션 연구 진행하기

Guides

법률 문서 주석 모범 사례

스팬 라벨링, 개체 추출, 프라이버시를 우선하는 자체 호스팅 배포로 Potato에서 계약서, 법원 제출 서류, 규제 텍스트 등 법률 문서에 주석을 답니다.

Jan 18, 20266 min read
Guides

Potato로 의료 영상 어노테이션하기

Potato에서 의료 영상을 어노테이션하는 모범 사례, DICOM 표시, 영상의학 판독문 라벨링, 이상반응 추출, IRB 준수 자체 호스팅 배포를 다룹니다.

Jan 18, 20264 min read
Tutorials4 min read

세그멘테이션 작업을 위한 폴리곤 어노테이션

Guides3 min read

능동 학습: 더 힘들게가 아니라 더 똑똑하게 어노테이션하기

Tutorials4 min read

객체 탐지를 위한 바운딩 박스 그리기

Guides4 min read

주석을 Hugging Face Datasets로 내보내기

Tutorials

이미지 비교 및 선호도 작업

Potato에서 선호도 순위, A/B 테스트, 시각 품질 평가를 위한 나란히 보기 이미지 비교 작업을 무작위 순서와 쌍별 점수와 함께 구축합니다.

Jan 15, 20266 min read
Announcements

Potato 2.0 출시: AI 기반 어노테이션

Potato 2.0은 OpenAI 및 Claude를 활용한 AI 기반 사전 어노테이션, 오디오 및 비디오 멀티미디어 지원, 능동 학습, 바운딩 박스 어노테이션, 그리고 새롭게 디자인된 UI를 제공합니다.

Jan 15, 20263 min read
Guides3 min read

자동 키워드 강조

Guides6 min read

Amazon Mechanical Turk에 배포하기

Tutorials5 min read

감성 분석 작업 만들기

Guides6 min read

콘텐츠 모더레이션 어노테이션 설정

Guides

Potato의 커스텀 HTML 템플릿

HTML 템플릿, CSS 스타일링, JavaScript를 사용해 Potato에서 커스텀 어노테이션 인터페이스를 만드는 방법, 좌우 분할 레이아웃, 커스텀 위젯, 임베드된 미디어 표시까지 다룹니다.

Jan 12, 20265 min read
Tutorials

발음 평가 어노테이션

오디오 재생, 파형 시각화, Likert 평가 척도, 녹음별 자유 텍스트 피드백 필드를 갖춘 발음 품질 어노테이션 작업을 Potato로 구축합니다.

Jan 12, 20266 min read
Tutorials4 min read

화자 분리 주석

Tutorials3 min read

프레임 단위 컨트롤을 활용한 영상 주석

Tutorials5 min read

오디오 이벤트 탐지 및 태깅

Tutorials2 min read

5분 만에 Potato 시작하기

Guides

어노테이터 간 일치도 측정하기

Potato 어노테이션 프로젝트를 위해 Cohen의 카파, Fleiss의 카파, Krippendorff의 알파를 Python 코드 예제와 해석 지침과 함께 계산하고 해석해 보세요.

Jan 10, 20266 min read
Guides

크라우드소싱 어노테이션을 위한 품질 관리

어노테이션 프로젝트에서 어노테이션 품질을 보장하기 위한 모범 사례로, Potato와 함께 그리고 그 너머에서 구현할 수 있는 실용적인 전략을 포함합니다.

Jan 10, 20267 min read
Tutorials4 min read

Potato로 이미지 분류하기

Guides4 min read

스마트 주석 힌트를 위한 LLM 통합

Tutorials4 min read

음악 장르 분류 어노테이션

Guides6 min read

서버에 Potato 배포하기

Tutorials

다중 객체 추적 어노테이션

다중 객체 추적 어노테이션 개념과 Potato의 비디오 어노테이션 기능이 기본 추적 워크플로를 어떻게 지원할 수 있는지에 대한 개요입니다.

Jan 6, 20263 min read
Tutorials

음성에서 감정 분류하기

인터랙티브 파형 표시, 재생 속도 조절, 리커트 척도, 구성 가능한 감정 라벨 세트를 갖춘 오디오 감정 분류 작업을 Potato에서 만듭니다.

Jan 5, 20266 min read
Tutorials3 min read

첫 NER 어노테이션 작업 구축하기

Guides4 min read

Potato 데이터 형식 이해하기

Tutorials5 min read

오디오 전사 검토 설정하기

Announcements2 min read

EMNLP 2022에서 소개된 Potato