새로운 기능

이 페이지에서는 Potato v2.x 릴리스 전반의 새로운 기능과 개선 사항을 다룹니다.

Potato 2.3.0

2026년 3월 9일 출시

Potato 2.3은 Potato 역사상 가장 큰 릴리스로, 에이전트 주석, 솔로 모드, 최선-최악 척도, SSO/OAuth 인증, Parquet 내보내기, 15개의 새로운 데모 프로젝트, 그리고 보안 강화를 도입합니다.

에이전트 주석

인간 주석을 통해 AI 에이전트를 평가하기 위한 완전한 시스템입니다. 12개의 트레이스 형식 변환기, 3가지 특화된 표시 유형, 9개의 사전 구축된 주석 스키마가 포함되어 있습니다.

12개의 트레이스 형식 변환기 — OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF, 그리고 원시 브라우저 기록에서 에이전트 트레이스를 가져옵니다. 자동 감지를 사용할 수 있습니다.

agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3가지 표시 유형:

• 에이전트 트레이스 표시 — 접을 수 있는 관찰 항목, 보기 좋게 정리된 JSON, 그리고 도구를 사용하는 에이전트를 위한 타임라인 사이드바가 있는 색상으로 구분된 단계 카드
• 웹 에이전트 트레이스 표시 — 클릭 대상, 텍스트 입력, 스크롤 동작을 보여주는 SVG 오버레이가 있는 전체 스크린샷, 그리고 탐색 에이전트를 위한 필름스트립 내비게이션
• 대화형 채팅 표시 — 실시간 채팅 모드(주석자가 프록시를 통해 에이전트와 상호작용)와 대화형 에이전트를 위한 트레이스 검토 모드

턴별 평가 — 세밀한 평가를 위해 전체 트레이스와 함께 개별 단계를 평가합니다.

9개의 사전 구축된 스키마 — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality.

에이전트 프록시 시스템 — 실시간 에이전트 평가를 위한 OpenAI, HTTP, echo 프록시.

에이전트 주석에 대해 자세히 알아보기 →

솔로 모드

단일 인간 주석자가 LLM과 협업하여 전체 데이터셋을 레이블링하는 12단계 지능형 워크플로로, 다중 주석자 파이프라인 대비 95% 이상의 일치도를 달성하면서도 전체 인간 레이블의 10-15%만 필요로 합니다.

12단계:

1. 시드 주석 — 인간이 50개의 다양한 인스턴스를 레이블링합니다
2. 초기 LLM 보정 — LLM이 시드 예제를 사용하여 레이블링합니다
3. 혼동 분석 — 체계적인 불일치 패턴을 식별합니다
4. 지침 개선 — LLM이 제안하고 인간이 업데이트된 지침을 승인합니다
5. 레이블링 함수 생성 — ALCHEmist에서 영감을 받은 프로그래밍 방식의 규칙
6. 능동 레이블링 — 인간이 가장 유용한 인스턴스를 레이블링합니다
7. 자동화된 개선 루프 — 개선된 지침으로 반복적인 재레이블링
8. 불일치 탐색 — 인간이 LLM/LF 충돌을 해결합니다
9. 엣지 케이스 합성 — LLM이 인간 레이블링을 위한 모호한 예제를 생성합니다
10. 단계적 신뢰도 에스컬레이션 — 인간이 신뢰도가 가장 낮은 레이블을 검토합니다
11. 프롬프트 최적화 — DSPy에서 영감을 받은 자동화된 프롬프트 탐색
12. 최종 검증 — 무작위 표본 검토

solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

다중 신호 인스턴스 우선순위 지정 — 가장 가치 있는 인스턴스를 선택하기 위한 6개의 가중치 풀(불확실, 불일치, 경계, 새로움, 오류_패턴, 무작위).

솔로 모드에 대해 자세히 알아보기 →

최선-최악 척도

주석자가 튜플에서 최선과 최악의 항목을 선택하는 효율적인 비교 주석입니다. 균형 잡힌 불완전 블록 설계를 통한 자동 튜플 생성과 세 가지 채점 방법(계수, Bradley-Terry, Plackett-Luce)을 제공합니다.

annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    items_key: "translations"
    tuple_size: 4
    best_label: "Most Fluent"
    worst_label: "Least Fluent"
    scoring:
      method: bradley_terry

최선-최악 척도에 대해 자세히 알아보기 →

SSO 및 OAuth 인증

Google OAuth(도메인 제한), GitHub OAuth(조직 제한), 그리고 일반 OIDC(Okta, Azure AD, Auth0, Keycloak)를 갖춘 프로덕션 준비 인증입니다. 자동 등록, 혼합 모드, 세션 관리를 지원합니다.

authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

SSO 및 OAuth에 대해 자세히 알아보기 →

Parquet 내보내기

주석을 Apache Parquet 형식으로 내보내 세 개의 구조화된 파일을 생성합니다: annotations.parquet, spans.parquet, items.parquet. snappy, gzip, zstd, lz4, brotli 압축, 증분 내보내기, 그리고 날짜/주석자 파티셔닝을 지원합니다. pandas, DuckDB, PyArrow, Polars, Hugging Face Datasets와 호환됩니다.

parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Parquet 내보내기에 대해 자세히 알아보기 →

15개의 새로운 데모 프로젝트

project-hub/에 에이전트 주석(데모 5개), 솔로 모드(데모 3개), 최선-최악 척도(데모 3개), 인증(데모 2개), 내보내기 워크플로(데모 2개)를 다루는 새로운 데모가 추가되었습니다. potato start config.yaml로 어떤 데모든 시작할 수 있습니다.

보안 강화

• 구성 가능한 만료 기간을 갖춘 암호학적으로 안전한 세션 토큰
• 기본적으로 활성화된 CSRF 보호
• 인증 엔드포인트의 속도 제한
• 사용자가 제공한 콘텐츠에 대한 입력 정제
• 모든 패키지를 업데이트한 의존성 감사
• 콘텐츠 보안 정책 헤더

기타 개선 사항

• 지원되지 않는 에이전트 프레임워크를 위한 사용자 정의 트레이스 변환기
• 다중 주석자 검증 샘플링이 포함된 하이브리드 솔로 모드
• 점수 수렴 차트가 있는 BWS 관리자 대시보드 탭
• 날짜 파티셔닝을 통한 증분 Parquet 내보내기

v2.2 대 v2.3 비교

Potato 2.2.0

2026년 2월 20일 출시

Potato 2.2는 9개의 새로운 주석 스키마, 플러그형 내보내기 시스템, MACE 역량 추정, 55개의 검증된 설문 도구, 그리고 원격 데이터 소스를 갖춘 주요 기능 릴리스입니다.

새로운 주석 스키마 (9개)

이벤트 주석 — 트리거 스팬과 유형이 지정된 인수 역할을 갖춘 n-항 이벤트 구조입니다. 제약된 엔티티 인수와 허브-스포크 호 시각화로 ATTACK, HIRE, TRAVEL과 같은 이벤트를 주석 처리합니다.

annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

이벤트 주석에 대해 자세히 알아보기 →

엔티티 연결 — 스팬 주석을 외부 지식 베이스(Wikidata, UMLS, 사용자 정의 REST API)에 연결합니다. 모든 스팬 스키마에 entity_linking: 블록을 추가하여 KB 검색 및 연결을 활성화하세요.

엔티티 연결에 대해 자세히 알아보기 →

선별 — 빠른 데이터 선별을 위한 Prodigy 스타일의 수락/거부/건너뛰기 인터페이스입니다. 사용자 정의 가능한 레이블, 키보드 단축키, 그리고 고처리량 주석을 위한 자동 진행을 제공합니다.

선별에 대해 자세히 알아보기 →

쌍 비교 — 이진(선호하는 타일 클릭) 또는 척도(슬라이더) 모드로 두 항목을 비교합니다. items_key, allow_tie, 그리고 구성 가능한 범위의 scale: 블록을 지원합니다.

쌍 비교에 대해 자세히 알아보기 →

대화 트리 — 노드별 평가, 경로 선택, 분기 비교를 통해 계층적 대화 구조를 주석 처리합니다.

대화 트리에 대해 자세히 알아보기 →

상호참조 체인 — 시각적 표시기로 상호참조하는 텍스트 멘션을 체인으로 그룹화합니다. 엔티티 유형, 단일 항목 제어, 다중 강조 모드를 지원합니다.

상호참조 체인에 대해 자세히 알아보기 →

세그멘테이션 마스크 — 픽셀 단위 이미지 세그멘테이션을 위한 새로운 fill, eraser, brush 도구.

PDF/문서용 경계 상자 — 문서 주석 작업을 위해 PDF 페이지에 상자를 그립니다.

불연속 스팬 — allow_discontinuous: true는 비연속 텍스트 세그먼트를 단일 스팬으로 선택할 수 있게 합니다.

지능형 주석

MACE 역량 추정 — 참 레이블과 주석자 역량 점수(0.0-1.0)를 공동으로 추정하는 변분 베이즈 EM 알고리즘입니다. radio, likert, select, multiselect 스키마와 함께 작동합니다.

mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

MACE에 대해 자세히 알아보기 →

옵션 강조 — 이산 주석 작업에서 정답일 가능성이 높은 옵션을 LLM 기반으로 강조합니다. 가능성이 낮은 옵션은 흐리게 표시하면서 상위 k개 옵션을 별표 표시기로 강조합니다.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

옵션 강조에 대해 자세히 알아보기 →

다양성 정렬 — 임베딩 기반 클러스터링과 라운드 로빈 샘플링을 통해 주석자가 연속된 유사 항목 대신 다양한 콘텐츠를 보도록 보장합니다.

assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

다양성 정렬에 대해 자세히 알아보기 →

내보내기 시스템

새로운 플러그형 내보내기 CLI(python -m potato.export)는 주석을 6가지 업계 표준 형식으로 변환합니다: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U, 세그멘테이션 마스크.

python -m potato.export --config config.yaml --format coco --output ./export/

내보내기 형식에 대해 자세히 알아보기 →

원격 데이터 소스

새로운 data_sources: 구성 블록을 통해 URL, S3, Google Drive, Dropbox, Hugging Face, Google Sheets, SQL 데이터베이스에서 주석 데이터를 불러옵니다. 부분 로딩, 캐싱, 자격 증명 관리를 포함합니다.

원격 데이터 소스에 대해 자세히 알아보기 →

설문 도구

8개 범주(성격, 정신 건강, 정서, 자기 개념, 사회적 태도, 응답 양식, 단축형, 인구통계)에 걸친 55개의 검증된 설문지입니다. instrument: "tipi"로 사전 연구/사후 연구 단계에서 사용하세요.

설문 도구에 대해 자세히 알아보기 →

기타 개선 사항

• 키프레임 보간을 통한 비디오 객체 추적
• 외부 AI 구성 파일 지원
• 폼 레이아웃 그리드 개선
• PDF, Word, 코드, 스프레드시트용 형식 핸들러

Potato 2.1.0

2026년 2월 5일 출시

Potato 2.1은 인스턴스 표시 시스템, 시각적 AI 지원, 스팬 연결, 다중 필드 스팬 주석, 그리고 레이아웃 사용자 정의를 도입합니다.

인스턴스 표시 시스템

콘텐츠 표시를 주석에서 분리하는 새로운 instance_display 구성 블록입니다. 이미지, 비디오, 오디오, 텍스트, 대화의 어떤 조합이든 모든 주석 스키마와 함께 표시합니다.

instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document, pdf를 포함한 11가지 표시 유형을 지원합니다.

인스턴스 표시에 대해 자세히 알아보기 →

다중 필드 스팬 주석

이제 스팬 주석 스키마는 동일한 인스턴스 내 여러 텍스트 필드에 걸쳐 주석을 달 수 있는 target_field 옵션을 지원합니다.

annotation_schemes:
  - annotation_type: span
    name: source_entities
    target_field: "source_text"
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    target_field: "summary"
    labels: [PERSON, ORGANIZATION]

스팬 주석에 대해 자세히 알아보기 →

스팬 연결

주석된 스팬 간에 유형이 지정된 관계를 생성하기 위한 새로운 span_link 주석 유형입니다. 방향성 및 비방향성 링크, n-항 관계, 시각적 호 표시, 레이블 제약을 지원합니다.

annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

스팬 연결에 대해 자세히 알아보기 →

시각적 AI 지원

AI 기반 이미지 및 비디오 주석 지원을 위한 4개의 새로운 비전 엔드포인트:

• YOLO — 빠른 로컬 객체 감지
• Ollama Vision — 로컬 비전-언어 모델(LLaVA, Qwen-VL)
• OpenAI Vision — GPT-4o 클라우드 비전
• Anthropic Vision — 비전이 있는 Claude

객체 감지, 사전 주석, 분류, 힌트, 장면 감지, 키프레임 감지, 객체 추적 등의 기능이 포함됩니다.

시각적 AI 지원에 대해 자세히 알아보기 →

레이아웃 사용자 정의

HTML 템플릿과 CSS를 사용하여 정교한 사용자 정의 시각적 레이아웃을 생성합니다. Potato는 편집 가능한 레이아웃 파일을 생성하거나, 그리드 레이아웃, 색상으로 구분된 옵션, 섹션 스타일링이 있는 완전한 사용자 정의 템플릿을 제공할 수 있습니다.

task_layout: layouts/custom_task_layout.html

콘텐츠 검토, 대화 QA, 의료 검토의 세 가지 예제 레이아웃이 포함되어 있습니다.

레이아웃 사용자 정의에 대해 자세히 알아보기 →

레이블 근거

각 레이블이 적용될 수 있는 이유에 대한 균형 잡힌 설명을 생성하여 주석자가 서로 다른 분류 관점을 이해하도록 돕는 네 번째 AI 기능입니다.

ai_support:
  features:
    rationales:
      enabled: true

AI 지원에 대해 자세히 알아보기 →

기타 개선 사항

• 신뢰성 향상을 위한 50개 이상의 새로운 테스트
• 반응형 디자인 개선
• 레이아웃 예제를 통한 향상된 project-hub 구성
• 주석 유형 전반의 버그 수정

v2.0 대 v2.1 비교

Potato 2.0

Potato 2.0은 지능적이고 확장 가능한 주석을 위한 강력한 새 기능을 도입하는 주요 릴리스입니다. 이 섹션에서는 핵심 추가 사항과 개선 사항을 소개합니다.

AI 지원

대규모 언어 모델을 통합하여 지능적인 힌트, 키워드 강조, 레이블 제안으로 주석자를 지원합니다.

지원되는 제공자:

• OpenAI (GPT-4, GPT-3.5)
• Anthropic (Claude 3, Claude 3.5)
• Google (Gemini)
• Ollama (로컬 모델)
• vLLM (자체 호스팅)

ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

AI 지원에 대해 자세히 알아보기 →

오디오 주석

Peaks.js로 구동되는 파형 시각화를 갖춘 모든 기능이 포함된 오디오 주석입니다. 세그먼트를 생성하고, 시간 영역에 레이블을 지정하며, 키보드 단축키로 음성을 주석 처리합니다.

주요 기능:

• 파형 시각화
• 세그먼트 생성 및 레이블링
• 세그먼트별 주석 질문
• 15개 이상의 키보드 단축키
• 서버 측 파형 캐싱

annotation_schemes:
  - annotation_type: audio
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

오디오 주석에 대해 자세히 알아보기 →

능동 학습

모델 불확실성을 기반으로 주석 인스턴스의 우선순위를 자동으로 지정합니다. 기존 주석으로 분류기를 학습시키고 주석자가 가장 유용한 예제에 집중하도록 합니다.

기능:

• 다양한 분류기 옵션(LogisticRegression, RandomForest, SVC, MultinomialNB)
• 다양한 벡터라이저(TF-IDF, Count, Hashing)
• 재시작 간 모델 지속성
• LLM 강화 선택
• 다중 스키마 지원

active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

능동 학습에 대해 자세히 알아보기 →

교육 단계

주요 작업 전에 연습 질문으로 주석자를 검증합니다. 즉각적인 피드백을 제공하고 구성 가능한 합격 기준을 통해 품질을 보장합니다.

기능:

• 정답이 알려진 연습 질문
• 즉각적인 피드백 및 설명
• 구성 가능한 합격 기준
• 재시도 옵션
• 관리자 대시보드의 진행 상황 추적

phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

교육 단계에 대해 자세히 알아보기 →

향상된 관리자 대시보드

주석 작업을 위한 포괄적인 모니터링 및 관리 인터페이스입니다.

대시보드 탭:

• 개요: 고수준 지표와 완료율
• 주석자: 성과 추적, 시간 분석
• 인스턴스: 불일치 점수와 함께 데이터 탐색
• 구성: 실시간 설정 조정

admin_api_key: ${ADMIN_API_KEY}

관리자 대시보드에 대해 자세히 알아보기 →

데이터베이스 백엔드

연결 풀링과 트랜잭션 지원을 갖춘 대규모 배포를 위한 MySQL 지원입니다.

database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

Potato는 첫 시작 시 필요한 테이블을 자동으로 생성합니다.

주석 기록

타임스탬프, 사용자 ID, 작업 유형과 함께 모든 주석 변경 사항을 완전히 추적합니다. 감사와 행동 분석을 가능하게 합니다.

{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

다단계 워크플로

여러 순차적 단계로 복잡한 주석 워크플로를 구축합니다:

1. 동의 - 사전 동의 수집
2. 사전 연구 - 인구통계 및 선별
3. 안내 - 작업 지침
4. 교육 - 연습 질문
5. 주석 - 주요 작업
6. 사후 연구 - 피드백 설문

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

다단계 워크플로에 대해 자세히 알아보기 →

v2.0 구성 변경 사항

새로운 구성 구조

Potato 2.0은 더 깔끔한 구성 형식을 사용합니다:

v1 (이전):

data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (신규):

data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

보안 요구 사항

이제 구성 파일은 task_dir 내에 위치해야 합니다:

# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

빠른 비교

마이그레이션 가이드

구성 업데이트 (v1에서 v2로)

1. 데이터 구성

   yamlCopy

   # Old
   id_key: id
   text_key: text
    
   # New
   item_properties:
     id_key: id
     text_key: text

2. 출력 구성

   yamlCopy

   # Old
   output_file: annotations.json
    
   # New
   output_annotation_dir: "output/"
   output_annotation_format: "json"

3. 구성 파일 위치 구성 파일이 프로젝트 디렉터리 내에 있는지 확인하세요.

서버 시작

# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

시작하기

Potato를 사용해 볼 준비가 되셨나요? 빠른 시작 가이드로 시작하거나 특정 기능을 살펴보세요:

v2.3 기능:

• 에이전트 주석 - 12개의 변환기와 3가지 표시 유형으로 AI 에이전트 평가
• 솔로 모드 - 인간-LLM 협업 레이블링
• 최선-최악 척도 - 채점이 포함된 비교 주석
• SSO 및 OAuth - Google, GitHub, OIDC 인증
• Parquet 내보내기 - 컬럼형 데이터 내보내기

v2.2 기능:

• 이벤트 주석 - n-항 이벤트 구조
• 엔티티 연결 - 지식 베이스 연결
• 선별 - 빠른 데이터 선별
• 상호참조 체인 - 엔티티 상호참조
• 대화 트리 - 계층적 대화 주석
• MACE - 주석자 역량 추정
• 옵션 강조 - AI 지원 옵션 안내
• 다양성 정렬 - 임베딩 기반 항목 정렬
• 내보내기 형식 - 6가지 형식의 내보내기 CLI
• 원격 데이터 소스 - 클라우드 데이터 로딩
• 설문 도구 - 55개의 검증된 설문지

v2.1 기능:

• 인스턴스 표시 - 멀티모달 콘텐츠 표시
• 시각적 AI 지원 - 이미지 및 비디오 주석을 위한 AI
• 스팬 연결 - 엔티티 관계 주석

핵심 기능:

• AI 지원 - 지능형 주석 지원
• 능동 학습 - 스마트 인스턴스 우선순위 지정
• 오디오 주석 - 파형 기반 주석
• 교육 단계 - 주석자 검증
• 관리자 대시보드 - 모니터링 및 관리