Configurazione del motore di etichettatura

Tutto ciò che fa il motore di etichettatura si imposta in un unico blocco labeling_engine. Un blocco non valido blocca il server all'avvio ed elenca tutti i problemi in una volta. Perché agli annotatori vengano servite le richieste del motore, imposta anche assignment_strategy: engine. Impostare questa strategia senza un motore attivo è un errore di validazione.

Il blocco ha queste sezioni, ciascuna descritta più sotto:

assignment_strategy: engine
 
labeling_engine:
  enabled: true
  schemas: [sentiment]            # default: every scheme a source can label
  sources: []
  cascade: [laya, gemma]          # default: the first source alone
  contracts: []
  humans: {}
  crowd: {}
  budgets: {}
  runtime: {}
  features: {}
  redaction: {}
  distill: {}

Chiavi di primo livello

Cinque chiavi stanno direttamente sotto labeling_engine:

Fonti

Una fonte è un modello, o un insieme di etichette esistenti, che propone un'etichetta e una confidenza per ogni item. Ogni fonte ha un id univoco e un kind, e una chiave sconosciuta su una fonte è un errore:

Tutto ciò che può cambiare una risposta (modello, prompt, temperatura, opzioni) entra nell'hash di versione della fonte. Una nuova versione rende stale ogni contratto che dipende dalla fonte.

Una risposta che non è un valore ammesso dallo schema, come un'etichetta assente dalla sua lista, un campo numerico che non è un numero o una lista su uno schema a scelta singola tra N, viene registrata come errore e mai come etichetta, e il messaggio dell'esecuzione conta questi errori. Un item le cui chiamate falliscono viene richiesto di nuovo nelle esecuzioni successive, al massimo tre volte per versione della fonte, e dopo aspetta una fonte modificata (una chiave o un prompt corretti sono una nuova versione). Un'esecuzione in cui una fonte fallisce non ferma gli altri livelli. Il livello successivo etichetta ogni item, e potato label run termina con stato 1 e nomina la fonte fallita.

Metodi di confidenza

Le regole di accettazione del motore applicano una soglia alla confidenza di ogni predizione, quindi il modo in cui una fonte dichiara la confidenza decide quanto il motore può accettare. confidence.method accetta uno di cinque valori:

Opzioni specifiche del tipo

Cinque tipi di fonte leggono opzioni proprie:

• decision copre Laya in-process, o qualsiasi server /v1/systemone come Jev o OpenJev in hosting. Un solo forward pass restituisce una probabilità per ogni opzione, e funziona su schemi radio, select, likert e slider. endpoint_type deve essere laya o systemone, e systemone richiede base_url, la radice del server (è accettato anche un URL che termina con /v1/systemone). In entrambi i casi lo stato viene inviato come {"text": ...}, quindi un checkpoint dà le stesse risposte in-process e dietro laya-serve, e options: {state_key: ""} invia invece la stringa semplice. Sulle scale di valutazione (likert, slider) i punteggi di Laya seguono a fatica la scala, quindi controlla qualche item prima di farci affidamento. L'endpoint laya in-process richiede pip install 'potato-annotation[decision]'.
• detector legge i box da un object detector su schemi image_annotation. keep_threshold (0.35) imposta il punteggio a partire dal quale un box fa parte della predizione. I box tra candidate_threshold (0.05) e keep_threshold abbassano la confidenza dell'immagine. label_map associa le classi del detector alle etichette dello schema, e le classi non associate vengono ignorate. image_field nomina il campo dell'item con il percorso o l'URL dell'immagine. I percorsi vengono risolti come li risolve la pagina di annotazione, con /media/x.jpg sotto la media_directory del task e un percorso relativo sotto task_dir.
• judge accetta rubric (per default la descrizione dello schema), fields (i campi dell'item mostrati al giudice, in ordine) e swap_order, che chiede due volte con l'ordine delle etichette invertito e trasforma un verdetto che cambia in un'astensione. Sugli schemi per le tracce degli agenti (process_reward, trajectory_eval, ...) il giudice etichetta ogni passo.
• vlm usa un endpoint di visione (openai_vision, anthropic_vision, ollama_vision). Per un modello self-hosted dietro un server compatibile con OpenAI, usa openai_vision con base_url.
• trained accetta artifact_dir, trainer (sklearn-text per default) e run_id. Di solito questa fonte la crea la distillazione, non una configurazione scritta a mano.

humans

Il blocco humans stabilisce chi etichetta e come il motore campiona le persone:

crowd

Il blocco crowd si applica quando crowd è in humans.pools, e Prolific è l'unica piattaforma di crowdsourcing che il motore può pilotare:

Il reclutamento tramite crowdsourcing è per default una simulazione, e il planner riporta che cosa farebbe. Spendere denaro richiede features.crowd_live_spend: true e un limite budgets.human_usd, e una configurazione che attiva la spesa reale senza il limite viene rifiutata. Crowdsourcing spiega come configurare lo studio Prolific stesso.

budgets

Il blocco budgets ferma la spesa prima che un limite venga superato:

runtime

Il blocco runtime controlla il batching, la concorrenza e per quanto tempo una persona può tenere in carico una richiesta:

features

Ogni funzionalità è disattivata per default tranne drift:

redaction

redaction.categories elenca quali tra email, url, ip, card, ssn, phone e handle mascherare, e per default li include tutti. Il mascheramento si applica solo con features.pii_redaction, e solo alle API di terze parti. I tipi di endpoint self-hosted (vllm, ollama, laya, yolo, ...) non vengono mascherati ovunque siano in esecuzione, e nemmeno un endpoint il cui base_url è sulla stessa macchina.

distill

Con features.distill attiva, il motore addestra un modello economico sulle etichette dello studio e lo mette per primo nella cascata:

Gli item delle partizioni cert e audit non entrano mai nel training set, quindi il modello distillato non viene mai testato su etichette su cui è stato addestrato.

Validazione

potato validate config.yaml controlla il blocco labeling_engine insieme al resto della configurazione, e ogni errore nomina la sua chiave, per esempio labeling_engine.sources[1].kind must be one of ... o labeling_engine.contracts[0].error is required for selective_risk. La validazione rifiuta anche:

• una chiave di contratto che il tipo di contratto non legge, come un refuso di error;
• un contratto su uno schema che nessuna fonte della cascata può etichettare, con il motivo per ogni fonte;
• un contratto su uno schema che il motore non può valutare (testo libero, pairwise);
• una fonte decision il cui endpoint_type non è un modello decisionale, e una fonte llm, vlm o judge il cui endpoint_type lo è; e
• no_worse_than_human con humans.overlap_k inferiore a 3.

La validazione avvisa anche quando budgets.human_labels è troppo piccolo per certificare un contratto selective_risk anche se ogni risposta della macchina fosse giusta. Aumenta il budget, o allenta error, finché l'avviso non scompare.

Approfondimenti

• Il motore di etichettatura
• Contratti del motore di etichettatura
• Riga di comando, REST API, strumenti MCP e SDK
• Supporto IA, per i tipi di endpoint che le fonti condividono con il resto di Potato

Per i dettagli di implementazione, consulta la documentazione sorgente.