Il tab Adjudication
Il tab Adjudication è riservato ai revisori con ruolo di arbitro. Qui vengono raccolte le unità in cui i revisori umani hanno espresso giudizi discordanti: l'arbitro legge entrambe le annotazioni e sceglie quella da promuovere a verdetto definitivo.
Il tab è visibile solo agli utenti con il profilo Arbitro (o superiore). Gli annotatori standard vedono il tab ma non hanno unità in coda.
Come si arriva all'Adjudication
Un'unità entra in Adjudication quando i revisori umani che l'hanno annotata hanno espresso verdetti diversi — ad esempio uno ha scelto ADMIT e l'altro REJECT. Il sistema non può risolvere il disaccordo automaticamente e lo mette in coda per l'arbitrato umano.
Le unità in stato DISAGREEMENT sono già visibili nell'Overview (card DISACCORDI) e nella lista dei rispettivi tab di annotazione, ma il verdetto finale viene fissato solo qui.
Come leggere le card in Adjudication
Per ogni unità in disaccordo la pagina mostra:
Testo dell'unità — il requisito da arbitrare, in un riquadro citazione per renderlo immediatamente leggibile senza riaprire il documento.
Annotazioni dei revisori — sotto il testo compaiono le annotazioni di ciascun revisore umano, nella forma:
Reviewer N DECISIONE · CLASSE · MOTIVAZIONE
| Campo | Valori possibili |
|---|---|
| DECISIONE | ADMIT (rilevante per il proponente) · REJECT (non rilevante) · UNCERTAIN |
| CLASSE | La classe semantica scelta dal revisore (es. APPLICANT_REQUIREMENT, CONTEXT, EVALUATION_EXPECTATION…) |
| MOTIVAZIONE | Il codice motivazione scelto (es. EXPLICIT_APPLICANT_OBLIGATION, CONTEXT_ONLY…) |
Esempio di disaccordo:
Reviewer 1 ADMIT · EVALUATION_EXPECTATION · EVALUATION_EXPECTATION
Reviewer 2 REJECT · CONTEXT · CONTEXT_ONLY
In questo caso un revisore ha ritenuto il testo un requisito di valutazione, l'altro lo ha classificato come semplice contesto. L'arbitro deve scegliere quale delle due letture è corretta.
Come arbitrare: i bottoni Approva Reviewer N
Sotto ogni unità trovi un bottone per ciascun revisore: Approva Reviewer 1, Approva Reviewer 2 (e così via se ci sono più revisori).
Cliccare Approva Reviewer N significa:
- Scegliere l'annotazione di quel revisore come verdetto definitivo.
- Portare l'unità dallo stato DISAGREEMENT allo stato GOLDEN.
- Rimuovere l'unità dalla coda di Adjudication.
Leggi il testo dell'unità nel suo contesto originale prima di decidere (puoi cliccare il testo per riaprire la vista di dettaglio). Considera:
- Quale lettura è più fedele alla formulazione letterale del bando?
- La classe e la motivazione scelte dal revisore sono coerenti tra loro?
- L'altra annotazione potrebbe avere senso in un'interpretazione alternativa ma meno probabile?
Non esistono risposte sempre ovvie: l'arbitrato è un giudizio esperto, non un controllo formale.
Stato GOLDEN dopo l'Adjudication
Quando tutte le unità in disaccordo vengono arbitrate, il contatore DISACCORDI nell'Overview scende a zero e quelle unità confluiscono nel contatore GOLDEN: hanno ora un verdetto definitivo validato da almeno un revisore umano e confermato dall'arbitro.
Le unità GOLDEN contribuiscono direttamente alla qualità del dataset e sono quelle utilizzate per l'addestramento e la valutazione dei modelli.