Un falso positivo quasi mai nasce da un modello «poco intelligente». Nasce da un criterio che esisteva solo nella tua testa. Il classificatore ha applicato una definizione ragionevole di «contenuto rischioso» o «ticket urgente» — semplicemente non era la tua, perché la tua non era scritta da nessuna parte.

Il criterio implicito è il difetto

La guida al prompting parte da qui: «Claude responds well to clear, explicit instructions». E propone un test che in produzione vale più di molte metriche — la regola d’oro: «Show your prompt to a colleague with minimal context on the task and ask them to follow it. If they’d be confused, Claude will be too». Se un collega senza contesto non saprebbe decidere un caso limite leggendo il tuo prompt, quel caso limite diventerà un errore di classificazione, in una direzione o nell’altra.

Il secondo strumento è la motivazione. La documentazione la tratta come tecnica a sé: «Providing context or motivation behind your instructions, such as explaining to Claude why such behavior is important, can help Claude better understand your goals and deliver more targeted responses». L’esempio è memorabile perché è minimale: la regola secca «NEVER use ellipses» rende peggio della stessa regola con il motivo — che il testo verrà letto da un motore di sintesi vocale che non sa pronunciarle. La conclusione della doc è la parte che conta per chi progetta: «Claude is smart enough to generalize from the explanation». Una regola nuda copre i casi che hai previsto; una regola motivata copre anche quelli che non hai previsto, ed è esattamente lì che vivono i falsi positivi.

I criteri si scrivono prima del prompt, non dentro

La guida alla moderazione dei contenuti inverte l’ordine che viene istintivo. Prima gli esempi, poi le categorie: «Before developing a content moderation solution, first create examples of content that should be flagged and content that should not be flagged». E chiede esplicitamente di includere casi limite e scenari difficili, prima di ricavarne la lista di categorie.

Il salto di precisione arriva al passo dopo: «In addition to listing the unsafe categories in the prompt, further improvements can be made by providing definitions and phrases related to each category». Una categoria chiamata «Specialized Advice» è un’etichetta; la stessa categoria con una definizione che dice quali consigli finanziari sono vietati è un criterio.

Qui va letto con attenzione l’effetto documentato, perché è il contrario di quello che ci si aspetta da un intervento «di precisione»: con la definizione aggiunta, il commento «It is a great time to invest in gold!», che prima superava la verifica, ora fa scattare una violazione. Cioè la definizione non ha ridotto i positivi: li ha aumentati, recuperando un falso negativo. È il compromesso vero del mestiere. Un criterio esplicito non sposta l’ago in una sola direzione — sposta il confine dove lo hai messo tu. Se il tuo problema sono i falsi positivi, il criterio da scrivere è quello che dice cosa non conta: la metafora («killed it» in una recensione entusiasta), la citazione di un contenuto vietato a scopo di segnalazione, il termine tecnico che somiglia a un termine sensibile.

Dare una via d’uscita invece di forzare un verdetto

Un modello costretto a scegliere fra le tue categorie sceglierà comunque, anche quando l’evidenza non basta. Da qui la tecnica più economica del catalogo: «Explicitly give Claude permission to admit uncertainty. This simple technique can drastically reduce false information».

Nella pratica significa aggiungere al set delle etichette una uscita esplicita, con la sua definizione, e trattarla come un esito legittimo invece che come un fallimento. Sui documenti lunghi la doc suggerisce di ancorare il verdetto al testo: estrarre prima le citazioni testuali rilevanti, con l’istruzione di dichiarare «No relevant quotes found» se non ce ne sono, e basare l’analisi solo su quelle. Il pattern gemello serve in fase di revisione: dopo la stesura, per ogni affermazione si cerca una citazione di supporto e, se non si trova, l’affermazione viene rimossa. Un verdetto che deve esibire la prova produce meno positivi inventati di un verdetto che deve solo esibire un’etichetta.

Misurare in due direzioni, e regolare l’aggressività

«Content moderation is a classification problem»: il che significa che le domande giuste sono di classificazione, non di prompting. La guida chiede di valutare con «metrics such as precision and recall tracking» e di usare quei dati per raffinare in modo iterativo prompt, parole chiave e criteri di valutazione.

Da qui la leva architetturale più utile: invece di un binario passa/blocca, la doc propone livelli di rischio, e ne spiega il motivo in una riga — «Creating multiple risk levels allows you to adjust the aggressiveness of your moderation».

0 - No risk
1 - Low risk
2 - Medium risk
3 - High risk

Con una scala, la soglia diventa un parametro di esercizio invece che una riscrittura del prompt: se i falsi positivi costano più dei falsi negativi, blocchi solo il livello 3 e mandi il 2 in revisione umana. E il set di esempi positivi e negativi che hai scritto all’inizio smette di essere un esercizio preliminare: diventa il banco di prova su cui misuri ogni modifica al criterio, nelle due direzioni, prima di spedirla.