Calibrazione: cosa vuol dire avere ragione al 70 per cento

La calibrazione è la corrispondenza tra quello che dichiari e quello che succede. Se sei calibrato, gli eventi che chiami al 70 per cento accadono circa il 70 per cento delle volte, quelli che chiami al 90 per cento circa il 90 per cento delle volte, e così via lungo la scala. È una proprietà di un gruppo di previsioni, mai di una sola. Una singola call al 70 per cento che si avvera non dimostra niente.

Come si legge una tabella di calibrazione in dieci secondi?

Una tabella di calibrazione raggruppa le tue previsioni risolte in fasce di confidenza e chiede, per ogni fascia, quante volte l'evento è davvero accaduto. A sinistra la probabilità dichiarata, a destra il tasso reale. Calibrazione perfetta vuol dire che le due colonne coincidono.

Ecco un esempio svolto: 100 previsioni risolte di una persona, divise in sei fasce. I numeri sono un'illustrazione, non call reali.

Fascia di confidenza	Call nella fascia	Probabilità media dichiarata	Volte che è accaduto	Tasso reale	Scarto
da 0 a 10 per cento	8	0,05	1	0,13	+0,08
da 10 a 30 per cento	12	0,20	3	0,25	+0,05
da 30 a 50 per cento	15	0,39	6	0,40	+0,01
da 50 a 70 per cento	20	0,59	12	0,60	+0,01
da 70 a 90 per cento	25	0,78	17	0,68	-0,10
da 90 a 100 per cento	20	0,94	15	0,75	-0,19

Leggi la colonna dello scarto e nient'altro. Vicino a zero nelle fasce centrali, negativo in alto, positivo in basso. Questa persona ha un eccesso di sicurezza: quando è certa, ha ragione meno di quanto dice, e quando liquida una possibilità, quella accade più spesso di quanto ammetta.

Che aspetto ha l'eccesso di sicurezza?

L'eccesso di sicurezza è una tabella in cui le fasce alte rendono meno del dichiarato e le fasce basse rendono di più. Disegnata come curva contro la diagonale, sta dentro la linea a entrambi gli estremi: troppo piatta, stretta attorno al centro dell'asse degli esiti mentre le probabilità dichiarate corrono verso i bordi.

Nella tabella qui sopra il danno è nella fascia da 90 a 100 per cento. Venti call dichiarate in media al 94 per cento si sono avverate 15 volte, cioè un tasso del 75 per cento. Quelle cinque sorprese costano care con qualunque punteggio a errore quadratico, e sono anche quelle che la gente ricorda.

La correzione è meccanica, non motivazionale. Se i tuoi 90 atterrano a 75, la prossima volta scrivi 75. Non devi diventare più informato per chiudere uno scarto di calibrazione. Devi smettere di usare numeri che il tuo storico non sostiene.

Perché anche il difetto di sicurezza è un errore?

Il difetto di sicurezza è lo schema opposto: gli eventi che hai chiamato al 70 per cento accadono l'85 per cento delle volte. La tua curva sta fuori dalla diagonale. Sembra più prudente ed è comunque sbagliato, perché hai lasciato informazione sul tavolo. Chi legge le tue previsioni non può recuperare la certezza in più che avevi e non hai dichiarato.

Anche i mercati predittivi mostrano questo schema, su certi tipi di domanda. In Decomposing Crowd Wisdom, un preprint arXiv del febbraio 2026 rivisto ad agosto 2026, Nam Anh Le ha analizzato 353 milioni di operazioni su 429.000 contratti binari di Kalshi e Polymarket e ha trovato che la calibrazione varia per dominio dell'evento, per tempo alla risoluzione e per dimensione dell'operazione, con i mercati politici che mostrano un difetto di sicurezza persistente e prezzi compressi verso il 50 per cento. Un prezzo che non si sbilancia è la versione di mercato dello stesso difetto.

Vale la pena tenere a mente il caso opposto. Il mercato Polymarket sul referendum italiano sulla giustizia era arrivato a dare il Sì al 74 per cento e il 1 marzo 2026 lo dava ancora al 55 per cento, tre settimane prima di un voto che ha vinto il No. Una call sola non dice niente sulla calibrazione di nessuno, ed è proprio il punto: per sapere se un prezzo, o una persona, dichiara numeri che stanno in piedi, servono decine di eventi risolti, non l'aneddoto di quello andato male.

Calibrazione, risoluzione e nitidezza: che differenza c'è?

La calibrazione è una parte su tre, e da sola non basta.

Allan Murphy ha mostrato in A New Vector Partition of the Probability Score, pubblicato nel 1973, che un punteggio a errore quadratico si scompone in tre termini: l'incertezza degli eventi in sé, l'affidabilità delle previsioni (questa è la calibrazione) e la risoluzione, cioè quanto il previsore ha separato gli eventi accaduti da quelli non accaduti.

• La calibrazione chiede se i tuoi numeri significano quello che dicono.
• La risoluzione chiede se i tuoi numeri distinguono i casi tra loro.
• La nitidezza è la versione in parole semplici della risoluzione: sei disposto ad allontanarti dal 50 per cento.

Dire 50 per cento su tutto è perfettamente calibrato e ha risoluzione zero. Ed è inutile. Conta la coppia: un buon previsore è calibrato e nitido.

Lo studio sui superforecaster di Barbara Mellers e colleghi, pubblicato su Perspectives on Psychological Science nel 2015, riporta i due numeri separatamente per i tre gruppi del Good Judgment Project. In media sul secondo e terzo anno di torneo, l'errore di calibrazione era 0,01 per i superforecaster, 0,03 per la fascia successiva di ottimi previsori e 0,04 per tutti gli altri, mentre la risoluzione era rispettivamente 0,40, 0,35 e 0,32. I superforecaster erano migliori su entrambe le dimensioni insieme, che è la parte difficile.

Quante previsioni risolte servono perché la curva significhi qualcosa?

Circa 100 previsioni risolte prima che valga la pena guardare la forma della curva, e qualche centinaio prima che uno scarto piccolo sia un fatto invece che rumore.

L'aritmetica è semplice rumore binomiale. Se il tuo tasso vero in una fascia è il 70 per cento e hai 20 call risolte in quella fascia, l'errore standard è circa 10 punti percentuali, quindi un tasso osservato da circa il 49 al 90 per cento è compatibile con l'essere perfettamente calibrati. Con 100 call nella fascia l'errore standard scende a circa 4,6 punti, e con 400 call a circa 2,3.

Due conseguenze pratiche. Primo, non riprogettare il tuo metodo dopo una dozzina di eventi risolti. Secondo, una curva a sei fasce richiede diverse centinaia di previsioni in totale, perché ogni fascia ha bisogno del suo campione. È il motivo principale per cui quasi tutte le affermazioni pubblicate sulla calibrazione sono più deboli di quanto sembrino.

Come si migliora la calibrazione?

Quattro abitudini, nell'ordine che rende di più.

1. Scrivi il numero prima di guardare qualsiasi cosa. Prima la tua probabilità, poi il prezzo di mercato, poi le notizie. Ancorarsi a un prezzo che hai già visto distrugge la prova sul tuo giudizio.
2. Registra ogni previsione, comprese quelle che ti imbarazzano. Uno storico che puoi potare non è uno storico. Per questo le call datate e non modificabili sono le uniche che vale la pena valutare.
3. Raggruppa e ricalcola ogni pochi mesi. Costruisci la tabella qui sopra con le tue previsioni risolte. La colonna dello scarto ti dice esattamente quali fasce spostare.
4. Usa più numeri. Nel Good Judgment Project i superforecaster hanno usato in media 57 valori di probabilità distinti sulle domande a cui hanno risposto, contro 29 e 30 dei due gruppi di confronto, ed erano più propensi a dare valori al singolo punto percentuale. Arrotondare a multipli di 10 buttava via informazione vera.

L'accuratezza si può misurare anche contro uno standard esterno fisso. Su ForecastBench, presentato a ICLR 2025, la mediana dei superforecaster ha ottenuto 0,096 su 498 domande mentre la mediana del pubblico ha ottenuto 0,121, con previsioni umane raccolte a luglio 2024. La calibrazione è una fetta grossa di quella distanza, ed è la parte che puoi correggere di proposito.

Dove si costruisce una curva senza un torneo?

Servono tre cose: un flusso di domande che si risolvono, un modo di registrare una probabilità che poi non si può cambiare, e un riferimento con cui confrontarsi.

Su insiderz una call è un'affermazione Sì o No su un evento reale con la tua confidenza attaccata. La call viene bloccata nell'istante in cui la pubblichi, con l'ora e il prezzo Polymarket di quel momento congelati accanto. Niente si può modificare o cancellare, né da te né da noi. Quando l'evento si risolve, la call viene valutata contro quel prezzo congelato, e il tuo profilo porta tutta la storia, anche le parti brutte. Gli eventi aperti sono qui e la classifica degli insider mostra chi è davanti al prezzo in questo momento.

insiderz è partito a settembre 2026, quindi non c'è ancora abbastanza storia risolta per una curva di calibrazione di tutta la piattaforma. Questi sono i conteggi finora.

Per il punteggio che unisce calibrazione e nitidezza in un numero solo, leggi il Brier score spiegato. Per cosa significa davvero una probabilità su un mercato prima di provare a eguagliarla, leggi cosa vuol dire una probabilità del 34 per cento. Per le abitudini dietro la migliore calibrazione mai misurata, leggi i superforecaster.