Il Brier score spiegato in parole semplici

Il Brier score misura quanto le tue probabilità erano lontane dalla realtà. Per ogni previsione prendi la probabilità che hai dato, sottrai l'esito scritto come 1 se è successo e 0 se non è successo, ed elevi al quadrato. Poi fai la media su tutte le previsioni. Zero è perfetto, 0,25 è quello che ottieni dicendo sempre 50 per cento, e 1 è il massimo errore possibile.

Cos'è il Brier score, in una frase e un esempio?

In una frase: il Brier score è l'errore quadratico medio di una previsione probabilistica, dove l'esito vale 1 oppure 0.

In un esempio: dici che un candidato ha il 70 per cento di probabilità di vincere, e il candidato vince. L'errore su quella previsione è 1 meno 0,70, cioè 0,30. Al quadrato fa 0,09. Se fosse la tua unica previsione, il tuo Brier score sarebbe 0,09.

Il punteggio arriva dalla meteorologia. Glenn Brier lo propose in Verification of Forecasts Expressed in Terms of Probability, pubblicato su Monthly Weather Review nel gennaio 1950, per valutare le previsioni di pioggia. Da allora è la misura di accuratezza predefinita per le previsioni probabilistiche.

Qual è la formula?

La formula, una volta sola: il Brier score è la media di (p meno o) al quadrato, dove p è la tua probabilità tra 0 e 1 e o vale 1 se l'evento è accaduto e 0 se non è accaduto.

C'è una trappola da conoscere. La definizione originale di Brier del 1950 somma l'errore quadratico su ogni esito possibile, quindi per una domanda Sì o No somma l'errore sul "sì" e quello sul "no" e va da 0 a 2. La versione che oggi usano quasi tutti per le domande binarie conta un lato solo e va da 0 a 1. Le due differiscono di un fattore due. Mellers e colleghi hanno usato la versione da 0 a 2 nel loro articolo del 2015 sui superforecaster, quindi un punteggio di quella letteratura non è confrontabile direttamente con uno 0,096 di un benchmark binario moderno. Controlla sempre quale versione usa un numero prima di confrontarlo con il tuo.

Un esempio svolto

Cinque call, cinque esiti, un punteggio. La colonna dell'esito vale 1 se è successo e 0 se non è successo.

Call	La tua probabilità	Esito	Errore	Errore al quadrato
Il presidente uscente viene rieletto	0,85	1	0,15	0,0225
La legge passa entro dicembre	0,60	0	0,60	0,3600
Taglio dei tassi alla prossima riunione	0,30	0	0,30	0,0900
La squadra si qualifica	0,95	1	0,05	0,0025
La fusione si chiude entro il trimestre	0,40	1	0,60	0,3600

Gli errori al quadrato sommano 0,835. Diviso cinque call, il Brier score è 0,167. Le due call che fanno male sono quelle in cui eri sicuro dalla parte sbagliata, ed è proprio il senso dell'elevare al quadrato: sbagliare di 60 punti costa sedici volte quello che costa sbagliare di 15.

Questi numeri sono un esempio svolto, non call reali.

Perché 0,25 è il numero da ricordare?

0,25 è il punteggio che ottieni dicendo 50 per cento su tutto, per sempre. L'errore è sempre 0,5, e 0,5 al quadrato fa 0,25. Non conta cosa succede e non conta quanto sono difficili le domande.

Questo rende 0,25 il confine tra dire qualcosa e non dire niente. Un punteggio sopra 0,25 vuol dire che le tue probabilità erano peggio che inutili: avresti fatto meglio a non rispondere. Un punteggio sotto 0,25 vuol dire che portavi informazione. Quanto sotto è l'unica domanda interessante.

Cos'è un buon Brier score?

Non esiste un buon punteggio universale, perché il punteggio dipende dalle domande. Chi chiama solo quasi certezze batterà chi affronta eventi davvero incerti, e il secondo è più utile. Un Brier score citato senza il suo insieme di domande non è un dato, è un ornamento.

Detto questo, ecco alcuni punti di riferimento da benchmark pubblicati, ciascuno con il suo insieme di domande e la sua data.

Previsore o regola	Brier score	Insieme di domande	Data
Previsore perfetto	0,000	qualsiasi	per definizione
Mediana superforecaster, domande da mercati	0,074	ForecastBench, N=76	previsioni umane raccolte a luglio 2024
Mediana superforecaster, complessiva	0,096	ForecastBench, N=498	previsioni umane raccolte a luglio 2024
Mediana del pubblico, complessiva	0,121	ForecastBench, N=498	previsioni umane raccolte a luglio 2024
Miglior modello linguistico (Claude 3.5 Sonnet)	0,122	ForecastBench, N=498	previsioni umane raccolte a luglio 2024
Dire 50 per cento su tutto	0,250	qualsiasi	per definizione
Previsore massimamente sbagliato	1,000	qualsiasi	per definizione

Le quattro righe di benchmark vengono da ForecastBench, un benchmark dinamico di forecasting presentato a ICLR 2025 da Ezra Karger, Philip Tetlock e coautori. I gruppi umani di confronto sono stati interrogati a luglio 2024. Su quell'insieme i superforecaster hanno battuto sia il pubblico generale sia il miglior modello linguistico con p inferiore a 0,001.

Nota quanto è più basso il punteggio sulle domande da mercati rispetto a quello complessivo per le stesse persone: 0,074 contro 0,096. Le domande prese dai mercati predittivi in tempo reale erano più facili per tutti, ed è esattamente per questo che un Brier score grezzo non si può leggere come un livello di bravura.

Perché non si può imbrogliare dicendo 50 per cento?

Perché il Brier score è una regola di punteggio propria. Vuol dire che il tuo punteggio atteso è migliore quando dichiari la probabilità in cui credi davvero. Se pensi sul serio che una cosa sia all'80 per cento e scrivi 65 per sembrare prudente, il tuo Brier score atteso peggiora, non migliora.

L'intuizione: smussare verso il 50 per cento ti compra una penalità più piccola quando sbagli, ma ti costa di più nei casi in cui hai ragione. L'aritmetica del quadrato rende conveniente il numero onesto. È la proprietà che rende il Brier score degno di essere usato, ed è il motivo per cui i tornei di previsione lo usano dagli anni Cinquanta.

Dire sempre 50 per cento ti protegge dal fare mai peggio di 0,25. Ti garantisce anche di non fare mai meglio di 0,25, cioè di non dimostrare mai niente.

Brier score o log score?

Sono entrambe regole di punteggio proprie. La differenza sta in quanto duramente puniscono gli errori fatti con sicurezza.

Il Brier score eleva al quadrato l'errore, quindi la peggiore previsione singola possibile costa 1. Il punteggio logaritmico prende il logaritmo negativo della probabilità che avevi assegnato a quello che è successo, quindi una previsione allo 0 per cento su una cosa che accade costa infinito. Il punteggio logaritmico è più sensibile agli estremi ed è preferito quando contano le code. Il Brier score è limitato, più facile da mediare e più facile da spiegare, ed è per questo che tornei e servizi meteo continuano ad appoggiarsi a lui.

Per quasi tutti la risposta pratica è: usa il Brier, e non scrivere mai 0 o 100 per cento.

Cos'è un Brier score relativo?

Un Brier score relativo è il tuo punteggio meno il punteggio di un riferimento sulle stesse domande, negli stessi momenti. È l'unica versione del numero che risponde alla domanda "rispetto a cosa".

Il riferimento può essere una regola semplice, come il tasso di base storico, oppure un altro previsore, oppure un prezzo di mercato. Allan Murphy ha mostrato in A New Vector Partition of the Probability Score, pubblicato nel 1973, che un Brier score si scompone in tre parti: quanto erano incerti gli eventi in partenza, quanto eri calibrato, e quanto hai separato gli eventi accaduti da quelli non accaduti. La prima parte appartiene alle domande, non a te. Sottrarre un riferimento è il modo economico di toglierla.

Vale la pena vederlo su un caso italiano. Il 1 marzo 2026 il mercato Polymarket sul referendum sulla giustizia dava il Sì al 55 per cento. Il 22 e 23 marzo ha vinto il No, quindi l'esito "Sì" vale 0. Il Brier del mercato su quella singola call è 0,55 al quadrato, cioè 0,3025: peggio del dire 50 per cento. Chi quel giorno avesse detto Sì al 30 per cento avrebbe fatto 0,09, con un vantaggio di 0,21 su una call sola. Una call non dimostra niente, ma mostra in un colpo solo cosa vuol dire misurarsi contro il prezzo invece che contro giusto e sbagliato.

Il punto conta in particolare per i mercati predittivi. I prezzi di mercato sono forti ma non uniformi. In uno studio su più di 2.500 mercati politici relativo alle ultime cinque settimane della campagna presidenziale americana del 2024, pubblicato su SocArXiv il 1 dicembre 2025, Joshua Clinton e TzuFeng Huang hanno trovato che il 93 per cento dei mercati PredictIt prevedeva l'esito meglio del caso, contro il 78 per cento su Kalshi e il 67 per cento su Polymarket. L'asticella che stai superando è diversa su piattaforme diverse e domande diverse, ed è tutto l'argomento per valutare contro il prezzo invece che in astratto.

Come lo usa insiderz

Su insiderz una call è un'affermazione Sì o No su un evento reale con una confidenza attaccata. La call viene bloccata nel momento in cui la pubblichi, con l'ora e il prezzo Polymarket di quell'istante congelati accanto. Niente si può modificare o cancellare.

Quando l'evento si risolve, la call viene valutata contro quel prezzo congelato. La colonna Edge nella classifica degli insider è la media di quel confronto: di quanto le call di una persona sono state migliori, o peggiori, del prezzo di mercato che avevano davanti. Batte il mercato conta quante volte ne è uscita davanti. Le parole Brier e Brier relativo non compaiono nel prodotto, ma l'aritmetica sotto è questa, e questo articolo è il posto dove scriverla.

Puoi leggere l'articolo gemello sulla calibrazione, che misura un difetto diverso: se le cose che chiami al 70 per cento accadono davvero circa il 70 per cento delle volte. Un buon Brier score richiede sia la calibrazione sia la disponibilità ad allontanarsi dal 50 per cento. Se vuoi le prove su quanto sono accurati i prezzi di mercato prima di provare a batterli, parti da i mercati predittivi sono accurati, e per vedere che aspetto ha uno storico valutato nella pratica, vedi come trovare chi batte davvero il mercato.