Le score de Brier expliqué simplement

Le score de Brier mesure la distance entre vos probabilités et la réalité. Pour chaque prévision, soustrayez le résultat, noté 1 si l’événement arrive et 0 sinon, puis élevez l’écart au carré. Faites la moyenne de tous les résultats. Zéro est parfait, 0,25 correspond à une réponse constante de 50 %, et 1 représente l’erreur maximale.

Qu’est-ce qu’un score de Brier, en une phrase et un exemple ?

En une phrase, le score de Brier est l’erreur quadratique moyenne d’une prévision probabiliste dont le résultat vaut 1 ou 0.

Prenons un exemple. Vous donnez 70 % de chances à un candidat de gagner, et il gagne. L’erreur vaut 1 moins 0,70, soit 0,30. Son carré vaut 0,09. Si c’était votre seule prévision, votre score de Brier serait de 0,09.

La mesure vient de la météorologie. Glenn Brier l’a proposée dans Verification of Forecasts Expressed in Terms of Probability, publié en janvier 1950 dans Monthly Weather Review, afin d’évaluer les prévisions de pluie. Elle est devenue une mesure courante de la qualité des probabilités.

Quelle est la formule ?

La formule tient en une ligne : le score de Brier est la moyenne de (p - o)², où p est votre probabilité entre 0 et 1 et o vaut 1 si l’événement s’est produit, 0 sinon.

Une difficulté mérite d’être connue. Dans la définition originale de 1950, Brier additionne l’erreur au carré de toutes les issues possibles. Pour une question Oui ou Non, la version va donc de 0 à 2. La forme la plus courante aujourd’hui ne compte qu’un côté et va de 0 à 1. Les deux diffèrent d’un facteur deux. Mellers et ses collègues ont employé la version de 0 à 2 dans leur étude de 2015 sur les superprévisionnistes. Leur nombre ne se compare donc pas directement à un score moderne de 0,096. Vérifiez toujours la convention.

Comment faire le calcul sur cinq calls ?

Voici cinq calls, c’est-à-dire cinq prévisions publiques datées, et cinq résultats. La colonne Résultat vaut 1 si l’événement arrive et 0 sinon.

Call	Votre probabilité	Résultat	Erreur	Erreur au carré
Le sortant est réélu	0,85	1	0,15	0,0225
La loi passe avant décembre	0,60	0	0,60	0,3600
Les taux baissent à la prochaine réunion	0,30	0	0,30	0,0900
L’équipe se qualifie	0,95	1	0,05	0,0025
L’acquisition se clôt ce trimestre	0,40	1	0,60	0,3600

La somme des erreurs au carré vaut 0,835. Divisée par cinq calls, elle donne un score de 0,167. Les deux erreurs coûteuses sont celles où la certitude pointait du mauvais côté. L’élévation au carré sert précisément à cela : une erreur de 60 points coûte seize fois plus qu’une erreur de 15 points.

Ces nombres forment un exemple de calcul, pas de vrais calls.

Pourquoi faut-il retenir 0,25 ?

Vous obtenez 0,25 en répondant 50 % à chaque question. L’écart vaut toujours 0,5, dont le carré est 0,25. Ni le résultat ni la difficulté ne changent ce nombre.

Cette valeur sépare une prévision informative d’une réponse neutre. Un score supérieur à 0,25 signifie que vos probabilités ont fait pire que 50 % partout. Un score inférieur indique qu’elles contenaient de l’information. La distance sous 0,25 devient alors la vraie question.

Qu’est-ce qu’un bon score de Brier ?

Il n’existe pas de seuil universel, car le score dépend des questions. Une personne qui ne choisit que des quasi-certitudes fera mieux qu’une autre qui accepte des événements réellement incertains, même si la seconde est plus utile. Un score privé de son ensemble de questions ne dit presque rien.

Voici néanmoins des repères publiés, avec leur ensemble et leur date.

Prévisionniste ou règle	Score de Brier	Ensemble de questions	Date
Prévision parfaite	0,000	tous	par définition
Médiane des superprévisionnistes, questions de marché	0,074	ForecastBench, N = 76	prévisions humaines de juillet 2024
Médiane des superprévisionnistes, total	0,096	ForecastBench, N = 498	prévisions humaines de juillet 2024
Médiane du public, total	0,121	ForecastBench, N = 498	prévisions humaines de juillet 2024
Meilleur modèle de langage, Claude 3.5 Sonnet	0,122	ForecastBench, N = 498	prévisions humaines de juillet 2024
Répondre toujours 50 %	0,250	tous	par définition
Prévision toujours totalement fausse	1,000	tous	par définition

Les quatre lignes de comparaison viennent de ForecastBench, présenté à ICLR 2025 par Ezra Karger, Philip Tetlock et leurs coauteurs. Les groupes humains ont été interrogés en juillet 2024. Sur cet ensemble, les superprévisionnistes devançaient le grand public et le meilleur modèle avec une valeur p inférieure à 0,001.

Le score des mêmes personnes descend de 0,096 à 0,074 sur les questions issues de marchés. Ces questions étaient plus faciles pour tous. Voilà pourquoi un score brut ne doit pas devenir une étiquette de talent.

Pourquoi ne peut-on pas tricher en répondant 50 % ?

Le score de Brier est une règle de notation propre. Votre meilleur résultat attendu vient de la probabilité que vous croyez réellement. Si vous estimez une issue à 80 % mais écrivez 65 % pour paraître prudent, votre score attendu se dégrade.

Se rapprocher de 50 % réduit la pénalité quand vous vous trompez, mais coûte davantage dans tous les cas où vous avez raison. Le carré rend la probabilité sincère optimale. Voilà pourquoi les tournois de prévision l’emploient depuis les années 1950.

Répondre 50 % partout garantit de ne jamais dépasser 0,25. Cela garantit aussi de ne jamais faire mieux. Une telle série ne démontre rien.

Score de Brier ou score logarithmique ?

Les deux sont des règles propres. Leur différence tient à la sanction des erreurs très confiantes.

Le score de Brier élève l’écart au carré, son coût maximal pour un call vaut donc 1. Le score logarithmique prend l’opposé du logarithme de la probabilité attribuée à l’issue réelle. Donner 0 % à un événement qui survient coûte alors l’infini. Le logarithme réagit davantage aux extrêmes. Brier reste borné, facile à moyenner et simple à expliquer, ce qui convient aux tournois et aux services météo.

Dans la plupart des usages, choisissez Brier et n’écrivez jamais 0 ou 100 %.

Qu’est-ce qu’un score de Brier relatif ?

Le score relatif est votre score moins celui d’un repère, sur les mêmes questions et aux mêmes instants. C’est la seule forme qui répond clairement à « comparé à quoi ? ».

Le repère peut être une fréquence historique, une autre personne ou un prix de marché. Dans A New Vector Partition of the Probability Score, publié en 1973, Allan Murphy montre qu’un score de Brier se décompose en trois parties : l’incertitude propre aux événements, la calibration et la capacité à séparer les événements arrivés des autres. La première appartient aux questions. Soustraire un repère aide à l’écarter.

L’histoire météorologique suisse offre un exemple francophone concret. Une publication de l’Institut suisse de météorologie de 1982 a évalué 5 392 prévisions de précipitations faites en 1980 pour six stations et trois échéances avec la version de Brier allant de 0 à 2. La méthode améliorait de 15 % le repère climatologique sur l’ensemble, et de 20 % à Genève. Le score n’était donc pas lu seul, mais comme un gain face à une prévision de référence.

Cette comparaison importe aussi pour les marchés prédictifs. Dans une étude de plus de 2 500 marchés politiques couvrant les cinq dernières semaines de la présidentielle américaine de 2024, publiée sur SocArXiv le 1er décembre 2025, Clinton et Huang constatent que 93 % des marchés PredictIt prédisaient mieux que le hasard, contre 78 % sur Kalshi et 67 % sur Polymarket. Le niveau à battre varie selon le lieu et la question.

Comment insiderz emploie-t-il ce calcul ?

Sur insiderz, un call contient Oui ou Non et un degré de confiance. Il est verrouillé dès sa publication avec l’heure et le prix Polymarket du moment. Rien ne peut être modifié ou supprimé.

Quand l’événement est résolu, le call est noté face à ce prix. La colonne Edge du classement des insiders donne la moyenne de cet écart : l’avantage ou le retard des calls par rapport au marché. Bat le marché compte la fréquence des victoires. Les mots « Brier » et « Brier relatif » ne figurent pas dans le produit, mais ce calcul en constitue la base.

La calibration mesure un autre problème : les événements annoncés à 70 % arrivent-ils environ 70 % du temps ? Un bon score exige à la fois cette cohérence et la volonté de s’éloigner de 50 %. Pour connaître la qualité du repère avant de tenter de le battre, lisez la justesse des marchés prédictifs. Pour voir un historique noté, consultez comment trouver les prévisionnistes qui battent le marché.