Calibration : ce que signifie avoir raison à 70 %

La calibration décrit l’accord entre ce que vous annoncez et ce qui arrive. Si vos prévisions sont calibrées, les événements auxquels vous donnez 70 % de chances surviennent environ 70 % du temps, ceux à 90 % environ 90 %, et ainsi de suite. Cette qualité se mesure sur une série, jamais sur un cas isolé. Un seul call à 70 % qui se réalise ne prouve rien.

Comment lire un tableau de calibration en dix secondes ?

Un tableau de calibration regroupe les prévisions résolues par tranches de confiance. Pour chaque tranche, il compare la probabilité annoncée à la fréquence réellement observée. Une calibration parfaite donne les mêmes valeurs dans les deux colonnes.

Voici un exemple avec 100 prévisions résolues d’une personne, réparties en six tranches. Ces nombres servent uniquement d’illustration.

Tranche de confiance	Calls dans la tranche	Probabilité moyenne annoncée	Nombre de réalisations	Fréquence réelle	Écart
0 à 10 %	8	0,05	1	0,13	+0,08
10 à 30 %	12	0,20	3	0,25	+0,05
30 à 50 %	15	0,39	6	0,40	+0,01
50 à 70 %	20	0,59	12	0,60	+0,01
70 à 90 %	25	0,78	17	0,68	-0,10
90 à 100 %	20	0,94	15	0,75	-0,19

Regardez d’abord la dernière colonne. Les valeurs sont proches de zéro au milieu, négatives en haut et positives en bas. Cette personne se montre trop sûre : quand elle annonce une forte confiance, elle a moins souvent raison que prévu. Quand elle écarte une issue, celle-ci arrive plus souvent qu’elle ne l’admet.

À quoi ressemble l’excès de confiance ?

Dans un tableau, les tranches hautes donnent trop peu de réussites et les tranches basses trop de surprises. Sur un graphique, la courbe se replie vers le centre par rapport à la diagonale. Les probabilités annoncées vont vers les extrêmes, mais les résultats restent plus modérés.

Dans l’exemple, la tranche de 90 à 100 % concentre le problème. Vingt calls annoncés à 94 % en moyenne se réalisent 15 fois, soit 75 %. Les cinq surprises coûtent cher avec toute notation au carré. Ce sont aussi celles que les personnes retiennent le mieux.

La correction est mécanique. Si vos 90 % se réalisent à 75 %, écrivez 75 % la prochaine fois. Il n’est pas nécessaire d’en savoir davantage pour réduire cet écart. Il faut cesser d’utiliser des nombres que votre historique ne justifie pas.

Pourquoi le manque de confiance est-il aussi un défaut ?

Le manque de confiance produit le motif inverse : les événements annoncés à 70 % se réalisent dans 85 % des cas. La courbe s’écarte de la diagonale vers l’extérieur. Ce comportement paraît prudent, mais reste faux. Une personne qui vous lit ne peut pas retrouver la certitude que vous possédiez sans l’exprimer.

Certains marchés prédictifs montrent ce motif selon leur domaine. Dans Decomposing Crowd Wisdom, prépublication de février 2026 révisée en août 2026, Nam Anh Le analyse 353 millions de transactions sur 429 000 contrats binaires de Kalshi et Polymarket. La calibration varie selon le domaine, le temps restant et la taille des transactions. Les marchés politiques présentent une sous-confiance persistante, avec des prix ramenés vers 50 %. Un prix qui refuse de s’engager commet la même erreur qu’un prévisionniste trop prudent.

Calibration, résolution et netteté : quelle différence ?

La calibration n’est qu’une partie de la qualité d’une prévision.

Dans A New Vector Partition of the Probability Score, publié en 1973, Allan Murphy décompose la notation au carré en trois termes : l’incertitude propre aux événements, la fiabilité des probabilités, qui correspond à la calibration, et la résolution, c’est-à-dire la capacité à séparer les événements qui arrivent de ceux qui n’arrivent pas.

• La calibration demande si vos nombres tiennent leur promesse.
• La résolution demande si vos nombres distinguent réellement les cas.
• La netteté exprime simplement la résolution : savez-vous vous éloigner de 50 % quand les éléments le permettent ?

Répondre 50 % à tout peut être parfaitement calibré tout en donnant une résolution nulle. La prévision devient inutile. Un bon prévisionniste combine calibration et netteté.

L’étude sur les superprévisionnistes publiée par Barbara Mellers et ses collègues en 2015 mesure séparément ces dimensions dans le Good Judgment Project. Sur les deuxième et troisième années du tournoi, l’erreur de calibration moyenne valait 0,01 pour les superprévisionnistes, 0,03 pour le groupe suivant et 0,04 pour les autres. La résolution atteignait respectivement 0,40, 0,35 et 0,32. Le premier groupe obtenait de meilleurs résultats sur les deux dimensions.

Un exemple suisse montre l’effet concret de la correction. Dans un rapport de MétéoSuisse publié en 2009, la calibration de prévisions de pluie de 24 heures avec des prévisions rétrospectives a amélioré la fiabilité et fait gagner entre 1 et 2 jours de qualité prédictive sur les événements suisses vérifiés. La calibration n’est donc pas un simple graphique. Elle peut rendre une alerte utile plus tôt.

Combien de prévisions résolues faut-il ?

Il faut environ 100 prévisions résolues avant de lire la forme générale d’une courbe, et quelques centaines avant de traiter un petit écart comme autre chose que du bruit.

Le calcul vient de la variabilité binomiale. Si le vrai taux d’une tranche vaut 70 % et qu’elle contient 20 calls résolus, l’erreur standard approche 10 points. Une fréquence observée allant approximativement de 49 à 90 % reste compatible avec une calibration parfaite. Avec 100 calls, l’erreur standard tombe vers 4,6 points. Avec 400, elle atteint environ 2,3 points.

Deux conséquences pratiques suivent. Ne refaites pas toute votre méthode après une douzaine d’événements. Une courbe divisée en six tranches demande aussi plusieurs centaines de prévisions au total, puisque chacune doit disposer de son propre échantillon. Beaucoup d’affirmations publiques sur la calibration reposent sur moins de données qu’elles ne le laissent croire.

Comment améliorer sa calibration ?

Quatre habitudes, dans cet ordre.

1. Écrivez le nombre avant de regarder le reste. Votre probabilité d’abord, puis le prix du marché, puis les nouvelles. Un prix déjà vu attire votre estimation vers lui et brouille la mesure de votre jugement.
2. Conservez toutes les prévisions, même gênantes. Un historique que l’on peut tailler n’en est pas un. Seuls des calls horodatés et non modifiables méritent d’être notés.
3. Regroupez et recomptez tous les quelques mois. Recréez le tableau avec vos calls résolus. La colonne Écart indique exactement les tranches à déplacer.
4. Employez davantage de nombres. Dans le Good Judgment Project, les superprévisionnistes ont utilisé en moyenne 57 probabilités distinctes, contre 29 et 30 dans les deux groupes comparés. Ils utilisaient aussi plus souvent des valeurs précises au point près. Arrondir systématiquement aux multiples de 10 % élimine une information réelle.

La qualité se compare aussi à un repère fixe. Dans ForecastBench, présenté à ICLR 2025, la médiane des superprévisionnistes atteignait 0,096 au score de Brier sur 498 questions, contre 0,121 pour le grand public. Les prévisions humaines ont été recueillies en juillet 2024. La calibration explique une part de cet écart et constitue la partie que l’on peut corriger méthodiquement.

Où construire sa courbe sans participer à un tournoi ?

Il faut trois éléments : des questions qui se résolvent, des probabilités impossibles à modifier après coup et un repère de comparaison.

Sur insiderz, un call est une réponse Oui ou Non sur un événement réel, accompagnée d’un degré de confiance. Il est verrouillé dès sa publication, avec l’heure et le prix Polymarket du moment. Ni vous ni nous ne pouvons ensuite le modifier ou le supprimer. À la résolution de l’événement, il est noté face à ce prix. Le profil conserve tout l’historique, échecs compris. Les événements ouverts et le classement des insiders sont publics.

insiderz a été lancé en septembre 2026. Il n’existe donc pas encore assez de résultats résolus pour établir une courbe de calibration valable pour toute la plateforme. Voici les nombres disponibles à ce jour.

Pour réunir calibration et netteté dans un seul nombre, lisez le score de Brier expliqué simplement. Pour comprendre une cote avant de chercher à la reproduire, consultez ce que signifie réellement une probabilité de 34 %. Pour les habitudes des meilleurs historiques mesurés, lisez les superprévisionnistes.